La famiglia Rigo apparteneva alla nobiltà locale di Novigrad/Cittanova (nel 1743 furono insigniti del titolo di conti). Per secoli svolsero le più importanti funzioni pubbliche in città. Nella loro residenza di Karpinjan/Carpignano ospitarono, fra gli altri, lo scrittore di viaggi Alberto Fortis.

I conti Rigo, a differenza delle famiglie nobiliari di nuova immigrazione (in età moderna), non trascurarono il proprio rapporto con la città natale, ormai in declino e, nel 1770, forti del proprio ruolo di nobiltà urbana a tutti gli effetti, investirono nella costruzione di un nuovo e sfarzoso palazzo civico. L'edificio è un esempio di quel »barocco mitteleuropeo« che, sulla scia della Trieste »teresiana«, penetrò nel litorale istriano. Il volume architettonico, col suo poderoso cubo, e’ articolato sul frontale in una serie di armoniosi elementi decorativi che non si incontrano sui coevi palazzi istriani.

A seguito dell'opera di risanamento del frontale, il pianoterra dell'edificio ospita dal 1994 una galleria di arte moderna e contemporanea che prende il nome dai Rigo. E’ documentato che il conte Carlo Rigo, che fece costruire anche l'omonima residenza estiva nell'odierna località di Karpinjan, era figlio della poetessa e pittrice veneziana Maria Giovanna Marcello.