Obitelj Rigo pripadala je izvornom novigradskom plemstvu (od godine 1743. nose grofovska odličja). Stoljećima su bili obnašatelji najvažnijih javnih funkcija u gradu. Između ostalih u svojoj karpinjanskoj rezidenciji ugostili su putopisca A. Fortisa.

Grofovi Rigo, za razliku od doseljenih (novovjekovnih) plemićkih obitelji, ne zapostavljaju svoj odnos prema zamirućem gradu iz kojeg su potekli pa kao pravo urbano plemstvo 1770. godine investiraju u izgradnju nove raskošne gradske palače. Zgrada je primjer 'srednjoeuropskog baroka' koji putem 'terezijanskog' Trsta prodire u istarsko primorje.

Arhitektonski je volumen čvrstoga kubusa na pročelju raščlanjen skladnim ukrasnim elementima kakve ne srećemo na istarskim palačama iz istoga vremena. Nakon sanacije pročelja, od 1994. godine u prizemlju zgrade djeluje galerija moderne i suvremene umjetnosti imenovana po Rigovima. Zabilježeno je da je knez Carlo Rigo, koji je dao sagraditi i ladanjsku istoimenu palaču u današnjem Karpinjanu, bio sin venecijanske pjesnikinje i slikarice Marije Giovanne Marcello.