Uz Župnu crkvu nalazi se monumentalna i ruševna palača, tzv. Kaštel, nekadašnja ljetna rezidencija porečkih biskupa. Prije izgradnje ljetne rezidencije u Vrsaru, tada strateškom gradu, porečki su biskupi tijekom 12., odnosno 13. stoljeća stolovali ponajprije u skromnoj romaničkoj palači. Budući da je tijekom minulih stoljeća prvobitna palača nekoliko puta nadograđivana, današnje zdanje nastalo je pregrađivanjem prvobitnog romaničkog Kaštela u razdoblju od 14. do 18. stoljeća. Što se tiče arhitekture, uočavaju se tragovi različitih stilova - od romanike do baroka, a budući da je palača bila utvrđena zidovima i kulama, u dokumentima se spominje kao castrum - utvrda, utvrđeni dvorac. Fragmenti obrambenog zida palače sačuvani su u potpunosti, kao i dvije romaničke kule iz 13. stoljeće. Na južnoj strani palače nalaze se dvije kule kvadratnog tlocrta koje su tijekom povijesti imale ulogu osmatračnice s puškarnicama. Na fasadi lijeve kule vidljiv je sunčani sat, a palača je imala i brojne prostorije u kojima su obitavali biskupi, posluga ili gosti, dok su se u prizemlju nalazili tijeskovi za vino i ulje, peć za pečenje kruha, cisterna za vodu te spremišta za poljoprivredne proizvode, primjerice ulje, vino i žito, s biskupskih imanja kod Vrsara. U sklopu palače nalazila se i štala jer su biskupi u Poreču i Vrsaru imali konje i mazge. Iako je palača biskupima bila ljetna rezidencija i sklonište, u kulama je vjerojatno bila smještena i tamnica za neposlušne podanike. Ukoliko su bjesnjeli ratovi ili je harala epidemija kuge, porečki su biskupi bježali iz Poreča, tražeći utočište u ljetnoj rezidenciji. Primjerice, tijekom nemira u Poreču 1299. godine biskup Bonifacije sklonio se upravo u Vrsar, dok su neki biskupi stalno boravili u palači. Tijekom 17. stoljeća, napustivši nezdravi i malarični Poreč, u Vrsaru je od 1632. do 1644. godine živio i umro biskup Ruggiero Tritoni te biskup Gianbattista de Giudice (1644. - 1666.). Pri dolasku i odlasku iz Vrsara seljaci su imali obvezu besplatno prenositi biskupovu prtljagu, što je vidljivo i u dokumentu iz 1577. godine.: 'Isto tako su obavezni (seljaci Vrsara) besplatno nositi biskupovu prtljagu kad gospodin biskup dolazi ili odlazi iz kaštela'. U palaču su povremeno navraćali i visoki crkveni i državni dužnosnici, a održavane su i sinode lokalnog svećenstva te izdavane važne isprave. U ispravi biskupa Otona iz 1288. godine navodi se, lat. ACTUM EST HOCH IN TURRI CASTRI URSARIAE... , hrv. …ovo je učinjeno u kuli naselja Vrsara... Krajem 18. stoljeća, točnije 1778. godine, Mletačka Republika je ukinula crkvenu grofoviju porečkih biskupa te je palača postala dio mletačkog državnog vlasništva. Tijekom mletačke vlasti od 1778. do 1797. godine u palači je povremeno boravio i mletački providur ili gradonačelnik Općine Sv. Lovreča kojoj je Vrsar bio pripojen nakon ukidanja biskupske vlasti. U jednoj odredbi mletačke centralne vlasti iz 1793. godine dopušten je Palmi, tadašnjem providuru Sv. Lovreča, zbog zdravije klime, boravak tijekom godine u ljetnoj rezidenciji, uz izričitu naredbu da se ista mora restaurirati. Tijekom 19. stoljeća palača prelazi u vlasništvo patricijske obitelji Vegottini iz Poreča, dok je u 20. stoljeću počela osjetno propadati. Danas je to ruševina koja vapi za restauracijom.