Neben der Pfarrkirche befindet sich ein monumentaler halbzerstörter Palast, der einst die Sommerresidenz der Bischöfe von Poreč war. An dieser strategischen Stelle besassen die Bischöfe im 12. und 13. Jahrhundert einen bescheidenen romanischen Palast. Im Laufe einiger Jahrhundrte war der ursprüngliche Palast ununterbrochen umgebaut und erweitert. Der heutige Palast ist eigentlich das Resultat der Umgestaltung des romanischen Kastells, die in der Zeitspanne vom 14. bis 18. Jahrhundert ausgeführt wurde. Der Palast war befestigt und das ist der Grund, dass es in den alten Dokumenten unter dem Namen castrum (Befestigung, befestigtes Schloss) erwähnt wurde. Der Palast war von einer Verteidigungsmauer mit Schiesstürmen umgeben. Die Reste der Mauer sind bis zum heutigen Tag erhalten geblieben. Neben dem Palast sind auch zwei romanische Türme aus dem 13. Jahrhundert erhalten geblieben. An der Südseite sind zwei schmale viereckige Türme - Beobachtungsstellen mit viereckigem Grundriss, auf denen Schiesslöcher sind. Die Fassade des linken Turmes ist ein Solarium (Sonnenuhr). Im Palast waren unzählige Räume (für den Bischof, Diener, Gäste). In Keller waren Weinkelter, Olivenpresse, Backofen, Wasserzisterne, sowie Vorratsräume für landwirtschaftliche Produkte (Öl, Wein, Getreide) von den Bischofslandgüter um Vrsar. Neben dem Palast gab es auch Stallungen. Der Palast war nicht nur die bischöfliche Sommerresidenz sondern auch ab und zu refugium (Fluchtplatz). In gefährlichen Zeiten (Krieg, Pest) flüchteten die Bischöfe aus Poreč nach Vrsar. Während der Unruhen in Poreč 1299 flüchtete der Bischof Bonifacius nach Vrsar. Manche Bichöfe wohnten ständig in Vrsar. So verliess im 17. Jahrhundert der Bischof Ruggiero Tritoni das ungesunde und malariaverseuchte Poreč und siedelte sich permanent in Vrsar an (1632-1644). In Vrsar ist er auch gestorben und begraben worden. Sein Nachfolge Bischof Gianbattista de Giudice lebte und starb in Vrsar (1644-1666). Bei bischoflichen Ankunft und Abreisen mussten die Bauern aus Vrsar das Gepäck und Zubehör des Bischofs kostenlos transportieren. In einem Dokument aus dem Jahr 1577 steht es in diesem Zusammenhang: 'Genauso sind die Bauern aus Vrsar verpflichtet, das Gepäck des Bischofs kostenlos zu transportieren, wenn der Herr Bischof ins Kastell kommt oder es verlässt.' Im Palast hielten sich ab und zu auch bedeutende Personen aus dem kirchlichen und politischen Leben auf, da hielten die Bischöfe von Poreč auch Sinoden für lokale Pnesterschaft. Im Dabeisein angesehener Persönlichkeiten haben die Bischöfe ab und zu wichtige Dokumente herausgegeben. Auf einem Dokument des Bischofs Oton aus dem Jahre 1288 steht es am Anfang: actum est hoch in turri castri ursaria. (Das geschah im Turm von Kastell Vrsar). Am Ende des 18. Jahrhundert (1778) hob die Republik V enedig die kirchliche Grafschaft der Bischöfe von Poreč auf und damit fiel auch der Palast unter Staatsverwaltung der Republik Venedig. In der Zeit der vollen Herrschaft der Republik Venedig über Vrsar (1788 -1797) hielt sich im Palast von Zeit zu Zeit der venezianische Bürgermeister (providur) der Gemeinde Sv. Lovreč, der Vrsar nach der Aufhebung der Biscofsverwaltung ange schlossen war. In einer Verodnung der zentralen Verwaltung aus Venedig (aus dem Jahr 1793) erlaubte man Herrn Palma, dem Bürgermeister von Sv. Lovreč einige Monate im Jahr in Vrsar zu wohnen, weil das Klima in Vrsar gesünder war. Dabei wurde auch befohlen, den Palast zu restaurieren. Im 19. Jahrhundert wurde das Palast Eigentum der Patrizier-familic Vergotini aus Poreč. Im 20. Jahrhundert begann der Zerfall. Gegenwartig ist der Palast eine Ruine, die nach Restaurierung schreit.