Nelle adiacenze della chiesa parrocchiale é ubicato un monumentale palazzo semidiroccato, un tempo residenza estiva dei vescovi parentini. In quel punto strategico i vescovi avevano dapprima, nel 12° e 13° secolo, un modesto palazzo romanco, ampliato e ristrutturato nel corso dei secoli. L' attuale palazzo, in effeti, sorse con la ristrutturazione dell' antico castello romanico effettuata nel periodo dal 14° al 18° secolo. Nel complesso architettonico si possono osservare tracce di vari stili, dal romanico al barocco. Non bisogna dimenticare che il palazzo era fortificato, per cui negli antichi documenti viene citato con il nome di castrum (castello fortificato). Esso, infatti, era circodato da mura difansive con torri, di cui si sono conservate delle parti fino ad oggi. Oltre al palazzo si sono conservate anche due torri romaniche del 13° secolo e, nella meridionale, due sottili torri d' osservazione quadrangolari con feritoie. Sulla facciata della torre sinistra c'é una meridiana, ossia u orologio solare. Il palazzo disponeva di numerose stanze (residenza vescovile, stanze per gli ospiti e per il personale di servizio. Al pianterreno c' erano il torchio ed il frantoio, per il vino e l' olio, il forno, la cisterna dell' acqua e la dispense per i prodotti agricoli (olio, vino, grano) che si raccoglievano nelle tenute vescovili nei dintorni di Orsera. Nell' ambito del palazzo c' erano le stalle (i vescovi tenevano cavalli e musli sia a Parenzo che ad Orsera). Il palazzo era a residenza estiva e talvolta anche il rifugio dei vescovi. Durante particolari calamitá, come guerre o pestilenze, i vescovi parentini si rifugiavano ad Orsera. Cosí fece il vescovo Bonifacio nel 1299, in occasione dei tumulti scoppiati a Parenzo. Alcuni vescovi avveveno preso dimora fissa al Castello, come abbandonó l' insalubre e malarica Parenzo per andare ad abitare ad Orsera (1632-1644), dove morí e fu anche sepolto. Altrettanto fece il vescovo Gianbattista de Giudice, che visse e morí al Castello orserese (1644-1666). All' arrivo ed alla partenza del vescovo i suoi contadini dovevano transportare gratuitamente i suoi bagagli. In proposito, i un documento del 1577 si legge: 'Essi hanno l' obbligo, inoltre, di trasportare gratuitamente i bagagli del signor vescovo quando arriva al castello e quando parte dallo stesso'. Di tanto in tanto al Castello arrivavano personalitá ecclesiastiche e statali d' alto rango in esso avevano luoga i sinodi degli ecclesiastici locali. Talvolta, alla presenza di prestigiose personalitá, i vescovi pubblicavano importanti atti. Le prime righe di un atto del vescovo Ottone, del 1288, sono del seguente tenore: 'ACTUM EST HOCH IN TUTTI CASTRI URSARIE' (Questo é stato fatto nella torre della fortezza di Orsera...). Alla fine del 18° secolo (1778) la Repubblica di Venezia soppresse la contea ecclesiastica dei vescovi parentini ed il castello diventó proprietá di stato della repubblica marinara. Durante il periodo del pieno domino veneziano su Orsera (1778-1797), in esso soggiornava saltuariamente il provveditore veneziano (sindaco) del comune di San Lorenzo, a cui la cittadina venne annessa dopo la soppressione del potere ecclesiastico. Con ordinanza del governo centrale di Venezia del 1793, a Palma, provveditore di Sam Lorenzo, fu concesso di soggiornare ad Orsera per alcuni mesi all' anno, per via del clima piú salubre, ed in tale occasione venne ordinato che il palazzo venisse restaurato. Nel 19° secolo il palazzo divenne proprietá della famiglia nobile parentina De Vergottini. Nel 20° secolo inizió la sua rovina ed oggi esso é un rudere che ha bisogno di essere restaurato.