U neposrednoj blizini romaničke bazilike Sv. Marije, u kamenom i zidom ograđenom dvorištu nalaze se ostaci starokršćanske bazilike iz 4. stoljeća. Iako je to bila jedna od najstarijih starokršćanskih građevina u Istri, danas su ostaci bazilike pokriveni zemljom te nisu pristupačni javnosti.

Prema mišljenu povjesničara, kršćani su tijekom 2. i 3. stoljeća na ovim prostorima prvotno obavljali vjerske obrede u privatnim kućama, da bi potom u  4. stoljeću, nakon što je imperator Konstantin Veliki (306. – 337.) Milanskim ediktom (313. g.) dozvolio kršćanima slobodno ispovijedanje vjere, sagradili starokršćansku baziliku. U kolovozu i rujnu mjesecu 1935. godine fragmente bazilike otkopao je talijanski arheolog Mario Mirabella Roberti. Bazilika je bila pravokutnog tlocrta te je bila istovjetna bazilikama izgrađenim tijekom prve faze starokršćanske arhitekture. U sastavu bazilike nalazila se i krstionica ili baptisterium, dok je predvorje ili narteks bilo smješteno uz zapadnu fasadu. Tijekom 6. stoljeća izgrađena je i apsida, odnosno posljednji polukružni dio crkve, dok je pod bio prekriven polikromnim mozaicima. Iako su mozaici sačuvani samo fragmentarno, prepoznatljiva je njihova umjetnička cjelina, jer su dekorirani vrlo interesantnom starokršćanskom ikonografijom s motivima preuzetim iz prirode - lišće, vijenci, košarice s grožđem, i životinjskog svijeta -  ribe, paunovi ili golubovi.

Motivi kao što su ribe iz istarskog mora te prikaz godišnjih doba dokazuju da su mozaici rađeni u domaćim radionicama. Središte mozaika čine 73 kruga međusobno spojena pletenicama. Iako je bazilika svojevremeno bila srušena te pretvorena u uljaru, prema umjetničkim karakteristikama, prikazi na mozaicima slični su onima iz Teodorove bazilike u Aquileji iz 7. stoljeća. U ruševnom materijalu bazilike nađeni su i ostaci rimskih crjepova ili tegula, novca te svjetiljki ili lucerni.