Od gornje kružne gradske ulice jedan od uspona vodi na vrh brežuljka gdje je 1630. godine izgrađena utvrda četvrtastog tlocrta s istaknutim ugaonim i zašiljenim bastionima. Prema izričitoj narudžbi mletačke vlasti, Kaštel je osmislio francuski vojni arhitekt Antoina De Villea, a osnovna zadaća velebne građevine bila je zaštita grada i luke, odnosno vrlo značajnog pomorskog prometa na Sjevernom Jadranu. Prema navodima iz povijesnih dokumenata, na vrhu brežuljka oduvijek se nalazila građevina sličnog karaktera, bilo rimska utvrda ili gradina Histra. Danas se u Kaštelu nalaze prostorije Povijesnog muzeja Istre.