Za ovo naselje Tabula Peutingeriana, najstarija poznata zemljopisna karta, navodi ime Sepomaia. Ban Domagoj napao ga je i uništio 876. godine. Kaštel Sipar bio je nastanjen još nekoliko godina nakon 1552., kad ga je kupila obitelj Rota iz Momjana. Prethodno je pripadao obitelji Bratti iz Kopra, a prije toga tršćanskom biskupu.

Od starih zdanja i ulaznih vrata ostalo je samo nekoliko ruševina. Ovaj uzak jezičak zemlje koji se proteže u more postepeno nestaje tijekom godina zbog bradiseizmičkog gibanja tla, pojave zbog koje zapadna obala Istre tone otprilike jedan milimetar godišnje, tj. dva metra u dvije tisuće godina. Ovaj dio obale već je mnogo godina naturističko područje.