Na uzvisini uz prostrano polje uzdiže se kršanska kula, ostatak starog srednjovjekovnog kaštela oko kojeg se kasnije razvio gradić, današnji Kršan, sjedište istoimene općine. Prvi se put spominje 1274. god. kao Castrum Carsach, kula porušena od vojske goričkog grofa Alberta II. U to je vrijeme Kršan bio pod vlašću akvilejskog patrijarha. Početkom 14. stoljeća kao gospodar polovice Kršana pojavljuje se Henrik Pazinski. On potječe iz Pazinske plemićke obitelji Kerstlein, kojoj kaštel i gradić Kršan duguju svoje ime. Vrh strelice s Henrikova grba se i danas ističe kao grb Općine Kršan.

Posljednji vlasnik ovog lijepog i impozantnog kaštela bila je plemićka obitelj Tonetti iz Plomina. Iz ovog Kaštela potječe i nekoliko plemića koji su tijekom srednjega vijeka obnašali istaknute dužnosti u Pazinskoj grofoviji. Najpoznatiji je među njima Andrija Kršanski, pazinski kapetan od 1488. do 1500. Njegova se nadgrobna ploča s obiteljskim grbom danas nalazi u kapeli sv. Henrika u Belaju, kamo je prenijeta s grobnice u crkvi nekadašnjeg pavlinskog samostana na obali Čepićkog jezera. 

U 19. stoljeću u Kršanu je otkriven prijepis Istarskog razvoda iz pera barbanskog popa Jakova Križanića. Ovaj je vrijedan povijesni i pravni dokument 1852. objavio Ivan Kukuljević Sakcinski, a na latinicu ga je transkribirao i za tisak priredio dr. Ante Starčević, kasnije istaknuti hrvatski političar.

Od starog kaštela do naših je dana sačuvana visoka četverostrana kula, oko koje se kasnije razvio obrambeni i stambeni sklop zgrada. U kaštel se ulazi stubištem kroz vežu povezanu sa zatvorenim dvorištem s cisternom u sredini. Probijanjem vratiju dvorište je kasnije otvoreno prema gradu. Uz dominantnu kulu, kompleks kršanskog kaštela sastoji se od više prostorija za posadu i oružje, velike zgrade u kojoj su živjela vlastela i velike odvojene kuhinje.