Kožljak, smješten na strmoj litici, i samo ime ukazuje na nepristupačnu poziciju. Do rezidencijalnog dijela dolazilo se stubištem uklesanim u živu stijenu, opasanim zidinama.

Na južnim obroncima masiva Učke uzdiže se strma litica na kojoj leži kaštel Kožljak, uz stari put koji je povezivao antičku Histriju i Liburniju, zadnja je u nizu feudalnih utvrda koje se od Krasa kosinama Učke protežu do istočne Istre. Podignut je na mjestu prapovijesne histarske gradine, a prvi se put spominje u pisanim izvorima 1102. godine među kaštelima koje je grof Ulrich II. Weimar-Orlamunde darovao akvilejskoj patrijaršiji. 

U prvom pisanom izvoru spominje se pod hrvatskim imenom Iosilach ili Giosilach dok je germanski naziv za ovaj kaštel Wachsenstein, a slavenski Kožljak, odnosno Kožlak. Wachsenstein na hrvatskom jeziku označava liticu zbjega, liticu u koju se sklanjamo, a kožl(j)ak kozji vrh. Oba naziva nedvosmisleno ukazuju na njegovu stjenovitu i nepristupačnu poziciju, a vladari kaštela pripajaju si uz ime naziv de Cosliaco ili de Wachsenstein upravo iz tog razloga. 

Kožljaku su prirodni štit, ali i impresivna pozadina masivi Učke i Ćićarije, a samom kaštelu prilazi se stubištem isklesanim u živoj stijeni. Na vrhu je rezidencijalni dio opasan zidinama s dvije polukružne kule, a podno kaštela je romanička crkva sv. Hadrijana. Zanimljiv podatak je da je uz kaštel sačuvan i zatvor.

Sudbina Kožljaka slična je kao i za mnoge istarske kaštele, česti sukobi i razna dugovanja njegovih vlasnika učinila su da stalno mijenja vlasnike, od Goričkih grofova, Mlečana do akvilejskog patrijarha i naravno Austrije. Obitelj Barbo, koja je također živjela u kaštelu, u 16. stoljeću dijelom prelazi u redove protestanata, a upravo je jedan od najistaknutijih zaštitnika reformacije u Istri bio Franjo Barbo-Waxenstein. On prima istaknute propovjednike i pisce pomažući protestantima, no, Crkva je ubrzo protjerala sve propovjednike i pisce prepuštajući ih na milost i nemilost inkvizicije.