Kožljak, das sich an einem steilen Felsen befindet, hat schon im Namen seine unzugängige Stelle enthalten. Zum Residenzteil kam man über eine Treppe, die in den Felsen gehauen, und mit Mauern umzingelt war.

Auf den südlichen Hängen des Bergmassivs Učka erhebt sich ein steiler Felsen, auf dem sich das Kastell Kožljak befindet, neben der alten Straße, die das antike Histria und Liburnien verband; es ist die letzte in der Reihe der feudalen Festungen, die sich vom Karst, an den Hängen von Učka bis nach Ostistrien hinziehen. Es wurde an der Stelle der prähistorischen histrischen Burg errichtet, und erstmals in schriftlichen Dokumenten im Jahr 1102 erwähnt, unter den Kastellen, die Graf Ulrich II. von Weimar-Orlamunde dem Patriarchen von Aquleia schenkte.

In der ersten schriftlichen Quelle erwähnt man es unter dem kroatischen Namen Iosilach oder Giosilach, während der germanische Name dieser Burg Wachsenstein, und der slawische Kožljak oder Kožlak war. Wachsenstein bedeutete in kroatischer Sprache den Fluchtfelsen, oder einen Felsen der Zuflucht, und die Bezeichnung kožl(j)ak den Ziegengipfel. Beide Namen weisen unmissverständlich auf seine felsige und unzugängige Position hin, und die Herrscher des Kastells fügten ihren Namen auch die Bezeichnung "de Cosliaco" oder "de Wachsenstein" aus eben dem gleichen Grund hinzu.

Der natürliche Schutz, aber auch der eindrucksvolle Hintergrund von Kožljak sind die Bergmassive Učka und Ćićarija, und zum Kastell kommt man nur über eine in den bloßen Stein gehauene Treppe. An der Spitze ist der Wohnteil, umzingelt von Mauern mit zwei halbkreisförmigen Türmen, und unterhalb des Kastells befindet sich die romanische Kirche des hl. Hadrian. Es ist interessant, dass zusammen mit dem Kastell auch das Gefängnis erhalten geblieben ist.

Das Schicksal von Kožljak ähnelt vielen anderen istrischen Kastellen: zahlreiche Konflikte und viele Schulden ihrer Eigentümer sorgten für den häufigen Wechsel der Besitzer, angefangen bei den Grafen von Gorica, den Venezianern, bis zum Patriarchen von Aquileia und natürlich Österreich. Einzelne Mitglieder der Familie Barbo, die ebenfalls im 16. Jahrhundert das Kastell bewohnte, traten zum Protestantismus über, und einer der bedeutendsten Beschützer der Reformation in Istrien war gerade Franjo Barbo-Waxenstein. Er empfing prominente Prediger und Schriftsteller und half den Protestanten, aber die Kirche vertrieb sehr bald alle von ihnen und überließ sie der Inquisition.