Smješten na brežuljku od 222 metra nadmorske visine, gradić Buje-Buie dominira nad okolnim zelenim terasastim poljima, a zbog svog strateškog položaja nazivali su ga stražarom Istre.

Gradić je okružen cijelim nizom brežuljaka na kojima su se već u brončano doba naselila različita plemena, a u željezno doba su u svoje prethistorijske gradine došli Histri. S osnivanjem rimske vladavine teritorij postaje Agro della Colonia di Trieste koja biva uključena u Regiju Venetia et Histria. U doba najezde barbara stanovništvo pronalazi utočiste u utvrdama podignutim na ravnim dijelovima brežuljaka. Odatle porijeklo bujskom utvrđenom kaštelu.

Godine 981. potvrđena je podređenost bujskog Kaštela Akvilejskoj patrijaršiji koji 1102. godine definitivno potpada pod njezinu vlast. U 13. stoljeću uzdiže se u Slobodnu komunu, a godine 1412. bujska komuna potpisuje akt o predaji Mletačkoj Republici. Četiri stoljeća venecijanskog perioda udarili su pečat povijesnom centru počevši od Spiazzo alle Porte, danas Trga slobode, gdje se nekada nalazila gradska lođa.

Tu je u 15. stoljeću podignuta crkva Majke Božje Milosrdnice i zvonik u 17. stoljeću. Nasuprot tim zdanjima nalazi se Etnografski muzej izgrađen na pothodniku koji je nekada činio sporedna vrata zadnje zidne ograde. Naselje je osim toga bilo zaštićeno nizom obrambenih kula od kojih je ostala sačuvana, djelomično vidljiva, jedna četverokutna i jedna peterokutna koja je branila Zapadna vrata.

Na Trgu sv. Servola, na samom vrhu brežuljka, uzdiže se Katedrala, obnovljena u 18. stoljeću, koja sadrži elemente neke prijašnje romaničke crkve iznikle u svoje doba na temeljima Jupiterova hrama. Zvonik koji je visok 50 metara sagrađen je u 15. stoljeću u akvilejskom stilu. Ispred njega smješteno je koplje za zastave iz 1655. Uz bok njemu nalazi se plemićka palača iz 15. stoljeća u gotičko-venecijanskom stilu koja je jedno vrijeme bila sjedište suda. S ovog središnjeg prostora odvajaju se popločene kamene ulice koje čine mrežu plana povijesnog centra. Od 18. stoljeća naselje se širi izvan zidina te nastaju nove gradske četvrti koje postaju značajnim središtem kulture, škole i sporta, gospodarstva i administracije.