Hrad Kyšperk, dnešní romantickou zříceninu, nechal postavit český král a Karlův otec Jan Lucemburský.

Zřícenina hradu Kyšperk, nazývaného též Geiergsberg, leží v lesích nad Unčínem v Krušných horách asi 2 km severovýchodně od Krupky. Zřícenina se nachází na ostrohu nad Unčínským a Maršovským potokem a pod Supí horou (694 m. n. m.), podle níž byl hrad také někdy označován. Vede k ní turistická značka modré barvy, přicházející z Krupky a pokračující kolem Supí hory dále přes Komáří Vížku ke státním hranicím se SRN, od kterých je zřícenina vzdálená asi 5 km. Zřícenina hradu Kyšperk stojí asi 11 km severozápadně od Ústí nad Labem a 7 km severovýchodně od Teplic. Počátky hradu Kyšperk jsou spojeny s Karlovým otcem, českým králem Janem Lucemburským, jenž zřejmě vydal pokyn k postavení hradu. Účelem hradu bylo zejména střežit tzv. Srbskou cestu. Vykonavatelem králova příkazu snad mohl být Ota z Bergova, o němž se zmiňuje první zpráva o Kyšperku, jež náleží do roku 1319 a mluví o tom, že Ota u Kyšperka rozsuzoval spor dvou dalších šlechticů. Je možné, že Jan Lucemburský Otovi hrad udělil v léno. Již roku 1334 však Ota kyšperské panství prodal Janovi IV. z Dražic, pražskému biskupovi. V této době byl hrad (Janem IV.) krátce označován také jako Biskupská hora (Bischofsberg). Za vlády Václava IV. hrad vlastnil pražský arcibiskup Jan z Jenštejna, do doby jehož držby se datuje zásadní přestavba hradu – zbudoval například novou věž či kapli. Sám Jan z Jenštejna na hradě také ke konci svého života pobýval, když byl v nemilosti Karlova syna Václava IV. Hrad zůstal majetkem pražské arcidiecéze až do roku 1418, kdy jej arcibiskup Konrád z Vechty zastavil. V době husitských válek byl nejprve neúspěšně obléhán roku 1428 a posléze po druhém obléhání roku 1433 dobyt vojskem pod vedením Jakoubka z Vřesovic. Zde vzniká větev Kyšperských z Vřesovic, jež hrad držela až do 16. století. K roku 1522 je hrad majetkem rodu Glaců, jejichž nedopatřením však dochází k ničivému požáru roku 1526, jenž znamená konec obývání hradu. Současná zřícenina je volně přístupná.