Na nátlak Jana Lucemburského musela Karlova manželka Blanka roku 1337 opustit Prahu a přesídlit do Brna. Trvalým sídlem moravských markrabat se Špilberk stal v polovině 14. století za vlády markraběte Jana Jindřicha, který vládl v letech 1350-1375. Jan Jindřich byl mladším bratrem císaře Karla IV. Druhým zároveň posledním vládcem, který na hradě sídlil byl Jošt Moravský, Jošt byl synem Jana Jindřicha a na Moravě vládl jako moravský markrabě v letech 1375-1411.

Hrad Špilberk nechal vybudovat král Přemysl Otakar II. jako náhradu za opuštěný brněnský hrad na Petrově. Hrad měl sloužit panovníkovi při jeho častých návštěvách. Roku 1277 byla na hradě zřízena kaple sv. Jana (jež se nedochovala). Na hradě se již ve 13. století konaly soudy a sněmy. Špilberk zažil svou zlatou éru za vlády Lucemburků. Zejména v 15. a první polovině 17. století spíše chátral a jeho důležitost upadala, osvědčil se naopak ke konci třicetileté války, kdy díky němu Brno odolalo švédskému obléhání. Následně byl přebudován na barokní pevnost. Císař Josef II. rozhodl, že na Špilberku bude civilní věznice. Špilberk dosud zůstával i významnou pevností, což změnil až Napoleon, jehož vojsko záměrně zničilo část opevnění pevnosti. Věznici nechal zrušit František Josef I., Špilberk se změnil na kasárna. Karlův otec Jan Lucemburský získal Špilberk roku 1310. Na hradě v letech 1337-1340 sídlila manželka Karla IV., Blanka z Valois. Samotný Karel hrad navštěvoval pouze příležitostně. Hrad později sloužil jako sídlo moravských markrabat: Karlova bratra Jana Jindřicha a synovce Jošta Lucemburských. Karlův bratr Zikmund Lucemburský hrad získal během husitských válek, ale již roku 1422 jej předal Albrechtu Habsburskému.