Karel vykoupil tento královský hrad ze zástavy z peněz poskytnutých Starým Městem pražským. Roku 1311 byl hrad zastaven Janovi z Vartenberka a po svém návratu z Itálie roku 1334 usiloval moravský markrabě, pozdější český král Karel o jeho navrácení. Jeho bratr markrabě Jan Jindřich hrad rozšiřoval a dále opevňoval a užíval ho jako zemskou pevnost i jako pokladnici.

Hrad na ostrohu nad Brněnskou přehradou založen podle pověsti Konrádem I. Brněnským již kolem roku 1059, reálně ale možná až markrabětem Přemyslem. První písemná zmínka pochází z roku 1213. Za Přemysla Otakara II. využíván jako vězení. Za husitských válek hrad obléhán, ale nedobyt. Dobyt až o půl století později Matyášem Korvínem. Naopak za třicetileté války opět odolal, tentokráte Švédům. Na počátku 18. století hrad barokně přestavěn. V polovině 18. století vypleněn pruským vojskem. Na hradě Veveří strávil část své svatební cesty Winston Churchill, který hrad navštívil opakovaně. Dnešní podoba pochází z přelomu 18. a 19. století (stržení zbytku přemyslovského paláce). Karel, ještě jako moravský markrabě, roku 1334 s velkými náklady a obtížemi získal hrad ze zástavy (Jan z Vartenberka). Markrabě Jan Jindřich Lucemburský prováděl na hradě rozsáhlé stavební úpravy: hrad rozšířil a lépe opevnil. Pro nově vystavěnou kapli sv. Prokopa je objednán obraz „Veverská Madona“. Roku 1375 na Veveří proběhlo jednání, jehož cílem bylo zajištění zvolení Václava IV. na říšský trůn.