Jedná se v jádru o gotickou stavbu původního purkrabství, kde r. 1335 sídlil Karel IV. (tehdy markrabí moravský) se svou družinou během úprav královského paláce. Tehdejší palác, navazující na starší stavbu s románskými základy, tedy musel být značně reprezentativní.