Roku 1339 byl majitelem hradu Štěpán ze Šternberka a od roku 1357 jeho syn Albrecht Aleš ze Šternberka, který byl litomyšlským biskupem. Za něj docházelo ke stavebním úpravám a hrad byl změněn na biskupskou rezidenci. Hradní kaple byla vyzdobena podle stylu, panujícího na dvoře Karla IV. Po jeho smrti držel hrad jeho synovec Petr ze Šternberka.