Podle zákoníku vydaném Karlem (později pojmenován jako Majestas Carolina) patřil hrad mezi tzv. Královské hrad. Za Jana Lucemburského byl hrad zastaven Vilémovi Zajícovi z Valdeka a poté rychtáři Jakubovi Frenclínovi. Zpět Přimdu v roce 1344 získal právě Karel IV.