Roku 1355/56 podnikl Karel IV. výpravu proti majiteli hradu a loupeživému rytíři Janu Pancíři ze Smojna, hrad dobyl, majitele nechal popravit a hrad zabral. V roce 1357 věnoval Karel IV. hrad Čeňkovi z Potštejna.