Největší slávu získal hrad za vlády Karla IV.(1346-1378), který jej dal důkladně opravit a rád v něm i pobýval. Do dostavby hradu Karlštejna sloužil Zvíkov i jako dočasné útočiště korunovačních klenotů.