Ve 13. a 14. století se zde dolovalo zlato a stříbro. Doly byly velmi výnosné a osada oplývala bohatstvím. Usazovalo se zde mnoho řemeslníků i zemědělců a obec se stávala přirozeným střediskem, kde byly zakládány různé živnosti a kde se rozvíjel obchod. V době Karlově zde také vyrůstal nejslavnější rodák Jan Nepomucký.