Za doby Karlovy se již od svých prvopočátků spojených s těžbou kovů poměrně rychle rozvíjel. Ale v průběhu 14. století se markraběcí majetek postupně rozpadal a tak se v roce 1340 šumperské zboží ocitlo v zástavě mocného rodu pánů z Lipé. Avšak již roku 1352 držel Šumperk ve svých rukou zpět markrabě Jan. Jeho syn Jošt udělil poté v roce 1391 městu řadu práv a výsad, mj. i mílové právo, které postavily město takřka na úroveň měst královských.