Obec Litomyšl je zmiňována Kosmovou kronikou již k roku 981. Jednalo se o Slavníkovskou osadu ležící při Trstenické stezce.

Na konci 11. století zde Břetislav II. nechal vystavět kostel (nebo možná benediktinský řádový dům). V místech, kde v současnosti stojí zámek, se v polovině 12. století usadili premonstráti. Jejich klášter byl označován jako Hora olivetská (Mons oliveti). Roku 1259 se Litomyšl stala z rozhodnutí Přemysla Otakara II. městem. Litomyšl byla nejdříve protihusitská, husitskému vojsku se však v roce 1421 dobrovolně vzdala. Později v průběhu husitských válek bylo biskupství husity vypáleno. Ještě v 15. století se město stalo centrem Jednoty bratrské (později zde působil např. Jan Augusta). Bratrské období Litomyšle končí s odbojem proti Ferdinandovi I. v roce 1547, po kterém bylo město tehdejším odbojným majitelům zkonfiskováno. V 16. století byl vystavěn renesanční zámek. Roku 1640 byl do města pozván řád piaristů, který zde posléze zřídil gymnázium. V důsledku útrap třicetileté války i rekatolizační politiky došlo roku 1680 v okolí Litomyšle k selskému povstání. V zámeckém pivovaru se roku 1824 narodil Bedřich Smetana. Roku 1344 Lucemburkové dosáhli zřízení pražského arcibiskupství. Zároveň s ním bylo v Litomyšli zřízeno biskupství, které převzalo majetek litomyšlského kláštera – proběhla přeměna řeholních kanovníků premonstrátů na kapitulní kanovníky . Roku 1353 se zde biskupem stal Jan II. ze Středy, kancléř Karla IV.Roku 1356 Karlův kancléř a litomyšlský biskup Jan do Litomyšle přivedl řád augustiniánů.