Dnešní čtyřkřídlý uzavřený objekt s výraznou novostavbou pátého rektorského (a zároveň vstupního a spojovacího) křídla směrem od Ovocného trhu se nachází na místě původní zástavby v prostoru vymezeném Ovocným trhem, ulicemi Železnou a Kamzíkovou a Hrzánskou pasáží. Ze strany od Václavského náměstí (ulice Na příkopě) je objekt schován za klasicistní budovou Stavovského divadla.

Do Karlovy ideové koncepce budování Prahy jako politického a obchodního centra střední Evropy celkem pochopitelně zapadala univerzita, jako centrum vzdělání a poznání. Papežský souhlas se vznikem pražské univerzity se datuje k 26. lednu roku 1347. O rok později, dne 7. dubna 1348 vydá Karel zakládací listinu univerzity. V prostoru vymezeném ulicemi Železnou, Kamzíkovou a Ovocným trhem se nacházelo několik parcel s domy, které scelil a přestavěl mincmistr a bankéř Jan Rotlev (Johlin Rotlöw), který se obohatil nálezem zlata v okolí městečka Jílové u Prahy. Objekt s pozemky získala v roce 1383 pražská (Karlova) univerzita. V následujících třech letech bylo s přispěním univerzity provedeno několik zásadních stavebních úprav, aby objekt mohl sloužit jako Velká kolej Collegium Caroli pro dvanáct mistrů vysokého učení. Zároveň objekt sloužil jako slavnostní shromaždiště univerzity a jako rezidence rektora, akademických představitelů a úřadů.

Karolinum bývá uváděno jako nejstarší univerzitní budova, což není zcela správné, neboť již v roce 1366 založil Karel IV. první univerzitní kolej v blíže nespecifikovaném domě Lazara Žida. Začátkem roku 1383 byla tato kolej přestěhována na Staré Město ke svatému Mikuláši. První studentská kolej vznikla již v roce 1374 v cisterciáckém domě svatého Bartoloměje v Bartolomějské ulici. Rotlev nejprve zakoupil jeden dům a nedlouho po roce 1350 připojil další domy. V uvedeném roce 1838 domy částečně věnoval Karlovu synovi Václavu IV. Jako příčina daru se uvádí „vykoupení“ syna, jemuž hrozil trest za tasení meče během soudního jednání. Dokladem je Rotlevův erb umístěný na arkýři bývalé kaple. Během úprav, které trvaly tři roky, se ze čtyřech (někdy se uvádí pěti) domů vytvořil jeden objekt, který byl stavebně nejen spojen, ale i zvětšen. Nejstarší částí je pravděpodobně ta část, která stojí na základech domů směrem ze Železné ulice. Odhaduje se, že tyto domy stály na svých parcelách již za vlády posledních Přemyslovců. Na nároží ulice Železné a Ovocného trhu (tržiště) stávala předsunutá obranná věž. Václav IV. nechal zazdít původní loubí, čímž vznikl velký sál – aula v patře. Zároveň s těmito úpravami byla postavena arkýřová kaple. Nejvýraznějším gotickým stavebním prvkem je arkýř na polygonální panelované noze, který je doplněn kružbami v podobě nosu. Kružby jsou vyneseny konsolami s figurálními a rostlinnými motivy. Drobné motivy se objevují na horních ukončeních každého druhého nosu. Parapet arkýře je zdoben několika erby, najdeme zde českého lva, moravskou orlici, erby pánů z Vlašimi, již zmíněného rotleva a pravděpodobně Silberzeigerův. Gotické kružbové baldachýny kryjí konsoly umístěné na hranách polygonu závěru. Křížová klenba různého typu je zachována v přízemí komplexu a je svědkem několika stavebních úprav ze 14. století. Objekt byl stavebně upravován kolem roku 1600, později barokně pro účely jezuitů v letech 1715 – 1718. Současný stav je po rekonstrukci z let 1947 – 1958, historická část byla upravována až do roku 1968. Co se týče Ovocného trhu, původní areál trhu byl větší a nesl název Nové tržiště. Stavebně byl od Havelského trhu oddělen v době panování Václava I. V Karlově době se trh nazýval Nový masný, nebo Sobotní, respektive Freimark. Masné krámy tu stávaly až do poloviny 18. století, s ovocem se tu obchodovalo do 19. století. Po přestavbě Karolina se na konci 14. století mezi lidmi objevuje název Školní náměstí Ludi forum.