Sorøs historie tager sin begyndelse omkring 1140, da benediktinermunke
grundlagde et kloster på halvøen Sor-Ø. Det levede dog kun kort, men i 1161 kom cisterciensermunke fra Esrum til Sorø på opfordring af biskop Absalon.

Han og den øvrige Hvideslægt sikrede med store gaver det nye kloster, og kirken - en af Danmarks største - blev opført som gravkirke for Hviderne.

Cistercienserklosterets centrale del var et firlænget kompleks rundt om nutidens skolegård, Fratergården. Mange mindre bygninger: værksteder, vandmølle, bageri o.l. lå spredt ud over området inden for klostermuren.

Gennem middelalderen voksede Sorøs anseelse. Tre konger ligger begravet i Sorø Klosterkirke, hvor også dronning Margrethe I efter sit eget ønske blev begravet. Hun blev dog "bortført" af Roskildebispen, og siden har hun ligget i Roskilde Domkirke.

Med reformationen1536 blev klosterets bygninger og det store klostergods, der var samlet i løbet af middelalderen, kongens ejendom.

I 1586 grundlagde Frederik II skolen for 30 adelige og 30 borgerlige drenge. Skolen havde til huse i de gamle klosterbygninger, og økonomien blev sikret ved indtægterne fra 60% af det gamle klostergods.

Hertil føjede Chr IV i 1623 en overbygning, et akademi for unge adelsmænd. De kunne her få en videregående uddannelse uden at skulle drage udenlands. Skolens biblioteksbygning er opført som "tennishal" til dette Akademi.

Det nye akademi fik også på anden måde stor betydning for stedet: Kirken blev først nu ændret fra katolsk til protestantisk kirke med kun et alter, prædikestol osv. Derfor er det meste af kirkens inventar fra 1600-tallet.

Og da Chr. IV beordrede nye professorboliger opført uden for Klosterporten blev Sorø grundlagt. Her findes blandt de tidligste bygninger stadig Amtsmuseet (den gamle kro) og De unge Herres Gård, der nu huser Sorø Bibliotek. Byen fik købstadsrettigheder i 1638. Chr IV´s Akademi lukkede i 1665, skolen i 1737.

Der kom påny gang i undervisningen i Sorø, da Frederik V´s Akademi åbnede i 1747. Klosterbygningerne var blevet sat i stand efter udkast af kongens arkitekt, Laurids de Thura, og man opførte tre professorboliger ved siden af hovedkomplekset. To af disse pavilloner, "Ingemanns Hus" og "Molbechs Hus" er bevaret og rummer i dag skolens administration.

Professoren og komedieforfatteren Ludvig Holberg, som ejede Tersløsegård og store landområder nord for Sorø, testamenterede næsten hele sin formue til det nye Akademi. Til gengæld blev han baron og fik gravplads i kirken.

Holbergs portræt hænger i Grønne Sal sammen med portrætter af rektorer (overhofmestre) fra dette Akademi. Og til minde om Holbergs gave tager 3g hvert år i Det kongelige Teater på hans fødselsdag, d. 3. december.
I parken står Bissens statue af Holberg "og hans to koner" ( historiens og digtekunstens muser).

Nye nedgangstider lukkede dette andet akademi i 1798, og de kommende år var en meget stille periode i Sorø. F.eks. var der ikke så meget brug for kirken, der både kom til at fungere som oplagsplads for korn og ammunition
under krigen med England.

En brand i 1813 skånede heldigvis kirken, men de tre gamle klosterfløje nedbrændte, og man opførte den nye Hovedbygning, som stod færdig i 1826.

I 1826 startede det tredje Akademi Blandt lærerne var digterne B. S. Ingemann og Carsten Hauch, og Sorø blev i denne periode et kulturcentrum for den danske guldalder. Kendte folk som Grundtvig, H.C.Andersen og Bertel Thorvaldsen besøgte ofte stedet.

Blandt malerierne i Gule Sal findes Marstrands berømte portræt af den 70-årige B.S.Ingemann og Constatin Hansens lille portræt af N.F.S. Grundtvig.

Peder Mallings nyklassiske hovedbygning var stramt disponeret under hensyntagen til de forskelligartede funktioner: kælderetagen var indrettet til "økonomien" : køkken, tjenestefolk osv, stueetagen husede skolen, 1.sal (Beletagen) benyttede Akademiet og på 2.sal var der elevværelser, to lærerboliger og sovesale.

Der var dog for få studerende til at Akademiet kunne trives, for de studerende kom udelukkende fra skolen her.

Dette sidste Akademi lukkede i 1849, og skolen overtog hele Hovedbygningen.

I 1826 blev hele Hovedbygningen indvendig malet i tidens lyse farver: nuancer af beige og grå, som det stadig ses i Festsalen. Men da skolen overtog hele huset i 1849 blev lokalerne sat i stand. De mange dekorationer i pompeiansk stil er udført over en årrække af dekorationsmaleren Georg Hilker.

Det gik godt for skolen med et stadigt stigende elevtal. Den fungerede som dag- og kostskole og blev drevet som privatskole til 1958, hvor staten overtog driften fra Stiftelsen Sorø Akademi.

Stiftelsen har i dag til huse på Vænget i Parken. Den ejer stadig bygningerne, store landbrugs- og især skovarealer omkring Sorø samt en del byejendomme. Staten vedligeholder skolens bygninger, medens Stiftelsen står for nybyggeri.

Gennem tiden er der naturligvis sket store forandringer: "Det nye Alumnat" blev taget i brug i 1960, hvorefter 2.sal på Hovedbygningen kunne indrettes til klasselokaler, der er indrettet en lang række række faglokaler i forskellige bygninger på området, og i 2001 blev Skjalm Hvides Hus indviet med kantine, multimedielokaler og elevværelser.

Sorø Akademi er nu lokalgymnasium for Sorø-Ringstedområdet med tilknyttet
10. klasse og kostskole, hvor der bor ca 140 elever. Der har gået piger på skolen fra starten af 1900-tallet, og fra 1983 kom der piger på kostskolen. Så den gamle drengeskole har i dag - som alle gymnasier - flest piger blandt eleverne.