Klosterporten er fra ca. 1200 og er Danmarks ældste beboede hus. I sidebygningen findes et overhvælvet rum, den såkaldte Saxos celle. Saxo skrev sin Danmarkskrønike for biskop Absalon som ligger begravet i kirken, men om hans tilknytning til Sorø vides intet bestemt.

Biblioteket fik sit nuværende udseende i 1861, men huset er i sin kerne fra 1628 hvor Christian IV lod det bygge som boldhus til det akademi, han havde oprettet fem år før. Det rummer foruden skolens bibliotek en bogsamling på over 80.000 bind, heriblandt en betydelig Holbergsamling.

Gymnastiksalen og dens to sidehuse er et ridehus med to stalde, anlagt til Frederik V´s akademi 1747. Store Plads foran var den tilhørende ridebane. Her fandt Danmarks første cricketkamp sted i 1866, og Danmarks første fodbold blev slidt op her, hjembragt fra England i 1878. Ridehuset blev ombygget til gymnastiksal i 1883.

Murstenshuset med karnap og skifertag i det nordvestlige hjørne af Store Plads er gartnergården, bygget til akademigartneren i 1887, med plads til hestestald og hvad et stort gartneri ellers krævede.

De fem gule huse langs Store Plads, Nye Alumnat, blev taget i brug i 1961. Det sydligste og sjette er bygget i 2002. I hvert hus bor 12 kostelever, alumner, og i den lave bygning der forbinder dem, findes tre lærerlejligheder.

Skjalm Hvides Hus blev taget i brug i 2002. På første sal bor 28 alumner og en lærer, og i stuen er der undervisningslokaler og en kantine. Dermed har også skolens dagelever fået tidssvarende spise- og opholdsmuligheder.

Sorø Klosterkirke må være påbegyndt kort efter 1161 hvor Absalon indkaldte cisterciensermunke til Sorø. Den er landets tredielængste middelalderkirke og rummer bl.a. Absalons, Valdemar Atterdags og Holbergs gravmonumenter, en berømt frise af middelalderskjolde og et barokorgel, der regnes for et af landets bedste.

Rektorgårdens forbygning med facade mod Fratergården er fra 1836, bygget til akademiets direktor og med en kongelejlighed på 1.sal som senere blev overtaget af alumner. Bagbygningens forreste del kom til i 1855 og den bageste i 1918. Komplekset er bolig for rektor, ældste klasses alumner og to lærere.

Molbechs Hus og Ingemanns Hus blev bygget som professorboliger til Frederik V´s akademi efter tegning af Laurids de Thura. De stod færdige 1743. Husene rummer i dag skolens rektorkontor og administration. Ingemann boede i huset mod øst fra 1822 til 1862, og hans gravsten står på kirkegården lige over for huset

Hovedbygningen fra 1826 er tegnet af Københavns stadsbygmester Peder Malling. Thuras ombygning af klosteret brændte i 1813, men amtmand Stemann havde allerede ni år efter samlet kapital til at nybyggeriet kunne begynde. Hovedbygningen rummer foruden klasseværelser alumnernes spisesal og skolens festsal.

Fratergården er den gamle klostergård, og den farvede klinkerække angiver gårdens overdækkede korsgang.
I hjørnet mod nordøst ses stadig indgangen fra klosteret til kirken. Fraterbrønden i midten er middelalderlig, men brøndhuset over er fra 1912, tegnet af Martin Nyrop.

Avlsgården er fra 1826, beregnet på selvforsyning af den nyåbnede skole og Frederik VI´s akademi. Nu rummer bygningerne skolens EDB-lokale og faglokaler for de kreative fag, musik og billedkunst.

Naturfagsbygningen ved Banevej blev bygget i 1901 som museum for skolens samlinger: fysik, naturhistorie, etnografi og oldsager. Samlingerne rykkede ud i 1976, og her er nu faglokaler for fysik, kemi og biologi.

Hallen er fra 1985, og den blev med det påbyggede drivhus til fuchsierne godt indpasset i haven. Fuchsiahaven rummer - naturligvis i sommertiden - op mod halvtreds forskellige fuchsiaarter, blandet med andre blomstrende planter i krukker, og er omgivet af en pergola med clematis og klatreroser.

Vænget blev bygget som amtmandsbolig kort efter 1900, men blev overtaget af skolen i 1925 som bolig for de yngste alumner. Huset rummer nu dels administrationen for Stiftelsen Sorø Akademi, dels Hauchs Physiske Cabinet, en fornem samling af historiske fysikinstrumenter.

Villereden blev bygget 1860 til Vilhelmine (Ville) Hage som var gift med komponisten Peter Heise, organist og musiklærer på skolen 1857-65. Stiftelsen Sorø Akademi ejer huset, som nu bliver stillet til rådighed for den til enhver tid siddende undervisnngsminister.