Klosterporten er fra ca. 1200 og er Danmarks ældste beboede hus. I sidebygningen findes et overhvælvet rum, den såkaldte Saxos celle. Saxo skrev sin Danmarkskrønike for biskop Absalon som ligger begravet i kirken, men om hans tilknytning til Sorø vides intet bestemt.

Biblioteket fik sit nuværende udseende i 1861, men huset er i sin kerne fra 1628 hvor Christian IV lod det bygge som boldhus til det akademi, han havde oprettet fem år før. Det rummer foruden skolens bibliotek en bogsamling på over 80.000 bind, heriblandt en betydelig Holbergsamling.

Gymnastiksalen og dens to sidehuse er et ridehus med to stalde, anlagt til Frederik V´s akademi 1747. Store Plads foran var den tilhørende ridebane. Her fandt Danmarks første cricketkamp sted i 1866, og Danmarks første fodbold blev slidt op her, hjembragt fra England i 1878. Ridehuset blev ombygget til gymnastiksal i 1883.

Murstenshuset med karnap og skifertag i det nordvestlige hjørne af Store Plads er gartnergården, bygget til akademigartneren i 1887, med plads til hestestald og hvad et stort gartneri ellers krævede.

De fem gule huse langs Store Plads, Nye Alumnat, blev taget i brug i 1961. Det sydligste og sjette er bygget i 2002. I hvert hus bor 12 kostelever, alumner, og i den lave bygning der forbinder dem, findes tre lærerlejligheder.

Skjalm Hvides Hus blev taget i brug i 2002. På første sal bor 28 alumner og en lærer, og i stuen er der undervisningslokaler og en kantine. Dermed har også skolens dagelever fået tidssvarende spise- og opholdsmuligheder.

Sorø Klosterkirke må være påbegyndt kort efter 1161 hvor Absalon indkaldte cisterciensermunke til Sorø. Den er landets tredielængste middelalderkirke og rummer bl.a. Absalons, Valdemar Atterdags og Holbergs gravmonumenter, en berømt frise af middelalderskjolde og et barokorgel, der regnes for et af landets bedste.

Rektorgårdens forbygning med facade mod Fratergården er fra 1836, bygget til akademiets direktor og med en kongelejlighed på 1.sal som senere blev overtaget af alumner. Bagbygningens forreste del kom til i 1855 og den bageste i 1918. Komplekset er bolig for rektor, ældste klasses alumner og to lærere.