Az iskolát 1854 decemberében Ferenc József császár alapította Budai Császári Királyi Főreáltanoda (röviden Budai Főreál) néven.
A gimnázium 1859-ben befejezett régi épülete, amelyben ma tantermek, díszterem, tanári szoba, könyvtár, tornaterem, menza és büfé működik, neogót stilusban épült.
Az eredetileg német tannyelvű iskola 1920-ban vette fel Toldy Ferencnek, "a magyar irodalomtörténet-írás atyjának" nevét.

Figyelemre méltó az épület művészi kőfaragásokkal díszített bejárata.
Sávosan kirakott bélletes kapuívének mérművében faragott mészkő díszítés: öt kisebb neogót ablak előtt, a dúsan faragott baldachin alatt egy nőalak címerpajzsot tart kezében, melynek falirata:
Építette / Buda főváros / közönsége / MDCCCLVIIII évben.
A szalagdísz felirata: FŐREÁLTANODA
Jobb és baloldalon további címerpajzsok és faragott alakok láthatók.

A szfinkxet formázó rézkilincs a kaput díszíti.
Az eredeti kilincset Stefan Kern rézöntő mester készítette 1859-ben.
1986-ban a kilincset ellopták, azóta csak a hű másolat van a kapun.
A gimnázium hagyományai közé tartozik az oroszlános kilincs reggelenkénti kétszeri megfogása.

---