Az Esterházy-kastély az egykori vár alapjainak felhasználásával épült fel. Az 1740-es évektől a kor egyik nagy építésze, Franz Anton Pilgram tervei szerint kezdték kastéllyá átépíteni a várat. Az épület – az alapként felhasznált várfalak elhelyezkedése miatt – kissé szabálytalan „U” alakjával északról lezárja a Fő teret. Az udvar sarkainál két hatalmas kő oroszlán vicsorog, a kastéllyal egykorúak. Az egyik az Eszterházyak címerpajzsát, másik pálmaágat tart mancsában.
(Forrás: Pápa.hu)
Az oroszlánok eredetileg az egykori főbejárat kovácsoltvas kapuját őrizték. A sok viszontagságot látott kastély 1959-ben került olyan állapotba, hogy kiállítást helyeztek el benne. Az utolsó felújítás 1970-ben történt. 2010 áprilisában Pápa városa 1,9 milliárd forintos összegű vissza nem térítendő támogatást kapott a kastély felújítására. Ezután az Europa Nostra-díjas kastélykápolna visszakapja a szakrális funkcióját, visszaállítják a kovácsoltvas díszes kaput, számos kiállítás koncert, konferencia és egyéb exkluzív rendezvény várja majd a látogatókat. Sajnos a Jókai Mór Városi Könyvtárnak azonban végleg ki kell költöznie az épületből.