Az eredeti építmény az 1780-as években épült, majd 1873-ban és 1928-ban némileg átalakították. Ebben működött a „Három Szerecsen” fogadó.

Pifkó Péter Esztergomi utcák című könyvében a következőket olvashatjuk az épületről: „Kossuth Lajos utca 4. szám – 1813-ban Vayand János vendéglős és mészáros itt nyitott vendégfogadót Három Szerecsen néven, amely egészen az 1940-es évekig üzemelt. Jelentős kulturális és politikai rendezvényeket tartottak itt 1912-ben, valamint itt nyitották meg a Szerecsen Mozit.”

Az épület korábbi formájában jelentős tartalmat képviselt, és a korabeli újságcikkek szerint a helyi közélet és közművelődés igazi centruma lehetett. Horváth István, a Balassa Bálint Múzeum igazgatója még kisgyerekkorában, az ötvenes évek elején látta az eredeti épületet. „A Három Szerecsen fogadó egy gyönyörű barokk épület volt, amit nagy hiba volt elbontani. A hatalmas házban belül végig boltozatos termek voltak és mesélték, hogy egy hangulatos vendéglő is működött ott egykor. Az egész korábbi építményből mára egyetlen üvegtáblácska maradt meg, ezen egy szerecsen fej díszítés látható, de ez az ornamentika volt látható a ház homlokzatán is. Az eredeti épületet aztán az 1950-es évek derekán elbontották, ezt követően épült fel a most látható ház.