A lengyel származású Stíbor vajda valószínűleg Nagy Lajos király idejében, talán éppen az ő hívására, jött Magyarországra. Az 1300-as évek végén már több Nyitra megyei vár tulajdonosa, így Szakolca környékén jelentős nagyságú terület volt a birtokában. A szakolcai szegényház alapítása Stíbor nevéhez kapcsolódik.
Az épület, bár többször átalakították, bővítették, ma is áll. Mostani alakját 1863-as átépítés során nyerte el, valószínűleg akkor került a fülkébe a Szent Erzsébetet és a koldust ábrázoló szobor is. Az épülethez kapcsolódik egy XVII. századi kápolna, amelynek ugyancsak Szent Erzsébet a patrónusa.
A ház évszázadokon át megőrizte funkcióját, a XX. század első felében például itt működött a Stíbor-árvaház.
A koldusnak alamizsnát adó Szent Erzsébet szobra a szegényház homlokzati fülkéjében látható. A szobrot Vladislav Plakanec szobrászművész 2011-ben restaurálta.

---