Agyagosszergény két településrészből áll.
Szergényből, a későbbi Fertőszergényből, mely az idősebb település (1356-Zerghen) és Agyagosból, melyet 1256-ban (Ogegus) említ először oklevél.^[1]
1927-ben egyesítették a két települést, átmenetileg Fertőszergényagyagosnak is hívták.

A Szent József Intézetként is emlegetett zárda épülete az Isteni Megváltóról nevezett nővéreké, apácáké volt.^[2]
„1936-ban készült a Borbély József által létrehozott Leányiskola Alap felhasználásával a falu közepén.”^[1]
A homlokzaton Szent József szobra látható a gyermek Jézussal. Attribútuma a liliom.

„…Ó, jó volt, míg parányi rózsaujja
Borzolta szürkülő szakállamat,
Ezüst nyomot hagyott már akkor is,
Komoly nyomot parányi rózsaujja.
S most olyan más az útja...
Vezetném és Ő vezet engemet.
Csak azt tudom, a Te utadon jár,
Magasságos,
De ki tudja a Te ösvényedet?
Te vagy az atyja, - én senki vagyok,
Az Evangéliumban hallgatok,
S hallgat rólam az Evangélium.”^[3]

Szent Józsefről Szűz Mária tisztaságos jegyeséről: „Názáretben lakott, de ,»Dávid házából és nemzetségéből származott« (Lk 2,4). Ez a kifejezés valószínűleg azt jelenti, hogy a dávidi család jelentősebb ágához tartozott. Jegyességre lépett a fiatal, dávidi származású Máriával, az akkori szokások szerint 18-24 éves kora között. Még mielőtt a házasságkötésük megtörtént volna, Máriát áldott állapotban találta. Megrendült, aztán egy álomban felszólítást kapott, hogy vegye csak feleségül Máriát, és vállalja a születendő gyermeket. Atyai szerepe abban nyilvánult meg, hogy a Jézus nevet ő adta a gyermeknek.”^[4]

Így ír róla a Magyar Katolikus Lexikon: „Védőszentjüknek tekintik Szent Józsefet az ácsok, asztalosok, erdészek, famunkások, favágók, bognárok, koporsósok, kádárok, tímárok; jegyesek, ifjú házasok, családok, árvák, haldoklók. Segítségét kérik házépítéskor, kísértésben, hirtelen halál, reménytelen ügyek, szembetegségek esetén. A 19. századtól Szent József a papnövendékek és a szerzetesek, a 20. század óta a munkásság védőszentje.”^[5]
Ünnepe március 19-én van.

---