A papi szemináriumot az 1777-ben alapított Szombathelyi Egyházmegye első püspöke, Szily János építtette. Az átadásra 1780-ban került sor. A bejárat fölé Szily püspöki címerével díszített, latin nyelvű emléktáblát helyeztek.

"MUNICIFANTIA AUGUSTA MARIÆ THERESIÆ REGINÆ APOSTOLICÆ INSTITUTIONI CLERI IUNIORIS ET QUIETI MERILONUM (?) SACERDOTUM IOANNES SZILY PRIMUS EPISCOPUS SABARIE ISIS P P ANNO MDCCLXXX"

(Hozzávetőlegesen: Mária Terézia Augusta apostoli királynő bőkezűségéből a fiatal papok képzése és nevelése céljából építtette Szily János Szombathely első püspöke 1780-ban.)

Szily címerének leírása szerepel Faludi Ferencnek az 1777-es püspökbeiktatás alkalmával írt versében:

"Két sugár borostyánt tavaszi zöldében
Látok Szily urnak nemes czimerében,
Mit jelent? Urának zöldellő épségét,
Kellő és állandó teljes egészségét.

Bátor oroszlányt is irot pecsétjére;
Mit példáz? ennek is menjünk már végére.
Oroszlány-bátorság van Szily szivében,
Igaz állandóság eltekéllésében.

Medve vadat látok! Medve csillagzatja
Az ég felső sarkán magát ragyogtatja.
Tengerbe nem merül, el nem alkonyodik,
Csillagok közt első, fennyen uralkodik. "

---