Himfy Benedek pozsonyi ispán 1374-ben építette fel Nagy Lajos király engedélyével a Szarvaskő várat. 1760-ban a Somogyi család lett a környék birtokosa. Az elnéptelenedett faluba német és magyar telepeseket hoztak, akik a vár köveit használták fel az építkezésekhez. 1815-ben a Fájdalmas Szűz tiszteletére klasszicista stílusú plébániatemplomot építtetett a Somogyi család, Charles de Moreau tervei alapján.
A templomkertben felállított egészalakos Szent István-szobor talapzatán a következő felirat olvasható:
„A Szent István-szobrot nagy szeretettel ajánlom Szűzanyánknak, szeretetével óvja nemzetünket.
Kővári Jánosné”