Tento malebný barokní kostelík s přiléhajícím hřbitovem ve svahu nad středem obce byl postaven původně jako morová kaple v letech 1748 až 1752. Významné rozšíření stavby se uskutečnilo v souvislosti s reformami císaře Josefa II. v letech 1788 až 1791 a v roce 1828 byla přistavěna věž. V interiéru kostela vyniká barokní dřevěná socha Madony v nadživotní velikosti z doby kolem roku 1730 a rokoková kazatelna. Boční oltáře jsou zasvěceny patronům přifařených obcí: sv. Prokop - Rynartice, sv. Anna - Vysoká Lípa.
V kostele se konaly bohoslužby do začátku 80. let 20. století, pak rychle zpustnul. Značně poničený kostel byl obnoven v letech 1991-1993.
V letech 2013 a 2014 došlo k důkladné opravě interiéru a restaurování vnitřního vybavení, které před dvaceti lety nebylo možno uskutečnit. Obnovena byla i vstupní brána na přilehlý hřbitov.
Unikátní skalní kaple sv. Ignáce (něm. Schemmler Kapelle) poblíž bývalé školy ve Všemilech pochází z počátku 19. století. Vysekaná byla do skalního bloku. Její autor, ani přesné datum vzniku není známo. Obnova kaple v roce 2014 obnášela odizolování, opravu omítek a pořízení nového vnitřního vybavení.