Pirmoji bažnyčia statyta Jokūbo Nemirovičiaus. 1502 m. jo duktė Jadvyga klebonijai dovanojo palivarką, 2 smukles ir kito turto. 1611 m. Jarčevskis Karkažiškę paskyrė Vilniaus kunigų seminarijai. 1670 m. prelatas Aleksandras Sapiega bažnyčią atstatė. 1838 m. į ją trenkė žaibas, bažnyčia sudegė, vėl atstatyta.
1913 m. baigta mūryti dabartinė bažnyčia. 1963 m. ji uždaryta. Grąžinta 1990 m.