Bažnyčia neogotikinė, stačiakampio plano, vienabokštė. Vidus 3 navų. Šventoriaus tvora metalinė, su mūriniais stulpais.
Jonas Narbutas Kaltanėnų pranciškonams 1633 m. paskyrė 14 valakų žemės. Apie tuos metus pastatyta bažnyčia ir vienuolynas. 1740 m. pastatyta nauja medinė bažnyčia ir aštuoniakampė varpinė. 1772 m. pastatytas dviaukštis vienuolynas. 1796 m. įsteigta pranciškonų mokykla, nuo 1806 m. parapinė. 1820 m. pastatyta medinė kapinių koplyčia.
1832 m. Rusijos valdžia vienuolyną uždarė. Jam iki tol priklausė Antaniškės, Beržijos, Drūstėnų, Drūtūnų, Mačiutiškės, Maksiūnų ir Šakarvos kaimai. Architektas Antonas Filipovičius-Dubovnikas parengė vienuolyno perstatymo į bažnyčią projektą. Jis 1902 m. patvirtintas.
1903–1909 m. pastatyta dabartinė mūrinė bažnyčia. Į Kaltanėnus 1898 m. paskirtas klebonas Mykolas Meštikas pamaldas pradėjo laikyti ir pamokslus sakyti lietuviškai (po 29 metų pertraukos). Jo rūpesčiu 1910 m. įkurtas Lietuvių katalikų blaivybės draugijos skyrius, įsteigta arbatinė. 1912 m. surengtas pirmas viešas lietuviškas vaidinimas. Lenkijos okupacijos metais veikė Šv. Kazimiero draugijos skyrius, 1933–1936 m. – „Ryto“ skaitykla.
1928–1937 m. klebonavęs Nikodemas Vaišutis Lenkijos okupacinės valdžios persekiotas, baustas. Po Antrojo pasaulinio karo Kaltanėnuose kunigavo teologijos mokslų daktaras profesorius Norbertas Skurkis (1904–1972), (palaidotas šventoriuje), Sibiro tremtinys.
1952- 1962m. klebonavo Mykolas Prelgauskas; vėliau 1962-1965 m. Jonas Morkūnas; 1965-1973 m. Jonas Kukta; 1973-1979 m. Alfonsas Petronis; 1979-1985 m. Aldas Čeponis; 1985-2005 m. klebonavo Kazimieras Žemėnas; 2005-2016 m. iki mirties (mirė liepos 14d.) kun. Jeronimas Petrikas.