Kraj in kapela se prvič omenjata leta 1340. Pozneje se kraj imenuje kar Pri kapeli in šele leta 1460 se pojavi ime Kokarje. Cerkev je od vsega začetka romarska. Prvi veliki shod je omenjen leta 1460, ko je opat Kašpar sredi zime pripeljal procesijo iz Gornjega Grada in bil uslišan. Tisto leto je bila namreč zelo huda zima, zaradi mraza je poginjala živina in umirali so ljudje. Kmalu po shodu se je otoplilo. V spomin na to je še danes shod vsake postne kvatre v Kokarjah.
Prvotno je bila postavljena Marijina cerkev, južno od nje pa kapela sv. Ane. V 19. stoletju je dobila cerkev današnjo podobo. Na oltarju sv. Jožefa sta tudi kipa bratov sv. Cirila in Metoda, kar kaže na takratno narodno zavest vernikov tega okoliša. V cerkvi so freske Jakoba Brolla iz leta 1887.