ചിദംബരത്തെത്തിയാല് തീര്ച്ചയായും സന്ദര്ശിച്ചിരിക്കേണ്ടൊരു ക്ഷേത്രമാണിത്. കാളിയാണ് ഈ ക്ഷേത്രത്തിലെ ദേവത. നാല് മുഖങ്ങളുള്ള മനോഹരമായ കാളീവിഗ്രഹമാണ് ഇവിടുത്തേത്. ആരാണ് ഉന്നതസ്ഥാനത്തുള്ളത് എന്ന് ശിവനോട് തര്ക്കിച്ച പാര്വ്വതി രോഷം കൊണ്ട സ്ഥലമാണിതെന്നാണ് കരുതപ്പെടുന്നത്. ശിവനോട് തര്ക്കിച്ച് രോഷം പൂണ്ട ദേവി കാളിയൂടെ രൂപംധരിച്ചെന്നാണ് വിശ്വാസം. പിന്നീട് ബ്രഹ്മദേവനാണ് ദിവിയുടെ ക്ഷോഭം ശമിപ്പിച്ചത്. ചിദംബരത്തിന് തില്ലൈ എന്നൊരു പേരുകൂടിയുണ്ട്.
കണ്ടല്വിഭാഗത്തില്പ്പെടുന്ന തില്ലൈ മരങ്ങള് തിങ്ങിവളര്ന്നിരുന്ന സ്ഥലമായിതിനാലാണ് തില്ലൈ എന്ന സ്ഥലപ്പേരുണ്ടായത്. ഈ സ്ഥലപ്പേരുതന്നെയാണ് ഇവിടുത്തെ രണ്ട് പ്രധാന ക്ഷേത്രങ്ങളുടെ പേരിനൊപ്പവും ചേര്ക്കപ്പെട്ടത്. തില്ലൈ നടരാജര് ക്ഷേത്രത്തിന് വടക്കുഭാഗത്തായിട്ടാണ് തില്ലൈ കാളി അമ്മന് ക്ഷേത്രം സ്ഥിതിചെയ്യുന്നത്.