കാലവാരദുര്‍ഗയെന്നാണ് സ്‌കന്ദഗിരി പൊതുവേ അറിയപ്പെടുന്നത്. ടിപ്പുസുല്‍ത്താന്റെ കാലത്ത് അദ്ദേഹത്തിന്റെ ആക്രമണം തടുക്കാനായി ഇവിടത്തെ രാജാവ് പണിത വലിയൊരു കോട്ടയുടെ അവശിഷ്ടങ്ങളുണ്ടിവിടെ. നന്ദിമലനിരകളില്‍ 1350 അടി ഉയരത്തിലായാണ് ഈ കോട്ട പണിതിരിക്കുന്നത്. സ്‌കന്ദഗിരിയില്‍ നിന്നാല്‍ ഈ കോട്ടയുടെ ഭാഗങ്ങള്‍ കാണാന്‍ കഴിയും.

സ്‌കന്ദഗിരിയില്‍ രണ്ട് ഗുഹകളുണ്ട്. ഇതില്‍ ഒന്ന് കോട്ടയിലേയ്ക്കുള്ള രഹസ്യവഴിയാണെന്നാണ് സദ്ദേശവാസികള്‍ പറയുന്നത്. ഈ ഗുഹയില്‍ നാല് സമാധികളുണ്ടെന്നും പ്രദേശവാസികള്‍ പറയുന്നുണ്ട്. ഇവിടെ പെരുമ്പാമ്പും പ്രേതങ്ങളുമുണ്ടെന്ന് കരുതപ്പെടുന്നു. അതിനാല്‍ത്തന്നെ ആളുകളാരും ഇതിനകത്തേയ്ക്ക് പോകാന്‍ ധൈര്യപ്പെടാറുമില്ല.