കന്ദാസ്വാമിയാണ് സ്കന്ദാശ്രമം സ്ഥാപിച്ചിട്ടുള്ളത്. ഇപ്പോള് സ്കന്ദാശ്രമം എന്നറിയപ്പെടുന്ന ഈ കെട്ടിടത്തിന്റെ പ്രാഥമിക പ്രവര്ത്തനങ്ങള്ക്ക് മുന് കൈ എടുത്തത് അദ്ദേഹമാണ്.
വിരുപക്ഷ ഗുഹയ്ക്ക് സമീപത്തായി സ്ഥിതിചെയ്യുന്ന ഈ ആശ്രമവും യഥാര്ത്ഥത്തില് ഒരു ഗുഹയാണ്. ഈ ആശ്രമത്തില് ഉത്ഭവിക്കുന്ന ജലധ്വാരയില് നിന്ന് ശുദ്ധമായ കുടിവെള്ളം ലഭിക്കുന്നു. ഗുഹയ്ക്ക് പുറത്തായി നിരനിരയായി രണ്ട് മുറികള് പണികഴിപ്പിച്ചിട്ടുണ്ട്. ആശ്രമത്തിന്റെ ടെറസില് കയറി നിന്നാല് തിരുവണ്ണമലയുടെ പ്രകൃതിഭംഗി ആസ്വദിക്കാം.