14 ഉം 15 ഉം നൂറ്റാണ്ടുകളില് ഈ പ്രദേശം ഭരിച്ചിരുന്ന വെല്മ രാജവംശത്തിന്റെ ആസ്ഥാന മന്ദിരമായിരുന്നു ഈ കോട്ട. ബാഹ്മനി പോലുള്ള മുസ്ലിം രാജാക്കന്മാരുമായി സഖ്യത്തിലേര് പ്പെടുകയും ദേശഭക്തരായ റെഡ്ഢി രാജവംശവുമായും വാറങ്കലിലുള്ള കാപയ്യ നായ്ക്കരുമായും നിരന്തരം യുദ്ധത്തിലേര്പ്പെട്ടതിനാല് ദക്ഷിണേന്ത്യയിലെ രാജവംശങ്ങളില് ഏറെക്കുറെ അപ്രശസ്തരാണ് വെല്മ രാജവംശം.
അധിനിവേശങ്ങളെ പ്രതിരോധിക്കാനാണ് വെല്മ രാജാക്കന്മാര് ഈ കോട്ട പണീതതെങ്കിലും ഇവരെ കയ്യിലെടുത്ത് മുസ്ലിം ഭരണാധികാരികള് ഇവിടെ ആധിപത്യമുറപ്പിച്ചു. ഇനിയൊരിക്കലും നാട്ഭരിക്കാന് കഴിയാതെ പോകട്ടെ എന്ന ഒരു ബ്രാഹ്മണന്റെ ശാപം അവരെ ഗ്രസിച്ചതായും കോട്ടയുടെ ഇന്നത്തെ ശിഥിലാവസ്ഥയ്ക്ക് കാരണം ആ ശാപമാണെന്നും ചില ആളുകള് വിശ്വസിക്കുന്നു. എന്നിരുന്നാലും ഒരുപാട് സഞ്ചാരികളെയും സൂര്യാസ്തമയത്തിന് മുന്പ് മാത്രം തന്നെ സന്ദര്ശിക്കാന് ധൈര്യപ്പെടുന്ന സമീപവാസികളെയും ഈ കോട്ട ഹാര്ദ്ദവമായ് സ്വീകരിക്കുന്നു.