ഭവനേശ്വറിലെ ഒരു പ്രധാന കാഴ്ചയാണ് ഉദയഗിരി & ഖാന്ദഗിരി ഗുഹകള്. പ്രകൃതിമനോഹരമായതും, ശാന്തവുമായ സ്ഥലമാണ് ഭുവനേശ്വറില് നിന്ന് 8 കിലോമീറ്റര് അകലെയുള്ള ഈ ഇരട്ട കുന്നുകള്. ഒരുകാലത്ത് പ്രശസ്തമായ ഒരു ജൈന സന്യാസിമഠം ഇവിടെയുണ്ടായിരുന്നു. കുന്നിന് മുകളിലെ പാറയില് കൊത്തിയെടുത്തതായിരുന്നു മഠത്തിന്റെ മുറികള്. ഇന്ന് ഈ മുറികള് ഗുഹകള് പോലെ കാണാവുന്നതാണ്. ബിസി രണ്ടാം നൂറ്റാണ്ടിലാണ് പുരാതനമായ ഈ മഠം നിര്മ്മിക്കപ്പെട്ടത്.
ചില ഗുഹകളിലെ ചുവരുകളില് കൊത്തുപണികള് കാണാം. റാണി ഗുംഫ അഥവാ റാണിയുടെ ഗുഹ എന്ന രണ്ട് നിലകളുള്ള ഒരു ഗുഹയും ഇവിടെയുണ്ട്. ഇത് വിപുലമായ കൊത്തുപണികളാല് അലംകൃതമാണ്. മറ്റൊരു വലിയ ഗുഹ എലിഫന്റ് കേവ് അഥവാ ഹാതി ഗുംഫയാണ്. ഉദയഗിരിയില് 18 ഗുഹയും, ഖാന്ദഗിരിയില് 15 ഗുഹകളുമാണുള്ളത്.