एक पौराणिक कथा के अनुसार प्राचीन काल में महान ऋषि दुर्वासा इस मंदिर में कल्प वृक्ष के नीचे बैठकर ध्यान करते थे। ऐसा भी माना जाता है कि उन्होंने उर्वशी अप्सरा को इसी स्थान पर बनाया था।