பாண்டிய மன்னன் தமிழகத்தின் வடக்கு பகுதி காசியில் உள்ள ஒரு சிவலிங்கத்தை எடுத்து வந்து தெற்கே பிரதிஷ்டை செய்ய நினைத்தான். அவ்வாறு செய்வதற்கு தன் மனைவியையும், பணியாட்களையும் அழைத்து காசிக்கு சென்றார்.
அங்கு ஒரு சிவலிங்கத்தை எடுத்து வரும் வழியில் சிவலிங்கத்தை சுமந்து வந்த காளை மாடு ஒரு இடத்தில் நின்றது. அது அங்கு இருந்து நகரவில்லை. அப்பொழுது உடன் வந்த தன் மனைவிக்கு கோவிலுக்கு செல்ல முடியாத நிலை ஏற்பட்டதால் அங்கே தங்க வேண்டியதாகியது.
அதனால் காளை மாட்டின் மீது வைத்துள்ள சிவலிங்கத்தை அங்கே வைத்து பூஜை செய்ய வேண்டிய நிலை ஏற்பட்டது. அந்த இடம் சிவகாசி ஆகும்.
அங்கு ஒரு சிவலிங்கத்தை எடுத்து வரும் வழியில் சிவலிங்கத்தை சுமந்து வந்த காளை மாடு ஒரு இடத்தில் நின்றது. அது அங்கு இருந்து நகரவில்லை. அப்பொழுது உடன் வந்த தன் மனைவிக்கு கோவிலுக்கு செல்ல முடியாத நிலை ஏற்பட்டதால் அங்கே தங்க வேண்டியதாகியது.
அதனால் காளை மாட்டின் மீது வைத்துள்ள சிவலிங்கத்தை அங்கே வைத்து பூஜை செய்ய வேண்டிய நிலை ஏற்பட்டது. அந்த இடம் சிவகாசி ஆகும்.
