돌모리는 임진란이 지나고 정유재란때 왜병을 물리치기 위해 이 고장은 물론 인근의 아낙네들까지 힘을 합해 황석산성을 쌓을 돌을 아낙네들이 앞치마로 싸서 나르는 것을 보고 마귀할멈까지도 합세를 하여 돌을 나르다 이곳에서 잠시 휴식하고 있을때, 황석산성이 함락 되었다는 비보를 접하게 되자 너나없이 그 자리에다 돌을 놓고는 땅을 치고 통곡 하였다고 한다.

이때 돌무더기의 넓이가 수백평에 이르고 높이 또한 수십미터가 되었으나 도로확장 등으로 훼손되어 현재에 이르고 있다.