
거제가 유배지로 불리게 된 최초의 역사 기록이 폐왕성에서 시작된다 해도 과언이 아닐 정도로 많은 사람들에게 익숙한 지명이다.
폐왕성은 지난 1974년 2월 16일 경상남도기념물 제11호로 지정된 폐왕성은 사등면과 둔덕면 경계가 되는 우두봉 줄기에 위치해 자연석으로 겹겹이 쌓아 올린 고려 후기 양식의 성으로 정확한 역사적 자료가 남아 있지는 않고 고려 18대 왕인 의종이 폐위당해 이곳에 유배되었을 때 쌓은 것으로 전해지고 있다.
거제시는 역사적 사료로서의 가치와 보존을 위해 폐왕성지를 지난 2001년 56.5m를 복원에 이어 2004년부터 오는 2009년 까지 대대적인 복원 사업이 진행 중이다.
의종은 매일 호사스러운 연회를 베풀면서 무신을 경멸하였던 의종에 반발하여 1170년(의종 24) 9월 정중부를 비롯한 무신들의 반란으로 의종 폐위되면서 거제도로 3년간 유배생활을 했다.
훗날 장순석의 권유로 복위를 꾀하며 경주에 출거했다가 복위운동이 실패로 끝나고 1173년(명종 3) 10월 경주에서 이의민에게 시해 당했다.
거제지역에는 이러한 역사적 배경을 토대로 붙여진 지명 및 유적이 고스란히 존재하고 있다. 배를 타고 건넜던 견내량 수로변은 전하도목이라 불리고 , 둔덕면 방하마을에 고려골이라 불리는 곳은 고려인들의 무덤이 남아 있다.
고려시대 부터 둔덕면 거림지역은 고려의 관아터로 아래 마을에는 둔전(屯田)을 두어 농사를 짓도록 했고, 윗마을에는 말을 기르는 마장(馬場)과 그 목장 감독자인 시목이 있었다. 또 동·서 양쪽에 상둔(上屯)과 하둔을 설치해 방어했다.
다음은 둔덕면에 전해지는 폐왕성과 마고할미에 얽힌 전설이다.

거제시 둔덕면 거림리 우두봉 밑의 작은 영봉에 있는 목성과 같이 산허리에 테를 두른 성곽을 폐왕성이라 한다.
전설에 의하면 중국 천태산에서 살고 있던 마고할미가 도술을 부려서 이 성을 쌓았다고 한다.
의종이 폐위되어 거제도에 귀양 와서 살면서 밤낮으로 기우단에 정화수를 떠 놓고 천태산 산신령님께 기도를 드렸더니 절강성에 있는 천태산 산신령이 마고할미를 보내어 성을 쌓게 하였다는 것이다.
마고할미가 성을 쌓기 위해 괭이바다에 있는 괭이섬의 돌을 치마에 담아 가지고 와서 하룻밤에 이 성을 다 쌓고 남은 돌을 우두봉 골짜기에 버렸다고 한다. 거림리에서 폐왕성을 향해 한참 오르다 보면 마치 허물어져 있는 성곽과 같이 작은 골을 메우고 있는 검은색 돌무더기가 있다.
그리고 그 돌무더기 밑으로 물이 흐르는 소리가 들린다. 그 물은 마고할미가 성을 다 쌓고 나니 날이 훤히 새고 소변이 마려워서 오줌을 눈 것이 냇물의 근원이 되어서 지금까지 흐르고 있다고 한다.
고할미는 괭이바다에서 돌을 가져 오면서 괭이바다 물을 성 안에 솟게 하였다고도 한다.
얼마 전까지도 성 안에 있는 우물에는 물이 넘쳐흘렀고 그 우물에 명주실 꾸러미를 풀어 넣으면 괭이바다 앞에서 나왔다고 한다.