울산도 다른 지역처럼 태화강과 회야강 등 큰 강과 가지산과 신불산, 고헌산, 문수산 등 명산을 끼고 있기 때문에 선조들은 빼어난 산수경관을 즐기기 위해 좋은 터를 골라 정자를 지었다. 조선 때 울산에 지어진 정자가 어느 정도나 되는지를 파악할 수 있는 자료는 없다.
근대자료에서 대략적이나마 정자 숫자를 더듬을 수가 있다. 일제강점기인 1934년에 발간된 울산읍지와 1937년의 흥려승람에 울산의 정자를 정리해놓고 있다. 흥려승람에는 30곳에 정자가 있었다고 기록돼 있다. 그 기록에 따르면 37년 당시에 실존한 정자는 22곳이고, 8곳은 허물어진 것으로 돼 있다.
당시에 있었던 정자로는 심환이 읍치 남쪽 야음리에 지은 '여천정'과 김경이 서쪽 곡연리에 지은 '관서정', 박창우가 동쪽 화봉리에 지은 '괴천정', 이근오가 서쪽 석천리에 지은 '재천정'이 있었다.
또 이연화가 동쪽 동부리에 지은 '이수삼산정'과 최신기가 서쪽 반구대에 지은 '집청정', 최남복이 서쪽 천전리에 지은 수옥정(백련정), 언양 유림이 서쪽 교동에 지은 '작천정', 김양호가 서쪽 검단리에 지은 '옥오정', 오병식이 남쪽 삼정리에 지은 '벽산정'이 있었다.
현재 울산광역시 문화재자료 제1호 이휴정은 1937년 당시에는 없었던 것으로 기록돼 있다. 그러나 3년 뒤 1940년에 중건됐다. 울산객사의 남문루의 체목으로 중건한 것이다. 또 당시에는 울산을 상징하는 삼산에 이수삼산정이 있었다고 기록돼 있으나, 그 뒤 어느 시기에 사라졌다.
흥려승람에 37년 당시에 실존한 것으로 기록돼 있던 정자 22곳 가운데 범서 사연리의 관서정과 범서 입암리의 입암정, 웅촌 석천리의 재천정, 두동 봉계리의 백련정, 반구대의 집청정, 삼남 교동리의 작천정, 웅촌 검단리의 옥오정, 두서 활천리의 활천정, 청량 통천리의 거경재 등 9곳은 지금도 남아 있다.
그 외에도 흥려승람에는 빠졌거나, 그 뒤에 중건 또는 중수된 정자는 남구 신정동의 이휴정과 북구 송정동의 양정재, 송애정사, 두동 구미리의 효사정, 상북 향산리의 능산정사, 온산 삼평리의 해은정 등 6곳이다. 그래서 현재 울산에는 15곳의 정자가 있다.
태화강 유역에 이휴정과 관서정, 집청정, 백련정, 효사정 등 10곳이 있고, 회야강 유역에 해은정과 재천정, 옥오정, 거경재 등 4곳, 그리고 활천정 한 곳은 강과는 무관한 곳에 있다. 그들 정자 가운데 일부는 심하게 낡아 보수가 시급하다.