퇴계는 평생 두 번 결혼을 했습니다. 21세 때 김해 허씨와 결혼하였는데, 그녀는 세 아들을 낳은 후 결혼 6년 만에 산후풍으로 세상을 떠났습니다. 두 번째 아내 권씨와 재혼했지만, 그녀 역시 퇴계가 46세 때 세상을 떠나고 말았다. 
두 아내를 잃고 홀아비가 된 퇴계는 1548년 1월 단양군수로 부임했다. 

그런데 부임한 지 한 달 만에 둘째 아들 채(寀)가 또 목숨을 잃었습니다. 당시 48세였던 퇴계는 계속되는 가족들의 죽음으로 말할 수 없는 슬픔에 잠겨 있었다. 

그 무렵, 그는 명기 두향과 만나게 됩니다. 전설처럼 내려오는 이야기에 따르면 두향은 어려서 일찍 부모을 잃고 단양고을 퇴기인 수양모 밑에서 자라났습니다. 그녀는 열세 살 에 '기적(妓籍)'에 올려졌으며, 열여섯 살에 황초시란 사람과 결혼다. 

그러나 결혼 석 달만에 남편이 세상을 떠나자, 어쩔 수 없이 다시 기생이 되어 단양 관기로 활동하고 있던 참이었습니다. 그녀는 용모가 빼어나고, 거문고를 잘 탔고, 시와 그림을 좋아했다. 

퇴계가 단양군수로 왔을 때 이팔청춘 16세에 남편과 사별한 미모의 기생과, 두 아내와 사별한 채 아들까지 잃어 슬픔에 젖어 있던 48세의 홀아비가 만난 것이다. 

소설가 정비석 씨가 쓴  명기열전(名妓列傳)에는 두 사람의 만남과 이별에 관한 이야기가 소설적 상상을 덧붙여 애절하게 묘사되어 있다.

슬픔과 비탄에 젖은 채 묵묵히 시를 쓰고 글을 읽는 퇴계를 두향은 마음속으로 사모하게 됩니다. 두향은 사랑의 정표로 여러 가지 선물을 드렸으나 퇴계는 번번히 물리쳤습니다. 그러나 두향은 포기하지 않고 선생께서 무엇을 가장 좋아하시는지 주위 사람들에게 물어 매화를 무척 사랑해서 매화를 읊은 시가 수십 편이 있다는 것을 알게 되었다. 

그녀는 전국을 수소문해서 희다 못해 푸른 빛이 나는 최상품의 백매화를 구했습니다. 그 매화를 선생께 드리니, 선생께서도 "매화야 못 받을 것 없지." 하시며 동헌 뜰 앞에 심고 즐겼다. 

그러나 두 사람의 사랑은 열 달도 안되어 끝나고 맙니다. 넷째 형인 이해(李瀣)가 충청도 관찰사로 부임하자, 형제가 같은 도에서 근무하는 것을 피하는 제도 때문에 퇴계가 경상도 풍기 군수로 옮겨가게 된 것이다. 

두향으로서는 청천의 벽력이었습니다. 짧은 사랑 뒤에 찾아온 갑작스런 이별은 견딜 수 없는 충격이었습니다. 이별을 앞둔 마지막 날 밤, 두 사람은 밤이 깊도록 말없이 마주 보고 앉아 있었습니다. 이윽고 퇴계가 무겁게 입을 열었다.

“내일이면 떠난다. 기약이 없으니 두려울 뿐이구나.” 

두향은 말없이 먹을 갈고 붓을 들었습니다. 그리고 시 한 수를 썼다.

 
이별이 하도 설워 잔 들고 슬피 울 제
 어느덧 술 다 하고 님 마저 가는구나.
 꽃 지고 새 우는 봄날을 어이할까 하노라

 
그날 밤의 이별은 결국 너무나 긴 이별로 이어졌다.
 
퇴계가 단양을 떠날 때. 그의 짐 속엔 두향이가 준 수석 두 개와 매화 화분 한 개가 있었습니다. 이때부터 퇴계는 평생 동안 그 매화를 가까이 두고 두향을 보듯 애지중지했다.
 
1570년 퇴계가 69세의 나이로 세상을 떠날 때도 자신의 죽음보다 매화의 목마름을 염려할 정도로 매화 사랑이 깊었다. 

한편 퇴계가 단양을 떠나자, 두향은 ‘퇴적계(退籍屆)’를 제출했습니다. 신임 사또에게 ‘이황을 사모하는 몸으로 기생을 계속할 수 없다’며 기적에서 이름을 없애달라고 간청해 기생을 면했다. 

그 뒤 두향은 퇴계와 자주 갔던 강선대가 내려다보이는 강 언덕에 초막을 짓고 은둔생활을 하며 평생 선생을 그리며 살았습니다. 퇴계의 죽음 소식을 들은 두향은 도산서원까지 달려가 멀리서 절을 한 후 돌아왔습니다. 그후 두향은 스스로 목숨을 끊기 전에 이렇게 유언했다. 

"내가 죽거든 무덤을 강선대 위에 만들어주오. 내가 퇴계선생을 모시고 자주 시문을 논하던 곳이라오." 

너무도 일찍 생을 마감한 그녀는 강선대 가까이에 묻혔고, 그로부터 단양 기생들은 강선대에 오르면 반드시 두향의 무덤에 술 한 잔을 올리고 놀았다고 전한다.
 
퇴계와 두향의 추억이 어린 강선대는 충주댐을 만들 때 수몰되고 말았습니다. 하지만 '두향묘'는 그녀를 기리는 사람들에 의해 1984년에 지금의 위치로 이장됐다.
  
외로운 무덤 길가에 누웠는데 
물가 모래밭에 붉은 꽃 그림자 어리어 있으라 
두향의 이름 잊혀 질 때라야 강선대 바위도 없어지겠지
 

하지만 퇴계와 두향의 사랑을 공식적으로 밝힌 문헌은 아직까지 확인된 것이 없다. 다만 1977년 단양군이 펴낸 '단양군지'는 강선대를 소개하면서 '명기 두향의 묘가 있다'고 만 했을 뿐이다.