장성하면서 대군은 아버지인 태종(太宗)의 왕권 다툼으로 야기되는 피바람나는 골육상쟁(骨肉相爭)을 보게 되고 정치에 대한 회의를 느끼게 된다. 그리고 동생 충녕(후일 세종대왕)이 성군의 자질이 있음을 보고 스스로 세자(世子)자리를 양보하고 기행(奇行)을 일삼으며 주유천하(周遊天下)를 하게 된다. 양녕대군이 동생 충녕에게 세자자리를 양보한 것을 두고 후세의 뜻있는 선비들은 그의 큰 덕(至德)이 중국 전국시대(戰國時代) 주(周)나라의 태백(泰伯)에 못지않다하여 “동방의 태백”이라 칭송하였다. 지덕(至德)이란 말은 공자가 논어에서 역사상 가장 위대한 인물에게 내린 찬사(讚辭)중에서 최고의 찬사였다.
김시양(金時讓)은 저서 자해필담(紫海筆談)에서 양녕대군의 폐세자 원인에 세가지 추론을 하였다.
첫 번째로는, 양녕과 아버지 태종의 관계에 대해서 그는 양녕대군이 세자로 있을 때 태종의 뜻이 세종(충녕대군)에게 있는 것을 알고 일부러 미친 척하고 자리를 사양하니 태종이 곧 폐하여 세종을 세웠다는 것이고, 두 번째로는 양녕대군과 동생 충녕대군의 관계에 대해서, 양녕대군이 세자 자리에서 폐위된 뒤 한성에서 외지로 쫓겨나 경기도 이천군에서 귀양살이를 할 때 세종대왕이 몰래 양녕대군을 불러 위로했다고 한다.
그러나 조선왕조실록에서는 이와 다르게 기록하고 있는데, 세자(양녕대군)의 계속된 비행으로 아버지 태종이 몇번 질책하자, 불만을 품고 태종에게 “자신은 잘못이 없으며, 아버지(태종)은 모든 일을 마음대로 하시면서 왜 저만 못하게 하시느냐”하는 상소를 올려 태종을 비난했다.이에 분노한 태종은 세자를 폐하여 이천군으로 귀양보내고 동생 충녕대군에게 세자 자리를 넘겨주었다고 한다.
지덕(至德)이란 말은 논어의 태백편(泰伯篇)에 “子曰泰伯 其可謂至德也己矣 三似天下讓 民無得而稱焉 -태백은 더없이 높은 덕이 지극하다고 말할 수 있다.세번이나 천하를 사양했어도 백성들이 칭찬할 줄을 모르는 구나” 하는 공자의 말에서 나온것이다.
양녕대군 묘 지덕사(至德祠)
양녕대군은 당대 최고의 명필이다. 현존하는 숭례문(崇禮門) 경회루(慶會樓)의 현판은 그의 대표적인 글씨다. 조선왕조 건국후 도성은 사대문(四大門)이 건설되었으며 인의예지(仁義禮智)를 강조한 문이다. 그 중에서 숭례문(崇禮門)은 정문(正門)이었으므로 당시에 숭례문(崇禮門)의 현판 글씨를 쓰는 것은 최고의 영예이고 또한 최고의 명필이 아니면 감히 붓을 들 수가 없는 일이었다.