가장 인구에 회자된 이야기는 효령대군과의 일화이다. 즉 양녕대군이 미친 척하니 효령대군이 “장차 형님이 폐위되고 내 차례가 되겠구나”라고 여기고 열심히 글공부를 했다는 것이다. 그러자 양녕이 지나다가 들어와 효령대군을 발로 차면서 “어리석다. 넌 충녕에게 성덕이 있는 것을 모르느냐”고 했다는 것이다.(〈연려실기술〉 ‘양녕대군의 폐위’)
〈태종실록〉(1446년 4월23일)에는 이런 일화도 등장한다. 불심이 깊은 효령대군의 양주 회암사 불사(佛事)에 참여한 양녕대군이 사냥으로 잡아온 고기를 씹고 술을 마셨다는 것, 그리고 부처님에게 절을 올리던 효령대군이 ‘형님께서는 오늘만이라도 술과 고기를 그만 두라’고 정색했다는 것이다. 그러자 양녕대군의 한마디는 기가 막혔다는 것이다.
“나는 복이 많다. 살아서는 왕(세종)의 형이요, 죽어서는 부처(효령대군)의 형이 될 것이니….”