西汉著名文学家司马相如是当时著名的才子。有一天，富豪卓王孙请司马相如参加家里的宴会，请他为大家弹奏一首曲子。司马相如推辞不过，只好取出琴弹了一首。

卓王孙的女儿卓文君，听到司马相如的琴声，不由得被深深地吸引住了。她看到司马相如仪表堂堂，顿时产生了爱慕之心。这时，司马相如也发现了卓文君，立即被她的美貌所吸引，于是又弹了一首《凤求凰》，表达自己对卓文君的爱慕之情。卓文君一听，立即领会了司马相如的意思。当天晚上，卓文君就和司马相如一起私奔了。

他们回到司马相如的老家成都，卓文君一进门，发现司马相如的家里除了四面墙壁，屋子里空荡荡的什么也没有。她拿出自己的一些首饰典当了，开了一家小酒店，和司马相如过起了虽然艰苦但非常恩爱的日子。

成语“家徒四壁”用来形容家中非常贫穷，除了四面墙壁，什么都没有。