楊彪的遠祖楊喜是漢高祖時的猛將，祖先楊敞是漢昭帝的宰相，還娶了司馬遷的女兒。楊彪另一位先祖楊寶相傳因為心善救了黃雀而得到「銜環」的報恩，而且楊寶之後的四代都位極三公當到太尉。楊家家世顯赫，當時只有袁家可以和其相提並論。