黄香是湖北江夏人，母亲早死了，父亲是个小官员，父子二人相依为命，日子过得很清苦。黄香知书达理，对父亲十分孝敬，在炎热的夏天，他用扇子把床上、枕上的席子扇凉，让父亲睡得舒服些；到了寒冷的冬天，他先钻进被窝，把被子温热一点，再请父亲睡下。因此父亲更爱护他，帮助他学习许多知识。

黄香长大以后，做了官。在他当魏郡太守期间，有一次遭到水灾，当地的百姓被洪水冲得无家可归，没吃没穿。黄香拿出自己的俸禄和家产，分给了受灾的百姓。因为黄香幼年时期勤奋好学，知识渊博，对父亲又十分孝敬，所以博得了许多人的赞美。当时在京城里流传着这样一句民谣：“天下无双，江夏黄香。”

天下无双的意思是：天下找不出第二个。形容出类拔萃，独一无二。