Phạm Nhữ Dực là con trai thứ 5 của danh tướng Phạm Ngũ Lão (1255-1320). Quê ông ở làng Phù Ủng, huyện Mỹ Hào, Thừa tuyên Hải Dương (nay là huyện Ân Thi, tỉnh Hưng Yên). Sau đó, ông di cư vào sống ở xã Lỗ Huyền, huyện Lôi Dương, phủ Thiệu Thiên, Thừa tuyên Thanh Hoa (nay là huyện Thọ Xuân, tỉnh Thanh Hóa) và trở thành thủy tổ của tộc Phạm tại đây.