Ông người xã Yên Thường, huyện Đông Ngàn, trấn Kinh Bắc; nay là phủ Từ Sơn, tỉnh Bắc Ninh. Họ Phạm có tài làm thơ nôm và nổi tiếng về thơ tình yêu.  Khi Tây Sơn dấy lên, cha là Thạch Trung hầu, vốn đã làm quan với nhà Lê, có dự vào công cuộc cần vương, nhưng bị thất bại. Phạm Thái sau trưởng thành, quyết nối chí, thường kết bạn với những bậc nghĩa sĩ để mưu đồ khôi phục nhà Lê.