OpenAI 的研究团队提出并验证了一种通过人类反馈微调语言模型的方法（即 InstructGPT），旨在让模型更好地“遵循指令”并与用户意图对齐。先收集标注文档（示范输出）并进行监督微调（SFT），再收集模型输出排序数据训练奖励模型（RM），最后用基于该奖励的PPO强化学习（并引入预训练数据混合的PPO-ptx）进一步优化模型行为

在小宇宙查看该单集文稿