OpenAI 为什么长期押注用 next token 训练通用模型,而没有为短期效果走更多捷径?围绕 ChatGPT 与 LLM 的技术路线,本期从 reinforcement learning、知识与任务对齐一路讨论到垂类模型和智能客服的生存空间。
适合正在选择模型路线、设计 AI 产品或评估垂类模型的技术与产品从业者,帮助区分模型能力、知识注入和任务对齐。
• 为什么 next token 这种自监督任务可能学到可迁移的语言表示?
• OpenAI 坚持通用自回归路线,需要跨过怎样的短期效果劣势?
• ChatGPT 的短期高估与长期低估,分别会让产品判断偏向哪里?
• reinforcement learning、in-context learning 与模型参数变化应如何区分?
• 当通用模型开放更多定制能力后,垂类模型和智能客服还应保留什么优势?
卢毅在一家智能客服创业公司负责机器学习,曾在苹果参与 Siri 的机器学习研究;本期结合模型研究与产品实践讨论大语言模型。
加入Superlinear Academy免费社区
带上一个准备接入大语言模型的具体任务,说明它缺的是知识、格式对齐还是连续决策能力。
https://www.superlinear.academy/
孙煜征(课代表立正),康奈尔大学经济学博士、Superlinear Academy创始人。曾任Amazon经济学家、Meta数据科学家和腾讯IEG副总监,也是OpenAI收购团队早期成员。
《课代表立正》关注AI如何改变工作、职业与商业,以及人在变化中最需要保留的判断力。