本期我们特邀Google DeepMind资深研究科学家、长上下文预训练联席负责人Nikolay Savinov，他将带您深度解析大型语言模型（LLM）最前沿的“长上下文”能力。

我们将揭秘：

• Token的奥秘：为何LLM以此为基本单位，以及它如何影响模型理解（例如，数单词中特定字符的挑战）。
• RAG并非“过时”：即便模型上下文窗口已达百万级，检索增强生成（RAG）仍是处理企业级数十亿令牌知识库的必需，并能与长上下文协同，显著提升有用信息的召回率，同时有效防止幻觉的发生。
• 上下文缓存：LLM成本与速度的秘密武器：了解这项技术如何让LLM在反复查询相同数据时变得更便宜（平均降低四倍）和更快，尤其适用于“与文档聊天”等应用。
• 长上下文的真实挑战：从处理“硬干扰项”导致的性能略微下降，到注意力机制的固有局限性，以及模型在检索“多个关键信息点”时的难题。
• 未来愿景：Nikolay大胆预测，1000万令牌上下文窗口将成为行业常态，特别是对编码应用而言将是颠覆性进步，有望催生超人级AI编码助手！
• 此外，还有开发者如何优化长上下文使用的实用建议，例如避免无关上下文，并通过提示词解决内部知识与上下文知识的冲突。

加入我们，探索LLM能力的边界与AI的激动人心未来！

来源：Google for Developers - Deep Dive into Long Context

https://youtu.be/NHMJ9mqKeMQ?si=cI5-VS6kDz7LNmYE

笔记📒链接：

https://notebooklm.google.com/notebook/38f7f78b-811f-41d3-ade8-89c539991db6