OpenAI Realtime API 发布了，你准备好了么？

Realtime API 让开发者可以构建近乎实时的「语音到语音」的体验，无需将多个模型拼接在一起进行转录、推理和文本到语音的转换，实现更流畅的打断体验，还可以无缝切换多种语言。

本期节目请来了第一批接入并体验 OpenAI Realtime API 的开发者，为你解析背后的技术和开发者的新机会。

两位嘉宾分别是在实时多模态 AI 领域深耕多年的专家——开源实时多模态 AI 框架 TEN Framework 的联合发起人 Plutoless ，以及拾象科技的 AI Research Lead 钟凯祺 Cage。
节目深度分析了 OpenAI Realtime API 的优势与挑战，讨论了实时多模态 AI 如何实现语音进、语音出的端到端交互，大幅降低延迟，提升用户体验，使得与 AI 的对话更加自然流畅。也谈到了目前存在的高昂成本和技术集成的复杂性，以及这些问题对开发者意味着什么。

此外，嘉宾们还深入探讨了实时多模态 AI 的定义，什么才是真正的实时多模态？他们分享了自己在实践中遇到的挑战和最佳实践，探讨了在 OpenAI Realtime API 的背景下，开发者如何抓住新的机遇。他们也展望了 AI 在未来实时互联网中的角色，讨论了 AI 安全、人与 AI 的协作、多模态交互等话题。

节目中提到的 Voice Agent 象限图：X 轴为「准确优先」到「创造力优先」，Y 轴为「实时不敏感」到「实时敏感」（「海外独角兽」制图）：