在本期节目中，我们将深入探讨 GUIRoboTron-Speech，这是首个能够直接通过语音指令和屏幕截图来操作手机和电脑的端到端自主GUI代理。我们讨论了它如何解决现有基于文本的AI代理的局限性，特别是在需要解放双手的场景中。我们还将揭示其创新的数据收集方法，即利用随机音色的文本转语音技术（TTS）来创建训练数据，以及其独特的“混合指令训练策略”如何克服了预训练模型中的“模态不平衡”问题。最后，我们将分析其实验结果，证明语音作为一种指令模态在驱动GUI代理方面的巨大潜力和广泛适用性。