Google 研究团队开发的 ConvApparel，这是一个旨在评估对话式推荐系统中用户模拟器真实性的全新基准测试。研究指出，现有的语言模型模拟器与真实人类行为之间存在“真实性差距”，导致系统在模拟环境中表现良好，但在现实世界中往往失效。为了解决这一问题，该项目提供了一个包含 4,000 多场真实人类与 AI 购物对话的数据库，并引入了独特的“双智能体协议”来捕捉用户在面对优劣不同推荐算法时的反应。此外，作者提出了一套包含统计对齐、人类相似度评分以及反事实验证的三位一体评估框架。实验结果证明，虽然数据驱动型模拟器比简单的提示词基准更具鲁棒性，但所有模拟器仍难以完全消除与真人之间的行为差异。该研究为开发更可靠、更具泛化能力的对话式人工智能系统奠定了重要的工具基础。