这份由 Anthropic 工程师撰写的文章探讨了在 AI 能力快速演进的背景下，如何设计能够有效区分人类顶尖人才的技术面试题。由于 Claude 系列模型多次在传统的性能工程测试中超越人类表现，作者被迫对考核方式进行了三次重大迭代。最初的测试侧重于模拟真实工作环境，但模型的高效学习能力使其逐渐失去了筛选信号。为了应对挑战，开发团队最终转向设计高度抽象且偏离常规的编程谜题，以测试人类在缺乏训练数据场景下的逻辑推理能力。目前，该公司已将旧版题目作为公开挑战发布，邀请能够超越 AI 记录的优秀工程师加入。