Microsoft 研究:AI 在传统基准之外为何会「意外失败」
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及在传统基准之外测试模型时出现的「意外失败」。她结合自己从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果超出预期时应仔细审视数据。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及在传统基准之外测试模型时出现的「意外失败」。她结合自己从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果超出预期时应仔细审视数据。
Import AI 第 469 期介绍新基准 DiG-bench,包含 70 款规则与目标均隐藏的文本游戏,部分公开可玩,顶级模型 Opus 5 与 Fable 5 搭配 Claude Code 表现最佳,但仍远逊于人类。