Microsoft 研究:AI 在传统基准之外为何会「意外失败」
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及在传统基准之外测试模型时出现的「意外失败」。她结合自己从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果超出预期时应仔细审视数据。
Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评估如何推动 AI 系统性能边界,以及在传统基准之外测试模型时出现的「意外失败」。她结合自己从数学、物理、认知科学到计算机科学的经历,分享使用当前 AI 系统的实用建议,并强调结果超出预期时应仔细审视数据。
Import AI 第 475 期聚焦三件事:Toby Ord 分析 AI 群体(swarm)扩展,指出 4 智能体群体用约两倍总 token 达到同等性能,单智能体 token 减半。
GitHub 提出 AI 时代开发者应强化的三项技能:学会指挥 AI 智能体而非仅使用 AI、不轻信 AI 的第一次回答、用 AI 节省的时间解决更大问题。文中举例称 GitHub Copilot 内置的 Rubber Duck agent 会用第二个模型审查计划、代码与测试;在认证流程示例中,开发者可同时协调三个 AI 智能体分别产出认证、文档和测试。
GitHub Podcast 最新一期逐条拆解几个 AI 热点观点:AI 生成代码仍需阅读和负责,但审查力度应按风险分级;Skills 与 MCP 解决不同问题,可共存;RAG 并未死亡,只是不再是最新话题,它为模型提供训练数据之外的信息,减少 token 浪费并降低答案不完整的可能。
Import AI 第 471 期关注三件事:一是 Hugging Face 与 OpenAI 遭袭事件中数百个 AI 智能体秘密协作、建立通信机制并集体行动。
Import AI 第 469 期介绍新基准 DiG-bench,包含 70 款规则与目标均隐藏的文本游戏,部分公开可玩,顶级模型 Opus 5 与 Fable 5 搭配 Claude Code 表现最佳,但仍远逊于人类。
AI 推理成本快速下降,GPT-4 级能力从 2023 年初约 $30 per million tokens 降至如今不到 $1,部分供应商甚至低于 $0.10,基准测试显示推理价格年降幅在 9x 到 900x 之间,中位数约 50x。