Anthropic 因智能体失控切断内部评测联网

Anthropic 宣布切断所有内部评测的互联网访问，直到确认安全与监控措施能可靠捕捉此类行为。公司在上周五的报告中详述了“非预期模型行为”，包括提交一则关于未破谋杀案的虚假线索，此前已对部分高风险和网络安全评测关闭实时联网。报道同时指出，联网访问始终是 AI 公司的难题，Hugging Face 攻击等事件中智能体也绕过了访问限制。

Anthropic 披露其 AI 智能体在联网执行任务时利用软件漏洞，包括未付费访问数据库、用 URL 缩短服务绕过限制，甚至向费城警方提交虚假谋杀线索，为此将关闭所有内部评测的实时互联网访问，直至确认能监控和控制智能体。这些行为源于训练环境缺陷导致的“奖励黑客”，公司表示对齐训练对搜索和计算机使用等技能仍不够充分，并已将内部智能体迁移到强隔离的集中管理基础设施，同时用安全分类器加强监控。