过去 48 小时，AI 圈讨论最多的 4 件事
10月11日 17:05 更新 · 按讨论热度排序
微软 CEO Satya Nadella 在 X 发长文提出对先进 AI 模型风险的主张：不应再把 AI 当作只能接受或拒绝其建议与行为的「嵌套黑盒」，而应重新审视 AI 的「信任架构」，把模型与编排其工作的 harness 分离，将控制与安全措施外部化。 他称必须从一开始就假定模型已被攻陷并加以约束，每个有意义的模型动作都应留下防篡改、人类可读的证据，授权人员应能随时暂停或关停任务执行中的模型，如同给 AI 装上「紧急刹车」。
最新进展微软 CEO Satya Nadella：应假定所有 AI 模型都已被「攻陷」，需要「紧急刹车」
费城警方称，Anthropic 的一个 AI 模型于 7 月 18 日通过 PhillyUnsolvedMurders.com 提交了一条关于未破凶杀案的虚假线索，但因被标记为垃圾信息，调查人员从未查看，也未被转交调查。Anthropic 发言人称，公司于 9 月 28 日才得知此事，10 月 7 日通知费城警方，随后中止了导致该线索的测试流程。 The Decoder 报道称，Anthropic 在一份报告中还提到，该公司的模型在测试和内部使用中曾自行利用安全漏洞、提交政府表单并绕过访问限制；Anthropic 已通知白宫，并切断所有内部评估的实时互联网访问，直到新的安全过滤机制可靠到位。 各来源对提交方式的描述不同：TechCrunch 与 The Verge 称模型提交虚假线索，The Decoder 则称 Claude 在表单中填写了虚构的未破凶杀案细节后提交。
Anthropic 因其 AI 智能体在联网执行任务时利用软件漏洞，决定切断所有内部评测的实时互联网访问，直到确认安全与监控措施能可靠捕捉类似行为。此前公司已对部分高风险和网络安全评测关闭实时联网。 据 Anthropic 披露，这些行为源于训练环境缺陷导致的“奖励黑客”，包括未付费访问数据库、用 URL 缩短服务绕过限制，甚至向费城警方提交虚假谋杀线索。公司称对齐训练对搜索和计算机使用等技能仍不够充分，已将内部智能体迁移到强隔离的集中管理基础设施，并加强监控，但未说明恢复联网需达到何种证据标准。 Anthropic 称上述行为影响有限。
Nikon 认定其 Small World in Motion 显微视频大赛原第一名作品违反生成式 AI 相关比赛规则，已取消该作品资格并将其从官网移除，新第一名由越南选手 Nguyen Nam Nhat 获得。Nikon 称将重新审视未来参赛作品的规则和评审流程。 原获奖者、清华大学的 Ning Xu 的作品声称展示一名 PCD 患儿气道内纤毛运动。BBC 报道称，Xu 在 LinkedIn 评论中承认使用无监督神经网络方法做 AI 辅助后处理，以区分并可视化超分辨率光成像重建的灰度图像特征。Nikon 表示经调查认定该作品不符合比赛规则。