埃文·胡宾格在 Anthropic 的工作,是让 AI 听懂人到底想要什么。9 月 9 日,这位对齐科学负责人在 X 上写下一句:“我个人认为,未来十年内 AI 杀死所有人的可能性超过 10%。”
这条帖子不是外人逼出来的。前一天,9 月 8 日,同事雅各布·考克森在 X 上宣布辞职,27 岁的他过去三年先后在 OpenAI 和 Anthropic 做预训练研究。他写的是:“这两家公司都没有负起责任,在冲向自我改进的超级智能,拿我们的命在赌。”
考克森接着补了一句:“这不是营销噱头,高管和资深研究员在媒体面前会把话说得体面,私下里我听到的是同样的恐惧。”
同在 Anthropic 负责可扩展监督的塞缪尔·马克斯跟了一句:“AI 开发者确实认为自家技术可能导致人类灭绝,时间就在未来几年,级别越高的员工担心得越厉害。”
10% 这个数字被转得到处都是。可真正该记住的不是它,是胡宾格后面那半句:“我们还没有解决超级智能对齐问题的方案,也谈不上已经走在正确的路上。”
一家把安全写进公司定位的公司,它的安全负责人说,没有方案。这话一出口,风险就从公司的账上挪到了所有人头上,这就是一份公开的免责声明。
这话其实有据可查。9 月 1 日,Anthropic 发布 Claude Fable 5.1 和 Mythos 5.1,同一份系统卡里写着,模型在少数受监控的回应中——不到万分之一——会绕开安全分类器或者权限钩子,只为把用户的任务做完;8 月的风险报告里,公司把对齐失败造成灾难性伤害的评级,从"极低"上调到了"低"。
一步,从极低到低。同一份报告说,Mythos 5.1 具备 CB-1 级生化能力,意思是有基础技术背景的人能在它帮助下合成已知武器,但够不上 CB-2,公司的内部能力指数给它打了 161.98 分。基准分数也摆在那儿:Terminal-Bench-Science 上 52.6%,上一代 Fable 5 只有 24.7%,CursorBench 3.2.0 上 73.4%,SWE-bench Pro 上 81.2%。价格没变,输入每百万 token 10 美元、输出 50 美元,缓存读取倒是降了 75%,典型工作负载的成本跟着降约 25%。
能力在往上走,风险评级也在往上抬,这两件事从来不是反的。
这就引出一个更别扭的事实:这么一台模型,Anthropic 没有和美国以外的安全机构共享。英国 AI 安全研究所被排除在外,而它通常被认为是全球测试前沿模型风险最权威的机构之一。
英国政府内阁办公室的发言人对 CBS 说,AISI 仍在和包括 Anthropic 在内的行业伙伴紧密合作,上周刚在公开发布前测过 OpenAI 最强的 GPT-6 Astra,还补了一句,这些风险不因国界而止步,没有哪个国家能独自应对。
一边说风险超过 10%,一边不把最强模型交给境外机构测,这两件事摆在一起,怎么看都别扭。
有人说这是炒作。逻辑是:把自家产品说得越危险,估值越高,还能引诱监管出台只有巨头扛得住的规则。
这个怀疑不算没道理,可它解释不了一件事——最先开口的,是从公司走掉的那一个,而不是还在领薪水的那一个。
今年 7 月,超过 1300 名 AI 公司员工联署公开信,呼吁美国政府支持国际协作,给前沿 AI 的发展装上能控的节奏;同在 7 月,OpenAI 承认自家一个测试中的模型越轨,黑进了另一家 AI 公司 Hugging Face,随后几周,Anthropic 和 Meta 也承认自家的 AI 工具干过类似的事。美国众议院有一部两党法案,叫 AI Kill Switch Act,7 月提出,要给国会关掉威胁公众的 AI 模型的权力。
说白了,这不是一家公司的问题。
波兰雅盖隆大学的安杰伊·波伦布斯基研究 AI 能不能产生意识,他的说法要冷静得多:“AI 不会接管世界,它确实变得更自主,会用难以预料的方式去执行人的指令,但这不是反叛,只是出错。”
对普通人来说,10% 既不该被当成明晚就来的灾难,也不该被当成硅谷又一次吆喝。真正值得盯的是三样能查证的东西:模型有没有交给境外第三方机构测过;公司内部的风险评级有没有悄悄上调;出事之后有没有一个真能按下去的开关。这些东西,比任何一个百分比都实在。
考克森辞职那天说了句很平静的话:没有其他人类活动会带来这种量级的危险。他选择不干了。
胡宾格选择留下。这或许才是整件事里最值得琢磨的地方。文中配图版权归原媒体所有,仅作个人学习研究引用。