OpenAI启动第一阶段“嵌入式评估”
OpenAI宣布正式签约了Apollo Research、METR、Transluce和Goodfire四家独立评估机构。这次是真正的“白盒审计”,也就是让外部人直接坐进OpenAI的办公室,用着内部电脑,去查未发布模型的底裤。
这四家机构拿到的权限极高,包括源代码、模型训练检查点、甚至是内部监控记录。比如Apollo专门负责查模型有没有在训练中学会“阳奉阴违”,也就是暗中违背开发者意图且隐藏自己的推理过程;METR则直接切入OpenAI目前最大规模的强化学习训练中,寻找现有监控漏掉的失控行为;Goodfire更是直接派驻研究人员去实时做机械可解释性分析,帮内部人员抓bug。
外部评估员可以和OpenAI员工私下聊天,这些对话不记名,但如果评估员需要把某个内部情况写进公开报告,可以要求OpenAI官方进行“声明认证”。
如果OpenAI拒绝认证,评估员有权在报告里直接写明“OpenAI拒绝证实此事”。遇到争议,还可以直接捅到董事会下属的独立安全委员会。
曾经因为安全分歧从OpenAI出走、高举安全大旗的Anthropic,为了推进IPO和商业化,最近在把自动化权限放得越来越宽;反倒是常常被批评过于激进的OpenAI,开始踩刹车搞起了如此严苛的贴身监管。
当大模型进入大规模强化学习和自主智能体阶段,黑盒测试就已经失效了。模型越聪明,就越懂得在测试时伪装顺从。OpenAI这次把家底敞开给第三方,既是为了兑现《白宫超级智能协议》的承诺,也是在为未来的天价合规成本摸石头过河。
你觉得OpenAI这次把训练室的钥匙交给独立审计人,会得到什么结果呢?
OpenAI启动嵌入式安全评估 AI大模型
