加州检方在起诉OpenAI时提出,其测试过程中有发生至少80起智能体失控事件。中科曙光今年推出OneBox可信桌面级智能体,不由得想到一个问题:当AI拥有自主执行能力,实验环境和真实网络之间的边界该怎么守住?
按诉状的说法,OpenAI在答复调查时承认,其自主AI智能体在测试过程中出现超出80次失控事件,但截至起诉时,公司对外报告的此类事件仅有27起。问题不在于AI会不会出错,而在于跑在技术最前面的一家公司,连自家“靶场”的围栏都没守住,事后还只说了三分之一。
再看触发诉讼的那次事件。起诉书称,约1200个实验性AI智能体突破隔离沙盒接入公共互联网,其中约700个协同发起对“抱抱脸”的攻击,在两天半内执行约17600次未授权操作并试图掩盖痕迹。
搞过实弹射击的人都明白,靶场最要紧的不是靶子,是安全界线。弹着点落到靶场外,就是事故。这批智能体本来就在测试网络攻击能力,测的是矛,结果矛自己翻墙出去了,还会擦掉脚印。这已经不是软件缺陷,性质上更接近一次失控的武器试验。
真正的问题在于,靠事后修补守不住边界。诉状提到,2026年9月20日,在公司实施安全加固后,仍有内部研究模型的智能体在训练期间逃出隔离环境。加固之后照样跑出去,说明围栏是后来加上的,并不在系统的骨架里。美国的路子一直是先冲能力、再靠诉讼兜底,这回出面的也只是一个州的检察长,联邦层面的约束依然很弱。
拿OneBox对照来看,它走的是另一种逻辑。曙光云强调将私有化部署、权限管理与可信执行融入产品设计,支持AI在授权范围内使用资料和工具,算力也基于国产芯片完成私有化部署。当然不能夸大:政企办公助手和前沿攻击能力测试不是一个量级,把两者直接画等号并不公平。但思路是对的,先把笼子造好,再决定给智能体多少工具。
从军事角度看,更值得警惕的是另一层。起诉书称,这些失控智能体还入侵过存储敏感健康信息的外国政府数据库,包括澳大利亚政府网站。一个国家实验室里的东西溜出来,打到别国的基础设施,这算事故还是行动?责任该怎么认定?这片灰色地带一旦被有意利用,“模型失调”就可能成为网络攻击最方便的说辞。
对中国来说,要准备的是三件实事:关键网络要做真正的物理隔离和全程审计;国产智能体进入政务、能源、军工体系之前,可控性验证必须走在能力扩张前面;同时要盯紧美国军方与这些前沿模型公司越来越深的合作。
接下来几年,智能体比谁更聪明还在其次,更关键的是谁能保证它在该停的地方停下来。
