一个人好好走在路上,头顶的无人机根据算法把他认成了目标,几秒钟之后,人没了。
最让人后背发凉的是,这中间没有谁去扣扳机,决定他生死的,是一套自己会拿主意的机器。
这样的事,正从科幻片里一步步走出来,逼着全世界下周坐到一张桌子前。
11月16日,日内瓦万国宫,联合国《特定常规武器公约》第七次审议大会开锣,五年才一回,核心议题就一个,怎么管住这些“杀人机器人”。
为了这件事,各国从2016年就拉了专家组,一年年会谈,吵了快十年,愣是没谈出一份能管住人的硬规矩。
红十字国际委员会急得把今年叫“决定性的一年”,说再光说不练,等机器自己开了杀戒,就来不及了。
好多人盯着“机器能不能杀人”,我反倒觉得,真正让人不寒而栗的,是它怎么看待人。
在这套算法的逻辑里,活生生的人被拆成一个个特征,是不是目标、该不该清除,全靠数据打分。
它不会管你是谁的父亲、谁的孩子,也不会在动手前犹豫半秒,符合条件,就动手。
更可怕的是这套判断藏在“黑箱”里,外人根本看不懂它凭什么选了这个人,等炸弹落下来,连个说理的地方都没有。
过去打仗,枪是人开的,误炸了平民,找得到人来负责,可如今把生杀大权交给机器,这笔血债,你都不知道该记在谁头上。
机器不会上军事法庭,也不会忏悔,到最后,“责任”两个字轻飘飘地落了空,死的人白死。
这时候再看美国的表演,就显得格外刺眼。
它嘴上有条3000.09指令,白纸黑字写着,致命的一枪必须由人授权,机器只能在旁边提建议,话说得比谁都体面。
可这条2023年立下的规矩,如今正被它自己一条条撬开。
今年6月,特朗普签了备忘录,要求90天内改掉这条指令,五角大楼紧跟着宣布,要给部队加速列装数千架无人机。
早在去年,白宫就下过一道“释放无人机优势”的行政令,要让便宜好用的国产无人机,最快速度发到部队手里。
一边是天天把人权挂在嘴边,一边是急着把生杀大权塞给机器,人命在这套算法里,不过是一串可以清除的数据。
连硅谷自己人都看不下去,做人工智能的企业划了红线,不肯把技术交给自主武器,官司一路打到联邦法院。
法官一度裁定国防部违宪,案子现在还在上诉,企业担心的也实在,模型不够可靠、又被架到云端,万一失控,谁也兜不住。
企业和法官在前面拼命踩刹车,战争部在后面使劲踩油门,美国自家屋里,吵成了一锅粥。
更有媒体曝出,美国和俄罗斯在联合国的谈判桌上,悄悄把安全条款一再弱化。
这里头的心思不难看穿,人工智能把杀伤链从几分钟压到几秒钟,留给人拍板的那一下,早就成了走个过场。
嘴上还挂着“人类授权”,手底下却把约束解个干净,这块遮羞布,扯下来只是早晚的事。
有人会问,这么冷血的东西,为什么谈了十年还拦不住。
根子不在懂不懂,在大国之间那个谁也不敢先松手的死结。
在大国交手的设想里,通信可能被掐断、卫星可能被干扰,这种时候,能自己拿主意、不用人盯着的武器,就成了刚需。
美国的政策文件里写得很明白,为了不落在后面,它可能被迫去研发这类武器,说白了,谁先绑住自己,谁就怕吃亏。
于是你不松口、我也不松口,明知道这东西一旦失控会害死多少平民,可谁都不肯先放下手里的刀。
更麻烦的是,技术门槛越来越低,便宜的无人机、开源的代码,不光大国能搞,小股力量也能弄到手,一旦扩散,更难收场。
当年的核武器,也是这么一路走到黑的,明知道毁天灭地,最后只能靠恐怖平衡硬兜着。
就在这一片松绑声里,中国的态度,在去年底的军控白皮书里写得格外清楚。
中国不是不发展人工智能,而是死死咬住一条,人是主导,人是最终的责任主体,武器再聪明,也得始终在人的控制之下。
白皮书讲“以人为本、智能向善”,还主张在联合国框架下,等条件成熟了,再谈一份有约束力的规矩。
中国反复强调,反对把人工智能政治化、武器化,借安全之名搞新的军备竞赛,要让联合国真正发挥主渠道作用。
一边是急着把人命变成数据、把责任推给机器,一边是把人命和责任牢牢扛在人肩上,两条路摆在眼前,高下立判。
说到底,看一支军队、一个文明的成色,从来不是看它能不能造出更聪明的杀人机器。
是看它在有能力把生杀大权交出去的时候,还愿不愿意把“人命关天”这四个字,稳稳扛在自己肩上。
一个连“谁来负责”都想推给机器的地方,你还敢指望它,把普通人的命当回事吗。