万万没想到,一台路由器引发美全国性“停飞”,白宫忙甩锅
11月13日下午,美国的天空好像被按下了开关一样。联邦航空局要求所有的航班都停止起飞,停了将近五个小时。当天大约有9200架次航班取消,7500架次航班延误,到15日为止,还有超过2200架次航班被取消,超过1万架次航班延误。这是自2001年9月11日之后最长的一次全国性停飞。禁令发布的时候,很多飞机都已经滑到了跑道口。
把原因拆开来分析的话,就小得不成比例了。事件发生于阿肯色州一个偏僻的空管中心。承包商把那里的通信铜缆换成了光纤,并且顺便把路由器也换掉了。在施工期间,有一台路由器开始向系统内的其他路由器发送大量的数据,每四五秒就会有上千次的连接请求。流量不大,但是频率却很密集。一个站点的施工不应该产生全国性的影响。
空管中心和飞机之间的对话就此中断了,雷达的实时数据流也随之停止。雷达一乱,数据就先乱了,飞机也就停飞了。设备没有出现冒烟、报警的情况,问题出在被没有用的连接请求堵塞了。该系统对于异常流量的容忍度已经很低了。
解决的办法并不是更换设备。交通部关闭了全国航空网络中的69个路由器的广播功能之后,故障就消失了。这个动作把病根指得非常清楚,并不是因为硬件的新旧问题,而是信息传递的方式。广播机制本身就有单点故障的风险,一台设备出现问题就会导致整个网络的收听中断。
影响面摊开来看,就是同一件事情。联邦航空管理局下设22个区域空中交通管制中心,其中17个的通信被这台路由器带了下来。一个点出问题,十七个点跟着瘫,这不是运气不好,而是这张网没有做隔断。区域中心是空管的节点,节点之间本来应该互相作为备份。
除了网络结构之外,还有设备老化的问题。受到波及的路由器是2001年购买的,到2006年就已经落伍了,到现在还在使用。达菲把账本翻到了二十年、二十五年甚至三十年以前。该时间段比很多在职官员的工龄还要长,比大多数设备的保修期还要长。账可以往后推,但是出了问题的账就无法推了。
这些话都是真实的,但是“老”和“脆”是不一样的。老设备如果可以隔离、可以降级、可以回滚的话,出现问题也就只是一站的事情了。真正的短板是没有为施工中可能出现的意外留后路。一个运行了三十年的系统,最缺少的就是这样的兜底。冗余并不是多买设备,而是当一个东西坏了的时候不会影响到整个系统。
政府问责局的那份报告中把底子全部摊开了。在138个空中交通管制系统中,有超过75%的系统已经不能持续运行或者存在不可持续的风险。局长贝德福德在九月份的时候说,有三百多个空管设施仍然依靠着几十年前的计算机和电信系统,彼此之间无法连接。报告的语气并不重,说的是一个正在扩大的缺口。
有的零件只能在拍卖网站上购买,或者用3D打印机打印出来。在这样的设备上,空管员每天要管理4.5万个航班。这并不是背景,而是压力。一天四万多架次,哪怕有一秒钟的通信抖动,最后都会变成停机坪上干等着的人。用这样的设备来管理这么多航班,靠的是人的眼力来弥补机器的不足。
施工方L3哈里斯已经为联邦航空管理局以及空管系统服务了20多年。达菲承认,这样的维护之前做过很多次,但是这次出现问题的原因却说不出所以然来。做过上千次的事情出问题了,缺少的是变更管理的系统。
缺少的是一个变更管理的系统。换线属于常规工作,但是也要进行单点隔离、降级运行、回滚预案。少一个环节,普通的施工就变成了全国停飞。达菲表示没有发现网络攻击的迹象,这句话大概率是真实的,但是真实的并不等于没事。最容易被省略的是回滚,平时用不到,出了问题也来不及。
另外一点也可以关注。达菲表示,在排除了施工引起的问题之后,系统又恢复了正常。这句话把因果都说得很清楚,把责任也指得很明白,但是原因到现在还没有查出来。联邦调查局等机构还在调查当中,是操作失误还是设备故障。查的时间越长,就越能说明这不是一个简单的操作失误。
政治上的反应要比技术上的结论快很多。达菲15日对NBC表示,这件事发生在我任期内,但是不能为别人留下的烂摊子道歉。特朗普沉默了两天之后,在15日的时候发了推文,把责任推给了拜登,并且说系统比接手的时候更糟糕了,还要一鼓作气,不能零敲碎打。表态的速度要比调查的速度快很多。
把钱的账算清楚了就知道了。11月12日达菲给国会写信要300亿,停飞当天白宫和交通部又申请了301亿。他说全面改造的资金要达到500亿以上。2025年国会批准了125亿美元的资金,达菲表示这笔钱有特定用途,不能用来建设新的通信网络,预计到2028年底就会用完。三组数字加在一起,这个缺口不是一年之内就能填上的。
民主党人对此并不认同。拉森、卡森联合发布声明称,已经批准的125亿只用了大约10亿。达克沃斯在X上写的更加直接,还不如把航空安全放在第一位,不要忙着搞那个可笑的凯旋门。嘲讽具有杀伤力的原因是把预算排序摆在了台面上。钱的用途很细,可以挪动的空间很小。
停得快,但是恢复得慢。禁令五个小时之后,恢复需要走两三天。飞机和机组都不在原来的位置上,调度链断裂要比通信链难接。捷蓝当天取消了28%的航班,美国航空取消了23%,中小机场的航班排在后面,旅客只能等待。一个下午的时间可以用来填满好几天。
现代化推不动也有原因。从20世纪80年代起,联邦航空管理局多次尝试改造,收效甚微。空管系统不能停机施工,只能边跑边换,难度不亚于给飞行中的飞机换发动机。计划里第一阶段要到2028年12月才完成。改造难,不只是技术难,是这套系统一天都不能停。
追责还在进行,下一次照样会停。换了政府、加了预算,只要69台路由器这类设计还在,就还能再停一次。查责任查的是人,修系统修的是环节,两件事不能互相顶替。