GPT-6 Astra一经发布就被英伟达创始人黄仁勋称其为AGI的雏形,乃生成式人工智能领域的又一里程碑式事件。
早在半年前,OpenAI取消Sora项目之时,我和我弟就猜其肯定在酝酿一波大的,结果就是工程验证了“循环深度”这一新型范式技术、ARC3干到99.9%直接超出阈值(Saturate)、10T参数且Agents全程参与开发,递归自我改进(RSI)已经到来!
真正值2万亿美元的是OpenAI,而不是Anthropic。
话说回来,“循环深度”本身就是阻断蒸馏的最佳技术之一,其不仅让CoT从自然语言输出转向高维符号向量区域自纠,极大减少工程师等主体人为蒸馏大模型数据并用以训练的风险,还大幅降低词元(Token)的消耗及能耗成本,简直一举两得。
而A社将思维链(CoT)模块锁死,即一旦被篡改就报错的手段也挺具开创性的,从另一方面降低大模型被蒸馏的可能性。
倘若大模型蒸馏这条技术路线被彻底堵死,那么境内的AI公司该怎么办?
我认为,只要单位时间内训练算力给到位,加上开源社区贡献的各种技术,国产开源模型在一两年内追上现在的前沿最先进闭源模型的能力水平还是有很大可能性的。
但现在问题并不在于“要不要把无法引领通用大模型最先进能力水平的锅甩给是否采取蒸馏等手段或行为”。
既然研究路径、模式及大致方向皆很明确,为何仅仅是迎头追赶,却始终不见真正的全方位超越呢?
如果仍以“后发劣势”这一说法来阐述AI行业发展,未免太不合理了吧?
要说半导体等其他传统产业尚且如此倒也罢了,但于AI产业,两个大国几乎是同时起步的。
所以说,蒸馏只是逆向工程灰度“创新”的具体手段之一,真正的问题出在:
打着科技创新的幌子制造一系列资本叙事,却又无法全方位引领一项划时代前沿技术从实验室走向商业化,最终实践出来的只能是借他人口碑为自己的重复造轮子背书、赋能。
最后,针对AI开始“爆破式”攻克前沿数学领域的千禧年难题,遭到数十位顶尖数学家联名写信反对这一事件,我个人的看法如下:
我们对待AI总是抱着侥幸的心态,认为现在的人工智能在信息安全领域所做出的承诺是值得信任的,到头来不过是机器不通人性、只认指令,而拥有它们的企业对人类思想产出机制又呈现出一无所知,并高度蔑视与傲慢。
事已至此,说些实用且迫在眉睫的。
绝大多数人根本就没搞懂这件事的本质,然后搁那酸溜溜地说是慢工出细活的人类看不惯AI的力大砖飞。
然而,真正的本质是AI从始至终都在窃取人类的信息成果,包括这个NS方程也是建立在已有知识资料库的前提下,让1万个智能体去消化从私域收集来的去标识化数据,其中就包括世界各地使用过AI并把未公开发表的前沿研究成果作为指令输入给AI——
若此因果链属实,则目前无论是AI还是人类都得面临这么一个问题:
当AI将人类迄今为止所有的数据资源作为增量训练及推理“燃料”消化殆尽之后,其能否在一堆存量信息里发掘及打磨出全新的未知领域?