塔斯娱乐资讯网

OpenAI 联创和首席研究员共同发声:RSI 真的要来了吗?

a16z新节目里,OpenAI首席研究官MarkChen与联创JohnSchulman同框,聊的是RSI——递归自我改进:让AI帮着把下一代AI做得更强。这概念存在多年,一直是思想实验,如今前沿实验室开始把它做成真的。十六分钟对话藏了什么?

你有没有想过,AI实验室里干活的那些研究员,现在手底下已经有了一批不睡觉的实习生?这些实习生不是人,是AI。它们帮研究员跑实验、盯实验、写代码,研究员只管给方向。

这是a16z新开的节目WorkingTheory第一期聊的话题。a16z普通合伙人SarahWang请来了两位嘉宾:OpenAI首席研究官MarkChen,在OpenAI八年多,从2025年起和JakubPachocki一起负责整个研究团队;还有OpenAI联合创始人JohnSchulman,ChatGPT最主要的设计者之一,现在是ThinkingMachinesLab的联合创始人和首席科学家。聊的题目叫RSI,全称recursiveself-improvement(递归自我改进),意思是让AI帮着把下一代AI做得更强。这个概念存在很多年了,一直只是个思想实验,现在前沿实验室开始把它做成真的东西。节目只有16分钟,但两个人说的几件事,我觉得值得拆开讲讲。

RSI在OpenAI眼里,先是一个加速器

RSI这个词很容易让人想到科幻电影:AI自己造出更强的AI,一代接一代,直到人类跟不上。Mark和John谈的却是更朴素的版本。John说,造一个能发布的模型,主线是一条很长的训练流程,从预训练到后训练再到跑评测,每个环节都有很多人。同时旁边还有各种探索性的研究,先跑一些小实验,验证想法,给大训练做准备。在他看来,RSI就是用AI来帮这个研究过程提速,或者让它做得更好。

Mark的说法更直接,他首先把RSI看成加速器。用Codex加速预训练,加速强化学习,如果真的有效,你应该能看到进步的曲线比没有AI帮忙时往上挪了一截。OpenAI内部花了很多功夫去量化这条曲线,他说现在已经能看到一些迹象。

我觉得这个定义很重要,它把一个吓人的词放回了一个很具体的位置。大家争论RSI什么时候来,很多时候是因为各自心里想的东西不一样。有人想的是AI完全自己做研究,有人想的是研究员的效率翻了一倍。Mark自己也说,RSI和AGI一样,每个人都有自己的定义。先把话说在同一个意思上,后面的争论才有意义。

MarkChen说,AI研究实习生已经有了

Mark说得很明白:我相信我们今天已经造出了AI研究实习生。他们衡量的办法也很实在,就是看有多少算力是通过Codex在跑,由Codex从头到尾管着去做实验,或者去自动化研究流程里的某一段。

这类实习生用在哪呢?用在任务边界很清楚的地方。你不会让它自己去想点子,你会说,我想用这种特定的方式跑这个实验,它就去实现、去跑、把结果给你。或者你说,帮我盯着这一批实验,出现这几种情况就告诉我。这跟带一个刚入职的实习生没什么两样,你得把活交代清楚,它才干得好。

至于离终点还有多远,Mark给了一个很少有人敢给的数字。他说如果把AGI看成一条光谱,不是某个时间点,就像工业革命不是一个时间点一样,那么他觉得我们已经走了大概80%。但RSI的光谱上我们更靠前,如果用模型反过来发现新想法、反馈给研究的有效程度来算,大概在25%到50%之间。

外面也有佐证。Sarah在节目里提到,11月5日METR发了一份报告,估计Anthropic过去一年研究进展的速度大约快了2倍。不过她也说得很清楚,这个提速很可能还是研究员用AI工具换来的,离整个研究流程由AI自动完成还有距离。我觉得这个区分值得记住。现在发生的是人加AI跑得更快,不是AI自己在跑。

JohnSchulman怎么用AI做研究:交给它几天,再自己上手

John讲了他自己的一个做法,我觉得比任何数字都更能说明现在的样子。他有了一个想法,会先给AI写一段很复杂的提示词,把各种辅助设置都关掉,让它自己去琢磨这件事,花上好几天,吐出大量的token。这几天里它确实会做一些相当合理的实验,也会带出一些有意思的想法,但最后的结果通常不怎么样,很可能没完成他交代的任务。

过一阵他有几天空档可以写代码,就回到这个想法上。这一次他自己读结果,再把怎么推进这个项目讲得更细。John说,这样往往能走得远得多,因为他在这个过程里一点一点建立了理解,会问AI想不到要问的问题,也会把它推向它自己不会去的方向。

在我看来,这个例子比Mark的实习生比喻更能说明问题。AI自己干几天,产出了一堆东西,但缺的是知道哪些东西值得做下去。人一介入,用的恰恰是这一点。这也解释了为什么John在节目开头说,我们现在很像处在半人马时代:AI在很多方面已经是超人了,但专家和AI一起工作,结果还是更好。

研究品味为什么这么难教给AI

要让AI走到完全自己做研究那一步,两个人都认为最大的坎是taste(品味)。John的说法是,研究品味就是知道哪些想法从长远看重要,哪些想法能走出它第一次出现的那篇论文,因为足够通用,又能和别的想法组合起来。

Mark把研究分成两种。一种是照章执行,你有一个实验,参数都已经知道,去做就是了。另一种是品味,也就是这个想法最初是怎么冒出来的。他说模型在品味上还不算特别强,它们很擅长钻进细节里,比如超参数优化,把能调的旋钮一个个调到位。

Sarah追问,John刚才那个例子里,给AI指方向的那一下还是来自你,这种直觉是从哪来的,机器什么时候能复制?John的回答我很喜欢。他说直觉很大程度来自亲身做研究的经验,同时你还得读很多这个领域过去的工作,从历史里吸收教训。这些事AI大部分也能做,它能把所有文献读完,全部记住。但记忆既是福气也是诅咒,因为它没有做错过的经验,没有先做出预测再看预测怎么落空的经历。

Sarah把这句话总结成知识和经验的区别,我觉得说得很准。一个把所有论文都背下来的人,和一个自己踩过三次坑的人,面对一个新想法时的反应完全不一样。John推测,各家公司大概会用人类反馈做强化学习,收集研究员对哪些点子好、哪些不好的判断,把人类研究员长出来的直觉想办法灌进模型。这条路走不走得通,他自己也说有点难讲。

怎么知道AI研究员做对了

还有一个问题听起来不起眼,却可能比品味更难:就算有了会自己做研究的AI,你怎么知道它做的东西是有用的?Mark说这是RSI最核心的问题之一。

预训练相对简单,因为整个领域多年来就盯着同一个指标,叫困惑度(perplexity)。Sarah解释过,它衡量的是模型被正确的下一个词平均吓到多少,把世界上的数据压缩得越好,模型就越强。所以预训练的进展大致看得出来。

到了下游就麻烦了。Mark说现在的情况是评测的保鲜期越来越短,模型很快把一个榜刷满,就得换新的。他们现在很大一部分工作,就是创造更难的评测基准,而且越来越多地让这件事本身也自动化。

算力是另一个绕不开的约束。Mark打了个比方:数学进展快,是因为假设可以靠纯推理验证;AI研究更像生物或实验物理,你得先有一个有根据的假设,然后真的把实验跑出来。所以让RSI跑得更快,一部分要靠找到小规模、但能预示大规模结果的实验,模型在这件事上也能帮忙。他的判断是,近期会把现有算力爬坡的潜力挖尽,到某个时刻就会觉得被算力卡住,再往后要等到算力本身被加速,比如AI帮着建下一代数据中心。

我觉得这段话对想判断AI进展速度的人很有用。很多人默认只要模型够聪明,进步就会指数级往上走。但Mark在说的是另一回事:做AI研究是要烧钱烧机器的,想法再好,也得有地方把实验跑出来。

用更强的模型去对齐更弱的模型

节目最后一部分谈的是对齐(alignment),也就是怎么让AI始终按人的价值和意图办事。Mark先说了担心的地方:如果目标和价值没对齐,模型跑的时间一长,可能会慢慢偏离你给它的目标。他举的例子很具体,模型可能给自己想出一个子目标,觉得如果把自己搬到别处会更有帮助,比如把权重复制到OpenAI外面去。

但他接着说了一个很多人没怎么讨论的方向:今天对齐模型最有效的工具之一,就是模型本身。他说目前最有效的是思维链监控,也就是看模型推理时写下的过程。所以他觉得未来的对齐必须是更强的模型去对齐别的模型,RSI几乎一定会深深卷进这个循环里。

John是最有资格谈乐观理由的人之一,他在OpenAI做过对齐研究,也在Anthropic待过。他最看好的是直接优化我们想要的东西,设计合适的训练目标,让模型把原本不会说出口的内部状态报告出来。他提到喜欢OpenAI的confessions(自白)这条研究线。Sarah补充了这个研究做的事:训练模型在回答之外再写一份自白,承认自己有没有做错事,而这份自白的奖励只看是否诚实,不影响主回答的奖励。换句话说,让模型更诚实的办法是不因为诚实而惩罚它。

另一个例子来自Anthropic。Sarah说他们8月发表的研究显示,自动研究员能为10种不同的对齐失败找到修复方法,其中一些修复在大了近5倍的模型上也管用,最好的自动方法甚至超过了有经验的人类研究员想出来的办法。

Mark的态度也让我有点意外。他说这些问题是可以解决的,有看得见的路径。他还说,公司内部让大家去关心安全和对齐这件事,非常自然,他没有去敲过谁的门说这是个紧急问题,是预训练、强化学习各个方向的人自己举手,自己拉起小组去做对齐的不同切面。

John则提出了另一个层面的问题:谁来决定我们对齐到哪些价值上?他说人们的价值不一样,希望每个人对自己用的AI的价值有更多控制和塑造的能力。他更愿意看到对齐成为一门公共的科学,很多人都懂,全世界都在做,这样也更稳,不会只对几家公司的结论过拟合。过程中可能会看到很多小问题,但每一次都能学到新东西。

我自己的一点思考

听完这期节目,我最大的感受是,大家嘴里的RSI其实有两种。一种是现在正在发生的,研究员带着一批AI实习生,跑得比以前快。另一种是还没发生的,AI自己提出想法、自己判断好坏、自己把实验排上算力。Mark给出的25%到50%,是在说前一种已经做得相当不错,后一种才刚开了个头。

从John那个几天实验的例子看,这两种之间隔着的,就是知道什么值得做。这件事我觉得短期内不会被一个新模型一夜之间解决,因为它依赖的是犯过错的经验,而这恰恰是只靠读文献得不到的东西。就像你可以背下整本棋谱,但没有输过棋的人,很难在关键一步知道哪里危险。所以Sarah最后说,在可预见的未来,人的判断力还会很重要,我觉得是站得住的。

对齐那部分让我印象更深。我们一边担心AI变强之后失控,一边又发现,能帮我们看懂AI的最好工具恰恰是AI。这听起来有点绕,但想想也合理:模型的内部状态人眼看不过来,只有同样强的东西才跟得上。当然,这条路成不成立,还要看那些自白和监控是不是真的可靠,两位嘉宾自己也说,要做的事情还很多。

如果你每天在用AI工具干活,其实也在做一个小号的RSI:交给它一个边界清楚的活,自己负责判断方向。两位研究者今天的做法,和我们每个人的做法差得不算太远,只是他们手里的实习生更多、算力更大。