大模型最难理解的是泛化,以及复杂泛化后的“能力涌现”。
模型的本质是把纯粹的文字逻辑关系排列组合规律化根部收束了,共用参数来解决暴力堆砌的问题,所以叫大模型,参数越大,能力越强。因为模型使用数学向量排列的关系,必然导致根部参数的共用然后逐渐发散,从而解决复杂度失控,实现泛化。
语义根部参数共用是压缩泛化的基础。参数学到的不是 “某一条句子”,而是序列之间通用的转移规律:语法、因果、常识、类比关系。如果没有共用,每个序列路径独立参数,那就是巨型查找表,O (2^L) 级别的爆炸,不存在泛化。
向量的尾部发散”是条件分布的展开,next token 有多个高概率合法选项,模型可以走向不同合理分支。训练阶段约束这套共享参数,让它学到的分布贴合真实文本分布;推理阶段,固定参数,在分布上做分支发散,生成不同合理续写。
模型先把离散符号投射到连续向量空间,用向量排列、向量之间的相对关系代替离散组合。向量排列,是给这些离散符号建立了连续拓扑。参数的作用,就是定义这个拓扑上的变换规则,全局共用。
泛化的本质其实就源自向量的根部收束与尾部发散。泛化,就是共享参数将离散符号收束为连续向量流形之后,在这个流形上,从已知上下文向量出发,向外延伸出合理的新向量路径。所有 token、所有上下文,都被嵌入、经过共享的线性 / 注意力 / FFN 变换,收拢到同一个低维向量流形里。
在稳定根部的题干之后,发散成一个概率云,在这里泛化就出现了智能现象,而不是乱飘。稳定根部(题干向量结构)作为锚,在流形上撑开一片结构化概率云,泛化和智能就诞生在这片概率云里,而不是无约束的随机飘移。
智能现象概率云内的结构化可选分支。而思维链,本质就是**在概率云的发散路径上,额外增设一串中间锚点**,把原本一步铺开的大云拆成一串依次锚定的小云,每一步重新固定根部,抑制跨到虚假分支的可能。
通过根部收束稳定需求目标,通过迭代不断强化结果逼近,通过概率云不断碰撞命中可能。