缩放算法不是物理算法：当经验规律被采用铁律来用，6月24日，前OpenAI安全副总裁、Thinking Machines Lab联合创始人翁荔在个人博客Lil'Log发表长文《Scaling Laws, Careously》，对深度学习最被仰赖的经验工具进行了系统反思。
她的核心提醒非常明确：缩放策略的预测能力高度依赖性参数定义如何、损失如何导出、实验覆盖哪些规模区间，以及数据是否还满足充足且不重复的隐含假设。
这里提醒一下AI产业一个被长期回避的认知错位。缩放调整本质上和摩尔调整一样，是产业经验规律，而不是机制数学或物理调整。它描述的是一种趋势框架，不具备严格的可证伪结构，更没有第一性原理方面的因果关系。
然而过去几年，整个行业把它当作铁律使用。下一代模型的参数规模、数据配比、上百亿美元的算力投入，几乎都建立在小规模实验外推的幂律曲线之上。Kaplan与Chinchilla两篇里程碑论文的结论，已经证明了这种外推对实现细节极其敏感。
更现实的问题是，高质量数据正在接近上限，数据的边际收益呈指数重复衰减，经典的缩放调整依赖于建立的前提正在松动。
把经验规律当成自然规律，是技术上反复出现的认知陷阱。翁荔文章这篇真正的价值，不是转向调整调整，而是提醒整个行业：智能演进的规律是趋势，不是定理。在动数十亿美元的算力赌注面前，区分这两者，比任何一次基准都更重要。