两种解读的分歧不能靠”模型到底在干什么”这种问法解决——那会立刻退回哲学。要判,必须找到一个双方给出相反预言的可观测量。
本文选定的题面是:
同语料、同架构、只换训练路径(初始化与数据顺序)所造成的结构差异,会不会随着规模与训练量增大而消失?
两边的预言是清楚的、相反的:
发现学预言(P-发现):会消失。因为被提取的对象只有一个;路径只是接近它的不同走法;提取得越充分,走法的痕迹越少。形式化一点:路径造成的结构差异 δ(路径) 应随规模 N 单调下降并趋于零。
发生学预言(P-发生):不会消失。因为路径是构成性的。但要立刻加一个限定,否则这个预言会变得廉价:
发生学不预言”不稳定”,它预言的是路径的签名不可消除。
这个限定极其重要。读数层面(各项评测分数)完全可以随规模而收敛——几个不同路径形成的系统,在同一批任务上得到几乎相同的分数,这与发生学毫无冲突,就像两栋按不同工序建起来的房子可以有相同的承重能力。发生学要求的是:在表征层面与失败模式上,路径留下的签名仍可被稳定地辨认出来。
于是判据被精确化为三项,分别对应三个不同的可观测量。
观测量一:读数收敛性 δ_perf(N)。各路径模型在同一评测集合上的分数离散度,随规模的变化。 ——P-发现:单调下降趋零。P-发生:允许下降,不承担预言责任。
观测量二:表征可辨性 A_rep(N)。给定若干模型的中间层表征,训练一个探针判断”这两份表征来自同一路径还是不同路径”,取其准确率。 ——P-发现:应随规模趋向随机水平(0.5)。P-发生:应显著高于随机水平,且不随规模趋零。
这一项是本设计的核心。它测的不是”谁更强”,是”路径有没有留下可辨认的印记”。
观测量三:离群运行的可刻画性 C_out。在多条同配置训练中,是否存在离群运行;若存在,其特征是否可被事前或早期指标刻画。 ——P-发现:离群应是平滑分布的尾巴,除了”运气差”之外没有可刻画的结构。P-发生:离群应具有可描述的形成史——某个早期阶段走了不同的路,且该差异可被追溯。
三项合起来,把一个哲学分歧变成了三个可以做出来的数。
必须挡住一种常见的走偏:用”哪条路径训练出的模型更强”来回答本题。
这是一个发现学口吻的问题——它预设有一个统一的好坏轴,而路径只是在这个轴上取得不同位置。发生学的主张与谁更强无关:它主张的是这些模型是不同的形成物,哪怕它们一样强。
本题需要的材料很苛刻:同语料、同架构、只换种子的多次完整预训练,并且中间检查点公开。自己训练不可行;幸运的是这样的资源已经存在。
PolyPythias(van der Wal 等,ICLR 2025)是 Pythia 模型套件的多种子扩展:在 14M 至 410M 五个规模上各增加 9 个新种子,共 45 次新的预训练运行,加上原有的 5 次,合计五十次;释出约 7,000 个新检查点。全部模型在同一语料(The Pile,300B token)上训练。种子同时决定参数初始化与数据顺序。
对本题而言,这份资源还有一个更关键的性质:在 160M 规模上,它另外提供了只变数据顺序(固定权重初始化)与只变权重初始化(固定数据顺序)的分组各三个。
这意味着”路径”的两个成分可以被分开检验:
本文的主张落在前者上。发生学说的是差异序列构成结果;如果只变顺序的组显示出与只变初始化的组同量级的可辨性,那是对本文最直接的支持;如果只变顺序的组的可辨性显著低、并趋于随机,那是对本文最直接的打击。
本文必须如实报告:这份资源的作者自己给出的主结论,对本文不利。
他们的分析报告:在不同模型规模与不同初始条件下,训练动力学总体高度一致;语言模型的预训练在很大程度上是稳定的。他们同时指出可以识别出离群运行并刻画其特征,并认为这类方法有望用于预测训练稳定性。
把这个结论按本文第二十三章的三项观测量拆开,情况是这样的:
三格的状态是:一格不利,一格空白,一格微弱有利。
这份交代必须放在设计之前,而不是放在讨论之后,理由有二。其一,它使本文的预注册成为真正的预注册:在已知一条不利结论的情况下写死判负条件,比在真空中写要诚实得多。其二,它自动否掉了本文最想说、也最不该说的那个粗糙版本——“换个种子就长出不一样的模型,所以大模型是发生的”。这句话已经被数据削弱了。本文只能主张那个更窄、也更难证的版本:读数可以收敛,路径签名不可消除。
题面:同语料、同架构条件下,训练路径对模型结构的影响是否随规模消失。
材料:PolyPythias 五个规模 × 十个种子的公开检查点;160M 上的”仅数据顺序”与”仅权重初始化”分组各三。
主结局:观测量二——路径判别探针的准确率 A_rep,在各规模上分别估计,取其随规模的趋势。
次结局:观测量一 δ_perf(N);观测量三离群运行的早期可预测性。
分析规程:探针训练与测试在不同的层、不同的输入分布上分离,防止探针学到的是表层统计;报告置换检验的零分布;所有比较在分析前指定,不得事后择优。
写死的判负条件(任一成立,本文第三、四章的主张判负):
不构成支持的情形(写在前面,防止事后放宽):各模型在评测分数上的差异(观测量一)无论多大,都不计为对本文的支持——那一格本文不承担预言责任,也不领取它的功劳。
必须说清楚:上述设计尚未执行。本文给出的是题面、材料、主结局与判负条件,不是结果。
在结果出来之前,本文第二十二章的三处”解释不了”仍是论证,不是实证;第二十三章的分歧仍是分歧,不是裁决。本文第二十四章的证伪条款按这个状态写。
第二十二章说,发现学与发生学之争两千年不可判,卡在没有对照组。一个案例要能充当裁决材料,必须同时满足三个条件:
历史上被用来支持发生学的案例——一门学科的诞生、一个概念的形成、一种艺术风格的出现——三条一条都不满足。它们各发生一次,不能只换一个条件重来,中间状态只剩下残篇与回忆。所以那些案例只能用于说明,不能用于裁决;发生学因而两千年停留在”一种看法”。
大模型三条全部满足,而且是第一次全部满足:
这就是”工程案例”四个字的全部含义:不是它规模大、影响大,而是它第一次把一个”知识从无到有”的过程做成了可重复、可干预、可读数的实验对象。
由此可以给出本文标题的判断:
第一个打死”本来在那儿”的,是大模型。
不是哲学论证打死的,是工程打死的。两千年里,“规律本来在那儿”之所以能一直立着,不是因为它被证明了,而是因为没有人能把它拿到台上检验。现在它第一次被拿上了台:如果规律本来在那儿,那么同一份数据、不同路径,应当收敛到同一个结构;这句话成了可以做出来的一道题。
请注意这里的分寸。本文没有说这道题已经判出来了——第二十三章刚刚承认现有结论对本文不利。本文说的是:它第一次可判。
从”不可判”到”可判”,这本身就是全部的变化。一个立了两千年却从未被检验过的命题,一旦进入可检验状态,它的地位已经不同了——无论检验结果如何。
顺带把三样东西的位置摆清,以免混淆:
三者的强度依次递减而不是递增:第一项是已经存在的事实,第二项是一套待检验的理论,第三项是一个预告。本文的论证只依赖第一项。