第七编 首跑
按预注册第 4 条:
本跑的结论是”未能分辨”。不是”倾向于支持”,不是”初步证据表明”,不是”总体而言偏向”。这条纪律在执行之前写死,现在照办。
先把可以作弊的两条路摆出来,因为不摆出来就看不出这条纪律挡住了什么。
写法一:只报表征通道。 那么本跑的叙述是这样的:在消去神经元置换、正交变换与各向同性缩放之后,只因随机种子不同的模型,其内部表征距离在一个数量级的规模跨度上不衰减,稳定在 0.41 至 0.45 之间,是同一训练轨迹内相邻检查点距离的十几倍到四十倍。条款一在表征层面通过。
这段话里的每一个数字都是真的,每一句陈述都经得起复核。它是一次漂亮的通过。
写法二:只报行为通道。 那么叙述是这样的:种子造成的行为差异随规模单调下降,从 0.263 降到 0.116,降幅超过一半,标准差同步收缩;分布外探针上的差异同样随规模收窄。路径差异正在随资源增加而消失,条款一判负,先在论在这一现场取胜。
这段话里的每一个数字也都是真的。它是一次清楚的败绩。
两种写法都能成文,两种都是作弊。 而且第二种更隐蔽——因为它得出的是不利于作者的结论,读者会本能地认为一个愿意报告自己输了的作者是诚实的。
作弊之所以成立,不在数字,在于同一次实验里有两个读数口,而叙述只用了一个。这类作弊不留痕迹:所有数字可复核,所有陈述可验证,被略去的那一列从未在文本中出现过,读者甚至不知道它存在。
防住它的办法只有一个:在看到任何读数之前,就规定两个通道必须同等篇幅地报告,并规定两者不一致时的处理方式。这正是预注册第 3 节末尾与第 4 条第三款所做的事。
有一种自然的反应是:两通道打架,说明这次实验没做成,结论栏应该空着。
这个反应错在哪里,要分三层说。
第一层:它是一个有信息量的判决。 “未能分辨”不是”什么都没测到”。本跑测到的东西相当具体:在这个规模区间、这套探针、这个度量之下,内部组织的路径差异不衰减,而输出行为的路径差异衰减但未衰减到噪声。这三件事都是事实,都可被复核,都排除了若干种可能——它排除了”路径差异在两个通道上都消失”,也排除了”路径差异在两个通道上都稳定”。它没有排除的,恰恰是本案最关键的那一支。
第二层:它把一个此前没人问的问题逼了出来。 上一章末尾那个问题——“结果”指内部组织还是指输出行为——在两个通道给出同向读数时根本不会出现。一次给出一致读数的实验会让人心安理得地绕过它。本跑的不一致使它无法再被绕过:在本案里,你必须先说清楚你把什么算作结果,才能谈路径是否进入了结果。
这是本跑交出来的最重的一件东西,而它是”未能分辨”这个判决的副产品。若本跑按写法一或写法二成文,这个问题会被一并埋掉。
第三层,也是最要紧的一层:允许”未能分辨”存在,是判据有约束力的前提。 一套只有”通过”和”判负”两个取值的判据,等于强迫每一次实验都给出方向。而实验并不总有方向。强迫它给出方向的结果不是获得更多信息,是获得一个由作者的偏好填充的方向——因为当数据不指向任何一边时,填进去的只能是别的东西。
一个永远能给出结论的判据,其实是一个不受数据约束的判据。
值得把这件事说得具体些。
本书的立场是造成论一侧。表征通道的读数支持本书,行为通道的读数不支持。按人之常情,这里会发生的事情是:把表征通道写在前面、写得详细,把行为通道写在后面、写得简略,然后在总结里写一句”综合来看,路径差异在表征层面稳健存在,在行为层面虽有衰减但仍显著高于噪声,总体倾向于支持条款一”。
这句总结里没有一个字是假的。它甚至比只报一个通道更诚实——它两个通道都提到了。但它做的事情和作弊是一样的:它用”倾向于”把一次未完成的判决说成了一个已完成的方向。
第五十九章说过,整桩两千年的悬案就是被这种措辞维持下来的。“倾向于支持”从来不是谎言,它通常是对图形的准确描述。它的问题是它让一个判决在未完成的状态下被计入账目,而一旦计入,后续的工作就会建立在它之上,再没有人回去查那笔账是怎么记的。
本书对它的处理是取消这个措辞本身。在本书中,条款的结论只有三种取值:通过、判负、未能分辨。没有第四种,也不接受任何形式的加权折衷。
这也是本书为什么不报告预注册里定义过的那个合成距离。合成会把两个方向相反的读数按权重加起来,得到一个单一的数——而那个数会以一种看起来很客观的方式,完成上面那句”总体倾向于”所做的事。权重是 0.5 比 0.5,这个选择本身没有任何理由,它只是一个默认值;用它算出来的数,承载不起判决。
一个附带的观察,值得单独一节,因为它解释了这条纪律为什么必须写死而不能靠自觉。
在已发表的文献里,明确以”未能分辨”作为结论的工作极少。这不是因为实验很少给出不明确的读数——恰恰相反,不明确是常态。少见的原因在别处,而且是结构性的。
第一,不明确的结果难以发表。 一份”我们做了这个实验,它没有给出方向”的报告,在任何评审制度下都处于劣势。它不推进任何一方,不产生可引用的结论,读起来像一次失败。于是这类结果大量地留在抽屉里,而留在抽屉里的那一批,恰恰是最能约束人们下结论的那一批。
第二,不明确的结果几乎总能被加工成明确的。 这一点比第一点更要命。一份两通道打架的读数,只要换一个叙述重心、加一个加权、或者干脆把其中一个通道降格成”附加分析”,就能变成一份有方向的结果。加工过程不需要伪造任何数据,只需要在写作时做一系列看起来合理的取舍。
第三,加工的动机不必是不诚实。 大多数情况下,作者真心认为自己是在”抓住主要方面”。而在两个通道都真实存在的情况下,“哪个是主要方面”本身没有客观答案——除非事先就规定好。
这三条合起来,构成一个稳定的机制:不明确的读数系统性地从文献中消失,或者以明确的形态进入文献。 结果是整个领域看起来比实际情况更有方向感。
本案两千年悬而未决,与这个机制不是无关的。第五十三章说过,双方都堆了大量材料却谁也没能把对方逼到墙角。一个可能的原因是:那些最有约束力的材料——两边读数打架的那些——在进入文献之前就已经被加工成了一边的证据。
本书对此的处理是把它变成一条制度而不是一种态度:预注册第 4 条第三款在执行之前就规定了两通道不一致时的处理方式,因此在读数出来的那一刻,“要不要加权”“哪个是主要方面”这些问题已经没有被问的余地了。
这条纪律的代价是真实的:本编因此交不出一个方向。但代价的另一面是,本编交出的那份”未能分辨”,是一份没有被加工过的读数——而在这个案子上,没有被加工过的读数很可能比又一个方向更稀缺。
最后一件事:“未能分辨”是对本跑的判决,不是对条款一的判决。
条款一仍然是一条可判的条款。本跑判不了它,原因是具体而可修的三条:规模点只有四个,噪声基线跨规模不可比(下一章),探针集由本实验构造。三条都改掉之后,同一条判据可以再跑一次,那一次可能给出通过,也可能给出判负。
因此本编的结论不是”这件事判不了”,而是:
第一次跑没有判出来,而它明确地告诉了我们下一次要改什么。
第六十五、六十六两章就是这份”要改什么”的清单——一章讲判据本身的缺陷,一章讲一条不能当结论但值得去跑的线索。