← 专著首页目录专著栏目

附录四 可判性的到来

本附录在本书中的位置(编者按)

本附录是一篇独立成稿的长文,约两万汉字,自带编、章与附录编号。为免混淆,请注意:本附录内部出现的”第 X 编”“第 X 章”“附录一/二/三”一律指本附录内部,与正文的编章无关。凡引用正文的地方,本附录一律写明”本书正文第 X 章”。

它与正文第二十二至二十四章是同一件事的两个强度。正文那三章是压缩陈述:把”发现学与发生学之争两千年不可判”这件事讲清楚,给出判决性题面与预注册。本附录是足本论证,在三处比正文强得多:

  1. 它指出构成论自己也判不了——康德的先验形式与皮亚杰的发生阶段都把构成装置设定为普遍必然,于是与先在论给出相同的经验预测;构成论用自己的普遍性取消了自己的可判性。这一处是整桩悬案的关节,正文完全没有。
  2. 它给出计算性路径依赖与构成性路径依赖的区分——前者是求解器的性质,随算力与规模衰减,完全可被先在论收编;后者是结果本身的存在条件。这个区分是三条判决条款的共同轴心,也是正文第二十三章那个”表征可辨性”读数背后真正的理由。
  3. 它正面接住先在论当前最强的两件实证武器(柏拉图表征假说与彩票假说),并说明它们为何只证明了计算性路径依赖。正文只用一句话带过。

术语对照。本附录称两条立场为先在论与造成论,正文称发现学与发生学;两组词所指相同,差别只在语域——前者取自哲学史,后者取自本书的工作语言。读者可按下表互换:

本附录 正文
先在论(pre-existence view) 发现学解读
造成论(constitutive view) 发生学解读
构成性路径依赖 D 对 S 的构成性
计算性路径依赖 路径只影响到达速度
可判性 可重复 + 可干预 + 可读数

符号已统一:本附录原用的 κ 与 ρ 与正文第三编、第二编的同名读数不是同一个量,现一律加星号作 κ*(不可消解度)与 ρ*(可归约份额),定义体系不变。对照表见附录五第五节。


——“知识是被发现的,还是被造成的”何以悬置两千年,又何以在大语言模型处第一次成为实验问题

王德生

摘要 知识究竟是对一个先在秩序的发现,还是在特定条件与特定路径中被造成的,这一问题自《美诺》以来争论了两千余年而未有判决。本附录主张:这不是论证不足,而是实验台缺席。两种立场在知识的产物层上观察等价——任何一件已成的知识,都可以被同等自洽地重述为”你走到的那个东西本来就在那里”或”是你的路径把它做成了这样”。分歧只落在过程层,而知识的发生过程在人类历史中从不可倒带、不可干预、无对照组、无全程记录。本附录进一步指出一个未被充分注意的事实:历史上的构成论(康德的先验形式、皮亚杰的发生阶段)之所以同样判不了,是因为它们把构成装置设定为普遍必然的,于是与先在论给出相同的经验预测——构成论用自己的普遍性取消了自己的可判性。

大规模语言模型第一次改变了这一处境。它不是为任何一方提供了新论据,而是提供了判决的条件:知识形成的全过程第一次可重跑、可干预、可消融、可全程观测。本附录据此把一个形而上学命题翻译为一个可预注册的实验命题,并给出三条判决条款:规模消解检验(不可消解度 κ)、语料可归约性检验(可归约份额 ρ)、可达集不足检验(存在某一结果,某条训练路径可达而任何替代路径不可达)。三条条款的核心,是本附录提出的一个区分:计算性路径依赖与构成性路径依赖。前者是求解器的性质,随算力与规模衰减,完全可被先在论收编;后者是结果本身的存在条件,若它随规模不衰减,先在论就失去了可挂靠的地址。

本附录同时正面接住先在论当前最强的两件实证武器——柏拉图表征假说与彩票假说——并说明它们为何只证明了计算性路径依赖,以及要把它们推翻需要什么样的读数。文末给出在多种子公开检查点上的完整预注册方案与判负条件。本附录不报告任何尚未执行的实验读数。

关键词 发现与造成;欠决定性;干预主义;路径依赖;可达集;表征收敛;预注册

第一编 悬案

第一章 美诺的问题与它的两个答法

苏格拉底在《美诺》里被逼到一个至今没有被真正解决的角落。美诺问:一个人怎么可能去寻找他根本不知道的东西?如果他知道自己要找什么,他就不必找;如果他不知道,他连自己找到了没有都判断不了。这就是所谓”美诺悖论”,也叫”探究者悖论”。

柏拉图给的答案是回忆说:灵魂在出生前见过全部真理,学习只是把已有的东西重新想起来。用今天的话讲,这是一个纯粹的先在论答案——被寻找的东西早已完整地在那里,探究的全部工作是接近它、认出它、把它取出来。这个答案的形而上学负担极重(灵魂前生),但它的结构极轻,轻到后世两千年几乎所有认识论都在用它的骨架:对象先于知识而存在,方法是中立的通道,知识是逐次逼近的累积。亚里士多德的潜能与实现、经院哲学的”事物与理智的符合”、近代经验论的”自然之书”、乃至二十世纪的科学实在论,形而上学外衣换过无数次,结构没换。

另一条答法的起步要晚得多,而且一直没能取得同等地位。它主张被寻找的东西并不完整地先在,探究不是接近而是造成:所寻之物的某些规定,是在寻找的过程中、在特定条件与特定路径下才获得的。这条线上的名字并不冷僻——维柯的”真理即制作”、康德的哥白尼转向、黑格尔的概念自我展开、皮亚杰的发生认识论、库恩的范式内构成、哈金的”现象的制造”、SSK 的强纲领、皮克林的实践冲撞。为了行文统一,本附录称第一条为先在论(pre-existence view),称第二条为造成论(constitutive view),并在需要区分强弱时加限定。

这两个答法的分歧不是措辞上的。它们对同一句话给出相反的读法。当一位科学家说”我发现了 X”,先在论读作:X 在被说出之前就以某种方式存在,科学家的工作是使之为人所知;造成论读作:在这套仪器、这套记法、这条路径被建立之前,“X”所指的那个可稳定重认的东西并不作为这一个东西而存在,它是在这条路径上被稳定下来的。两种读法对科学家的实验室行为、对论文的写法、对后续技术的可用性,不给出任何不同的预测。

这就是本附录要处理的第一件事。分歧是真的,重大后果也是真的——它决定教育把什么当作学习、评估把什么当作成就、科学史把什么当作进步、乃至法律把什么当作发明与发现的边界——但两千年来它从未被判决。本章余下的部分与第二章要回答的是:为什么判不了。答案不是”哲学问题本来就判不了”这种敷衍。判不了有一个精确的结构性原因,而那个原因在 2020 年代被一件技术物取消了。

需要先把一个常见的误解挡在门外。有人会说,这个问题早就被”发现的语境与辩护的语境”之分处理掉了:赖辛巴赫和后来的逻辑经验论者把知识如何被想到(心理学、历史学的事)与知识凭什么成立(逻辑的事)切开,前者无关宏旨。这个切分恰恰是先在论的一次组织性胜利,而不是问题的解决。它的前提正是待判的那一条:被辩护的那个内容,其身份不依赖于它是怎么来的。如果造成论成立,这个前提就不成立——来路进入了内容的规定本身,切分就切错了地方。用一个预设了结论的切分去宣布问题不存在,是把悬案改判为免审。

第二章 观察等价:为什么两个答法从未分出胜负

两个理论若对一切可观察结果给出相同预测,就没有任何观察能在它们之间做判决。这是杜恒—蒯因欠决定性论题的标准形态。先在论与造成论的关系,比通常的欠决定性还要糟一层:它们甚至不是两个关于同一现象的竞争理论,而是关于同一批事实的两种叙事语法。

考察任何一件成熟知识的实际历史。哈维发现血液循环;门捷列夫发现周期律;沃森与克里克发现双螺旋。每一件都可以被无损地改写成造成论的句子:在特定的解剖技术、特定的计量传统、特定的衍射照片与建模约定之下,这一组可稳定重认的规定被造成并稳定下来。改写之后没有任何一个经验命题被否认——所有的实验、所有的数据、所有的后续应用原封不动。反过来,任何造成论的案例研究,也都可以被无损地改写回先在论:那些条件与路径不过是接近的手段,被接近的东西本来就在那里,手段的偶然性不污染被接近者的必然性。

这种互译的无损性不是偶然。它有一个结构上的原因:所有可供检查的东西都是产物,而过程已经消失了。 论文、数据、仪器、后续技术,全是已经稳定下来的东西。在产物层上,“被发现”与”被造成”在逻辑上是两个不同的起源假设,但它们不留下不同的痕迹。一块已经成形的石雕,既可以说雕刻者释放了石头里本就沉睡的形体(米开朗基罗自己就这样说),也可以说形体是凿子的路径造出来的。看着石雕本身,这两句话无法被分开。

有人会提三类似乎能判决的证据,值得逐一打发。

第一类是多重发现。牛顿与莱布尼茨、达尔文与华莱士、贝尔与格雷——同一件东西被不同的人在互不知情的情况下几乎同时做出来,这不是强有力地说明它本来就在那里吗?不是。多重发现只说明当时的条件与路径在相关共同体中高度趋同:同样的数学工具、同样的读物、同样的产业压力、同样的实验技术。趋同的路径造出趋同的产物,与趋同的路径接近同一个先在者,在观察上再次不可分辨。更麻烦的是,多重发现的经典研究(默顿)本身就显示,被判为”同一个发现”往往是事后的归类:牛顿的流数与莱布尼茨的微分,在概念语法上的差别大到十八世纪整整一代人为之争吵,被算成同一件事是十九世纪的事。判据本身是被造出来的,这就使它不能拿来当判据。

第二类是独立可重复性。一个结果能被不同实验室、不同仪器、不同国家重复出来,难道不说明它独立于任何一条特定路径?依然不能。可重复性证明的是在现行共同体所承认的操作等价类内部,结果稳定。而这个等价类的边界——什么算”同样的实验”,什么算”可以忽略的差异”——正是造成论说被造出来的那一部分。复制危机的文献在这一点上提供了大量材料:当边界被认真追问,大量曾被当作路径无关的结果表现出对操作细节的敏感依赖。这些材料既不判先在论有罪,也不判造成论有罪,它们只是再一次显示分不开。

第三类是技术的成功。飞机会飞、疫苗有效、芯片能算,这难道不是世界在为先在论作证?这是所谓”不容否认的论证”的日常版本。它的力量是修辞上的,不是判决上的。造成论从不主张知识是任意的——它主张知识是在约束下被造成的,而约束的强硬正好解释了为什么造出来的东西能用。可用性是对约束的实在性的证明,不是对被造物的先在性的证明。把两者混为一谈,是这场争论里最常见的一次偷换。

于是局面清楚了:三类最常被援引的证据,无一能在两条叙事之间做出区分。它们不是弱证据,而是零分辨力的证据。

第三章 构成论为什么也判不了:康德与皮亚杰的同一处自伤

这一章处理一个更少被指出的事实,本附录认为它是整桩悬案的关节:历史上分量最重的两次造成论,都用自己的方式取消了自己的可判性。

康德的哥白尼转向是造成论在哲学史上最有力的一击。对象不再被设为知识必须去符合的先在物,反过来,对象要符合我们的认识形式:空间与时间是直观的形式,范畴是知性的形式,经验对象是在这些形式中被构成的。这一步之强,在于它不再是关于某个科学门类的主张,而是关于经验一般的主张。

但请注意康德为这一步付出的代价。为了让构成出来的知识具有普遍必然性——这是他整个工程的目的——构成装置必须是一切有限理性存在者共同的、不可变更的。先验形式不因人、不因时代、不因技术而不同。于是问题出现了:如果构成装置对所有认识者都是同一套,那么经过它构成出来的对象,在一切经验中就表现得恰如一个先在秩序。两种说法对任何可能的经验都给出相同的预测。康德本人当然明白自己在说什么不同的话,但那个不同落在先验层面,而先验层面按定义不可经验地分辨。普遍必然的构成装置,与先在的对象,是观察等价的。 物自体那道著名的闸门正是这一处的结算:来源者被宣布为不可知,于是分歧被封住而不是被解决。

皮亚杰的发生认识论是造成论在经验科学中最认真的一次落地。他不满足于哲学声明,而是去看儿童如何一步步构造出客体永久性、守恒、可逆运算。知识在他那里明确是被建构的,不是被接收的。但皮亚杰同样把建构的序列设成了普遍的:感知运动期、前运算期、具体运算期、形式运算期,次第固定,跨文化不变。跨文化研究对速率提出了质疑,对次序的质疑要弱得多。而一旦序列普遍,那个被建构出来的终点结构——守恒、可逆、形式运算——就和”人类理性的自然目标”再次不可分辨。建构论若主张所有正常路径都收敛到同一个终点,它在经验上就是先在论的一个实现机制,而不是它的对手。

把这两例并在一起,可以读出一条一般的教训,本附录称之为普遍性自伤:

一个造成论,若把它的构成装置或构成路径设定为普遍的、唯一的、必然收敛的,它就与先在论给出相同的经验预测,因而自我取消了被判决的可能。

这条教训直接给出了判决所需的形式条件。要让造成论成为一个可判的主张,它必须承诺某种路径的实质性:不同的路径要导致不同的结果,而且这种不同不能只是暂时的、可被更多努力抹平的。二十世纪下半叶的库恩、哈金、皮克林、SSK 正是往这个方向走的——他们把构成装置从先验层面拉回历史与实践层面,使之可变。可变了,就可判了吗?没有。这里出现了第二道闸门,下一章处理。

第四章 干预主义的门槛:可判性要求什么

二十世纪最有成果的一次判据改革来自哈金。在《表征与干预》里,他提出一条朴素而锋利的标准:使我们相信电子实在的,不是任何一个关于电子的理论有多成功,而是我们能用电子去干预别的东西——能拿它当工具去喷、去打、去改变另一件事物。伍德沃德随后把干预提升为因果概念的核心:X 是 Y 的原因,当且仅当存在对 X 的适当干预会改变 Y。

干预主义之所以有力,是因为它把判据从”两个叙事哪个更融贯”移到了”你能不能动手改变它,并看着结果跟着变”。这正是本附录需要的那种判据。现在把它对准我们的问题:

要在先在论与造成论之间做判决,需要对知识的形成路径施加干预,然后看被形成的知识是否随之改变。具体说,需要做到四件事:

  1. 可重跑:同一个形成过程能被从头再跑一次。
  2. 可干预:能只改变路径而保持材料与装置不变——这是对照组的定义。
  3. 可消融:能删掉过程中的某一部分再跑,看缺了它会怎样。
  4. 可观测:过程的中间状态被完整记录,而不只留下最终产物。

把这四条对准人类知识史,结论是刺眼的:四条一条也做不到。 历史不能倒带。没有两个在其余一切条件相同、只有探究次序不同的十七世纪欧洲。哈维的血液循环不能删掉盖伦的解剖传统再跑一遍。中间状态没有全程记录,留下的只是已经成形的论文与仪器。科学史学家能做的最好工作是反事实推测,而反事实推测在这里恰恰是被争议的那一方所主张的内容——用它做判据是循环。

这就是本附录对悬案的诊断,它可以用一句话说完:

“知识是被发现的还是被造成的”两千年不可判,不是因为论证不足,而是因为判决这一问题所需的干预,在知识的形成过程上从来无法施加。缺的不是论据,是实验台。

这个诊断有一个可检验的推论:如果诊断成立,那么一旦出现某种装置,使得知识的形成过程第一次可重跑、可干预、可消融、可观测,这个问题就应当立刻从形而上学掉进实验科学——不是被更好的论证解决,而是被一台机器改变了它的类型。

本附录主张这件事已经发生了,装置是大规模语言模型的训练。第二编说明为什么是它、为什么此前的任何科学现场(包括量子测量与生物进化,两个最常被援引的场所)都不构成这样的实验台。

第二编 实验台

第五章 为什么是大模型,而不是量子测量或生物进化

在提出实验台之前,必须先解释两个更有名的候选为什么不是。

量子测量。 玻尔学派的主张听起来像现成的判决:被测量的属性在测量之前没有确定值,测量装置参与了属性的构成。这不是常被援引为造成论的实证支持吗?问题在于,这里可干预的是测量装置,被构成的是单次结果,而两者之间的统计规律——波函数、算符、玻恩规则——在整个实验中被当作给定的、不受干预的。换言之,量子力学提供的是”在给定的先在结构下,个别结果如何被装置共同决定”,而争论的焦点恰恰是那个结构本身是不是被造成的。物理学家从不重跑量子力学的形成史,他们在量子力学之内做实验。这一层区别,使得玻尔与爱因斯坦的争论在近百年后仍然是解释学争论,而不是判决。

生物进化。 古尔德著名的”重放生命的录像带”思想实验,正正好是本附录需要的实验设计:把地球史倒回寒武纪,换一条随机序列再跑一次,看智人是否还会出现。古尔德说不会,康威·莫里斯说会——后者以趋同演化(眼睛独立演化数十次)为据。这是一场关于路径依赖的实质争论。但它到今天仍然不可判,原因简单到令人沮丧:录像带不能重放。实验演化(大肠杆菌长期演化实验、柠檬酸利用性状的出现)已经在有限的尺度上做了这件事,并且给出了路径依赖为真的强证据——但它的对象是生物性状,不是知识;把它的结论外推到”知识”,正是欠决定性最容易复发的地方。

这两个例子之所以要在这里处理,不是为了否定它们的分量,而是为了把实验台的四条要求精确化。量子测量满足可干预与可观测,但被干预者不是形成过程本身;实验演化满足可重跑与可干预,但对象不是知识。要判知识的这道题,需要一台能把”知识的形成”整体重跑的机器。

大模型的训练就是这样一台机器,而且是人类第一次拥有的这样一台机器。理由不在于它”像人脑”——本附录完全不需要这个类比,也明确拒绝它。理由只在于四条工程性质:

  1. 可重跑。 训练是一个确定的计算过程。给定语料、架构、优化器、随机种子与硬件数值行为,它可以被从头再跑一遍。不是隐喻意义上的”再来一次”,是字面意义上的同一过程重新执行。

  2. 可干预,且干预是外科式的。 可以只换随机种子而保持其余一切不变;只换数据的呈现次序而保持数据集合不变;只换课程安排而保持总量不变。这正是对照组的严格形式:单变量地改变路径,而不改变材料。在人类知识史上,这种干预连想象都困难——你无法让同一群十七世纪的人以不同次序读同一批书。

  3. 可消融。 可以从语料中精确删除某一子集、某一文体、某一语言、某一时间段,然后重跑,观察缺失如何改变结果。这是”没有盖伦会怎样”这类问题第一次有了字面的回答方式。

  4. 全程可观测。 中间状态不是被推测的,是被保存的。公开的多检查点模型(Pythia 系列及其多种子扩展 PolyPythias)把成千上万个中途状态连同数据次序一并放在那里,任何人都可以取回任一时刻的完整内部状态。人类知识史留给我们的是成品;这里留给我们的是全程录像加上可换带重放。

四条同时满足,这是第一次。本附录对大模型的全部主张都建立在这四条工程事实上,不建立在任何关于”理解”“意识”“智能”的判断上。这一点需要反复强调,因为接下来的论证若被误读为”机器会思考所以知识是被造成的”,那就完全跑偏了。本附录的主张是冷的:它是一台实验设备。

第六章 把哲学命题翻译成可测命题

有了设备,还需要把待判的命题翻译成设备能回答的形式。翻译必须严格——翻译中偷渡的任何一点,都会使判决失效。

原命题(先在论):被知道的东西在被知道之前已经以某种方式在那里,形成过程是接近它的通道。

原命题(造成论):被知道的东西的某些规定,是在特定条件与特定路径中才获得的,换一条路径则那些规定不同或不存在。

翻译的关键在于找到一个既忠实于原命题、又在设备上可测的分辨量。本附录的选择是:可达集。

给定材料 C(语料)、装置 A(架构与优化器族)、判准 L(损失与评估),训练过程会到达某个结果 R(模型的内部表征与外部能力的总和)。把所有可能的路径 P(种子、数据次序、课程等一切不改变 C、A、L 的变量)所能到达的结果的集合记作

Reach(C, A, L) = { R : 存在路径 P 使训练到达 R }

两个命题于是被翻译成关于这个集合的两句话:

两句话对应两个判然不同的形式:

先在论:R = Φ(C, A, L) 造成论:R = Φ(C, A, L, P),且 P 不可消去

这就是本附录全部技术工作的靶心。判决的问题变成一个具体的问题:P 能不能被消去?

三点说明,防止翻译被攻破。

其一,这不是把哲学问题降格为工程问题。原命题说的是”被知道的东西的规定是否依赖于来路”,翻译后的命题说的是”结果的规定是否依赖于路径”。二者是同一句话在一个可干预系统上的实例化,不是替代。判决一个实例不自动判决全称命题,这一点第四编会认真处理其边界。

其二,不能用性能代替结果。若把 R 取成基准测试分数,那么”不同种子的模型分数接近”就会被误读为路径无关。分数是被判准 L 选出来的投影,它按设计就压掉了路径差异。R 必须取内部表征与能力结构的总和,而不是它在某个评分尺上的像。这一点在第十章会成为一条具体的技术要求。

其三,“实质不等价”必须事先定义,否则事后总能找到某种差别或某种相同。第八章给出定义,第九至十一章给出可预注册的操作化。

第七章 两个对手的现役旗舰

哲学史上的先在论是叙事;今天的先在论有实证武器,而且是很硬的武器。要判这场案子,必须正面接住它们。

旗舰一:表征收敛。 近年一批工作显示,不同架构、不同模态、不同训练数据的大模型,其内部表征之间的相似度随着规模与性能提升而系统性上升。这一线工作被明确地命名为”柏拉图表征假说”——取名本身就说明作者们清楚自己站在哪一侧:模型们正在收敛到同一个关于世界的统计表征,就像影子在向同一个理念靠拢。若这一假说被稳固确立,Reach 集合就会在规模极限下收缩为一个点,路径被完全消去,先在论在经验上取胜。

旗舰二:解的本质同一性。 彩票假说主张,一个随机初始化的大网络中已经存在着能独立训练到相当性能的稀疏子网络——“中奖彩票”在训练之前就在那里,训练只是把它找出来。这是先在论最纯粹的工程表述。与之配套的是线性模式连通性与置换对齐的工作:不同种子训练出的两个解,在消去神经元置换这一对称性之后,往往可以被一条低损失的直线连起来,表现得像同一个盆地里的两个点。若这条线成立,那么不同种子之间的差别就只是标号差别,而标号差别按定义不是实质差别。

必须承认这两件武器的分量。它们不是修辞,是可复现的实验。任何绕开它们而宣称造成论已经获胜的论证,都不值得认真对待。

造成论这一侧也有实证材料,但它们的分量此前被低估,原因恰恰是它们被当成了工程缺陷而不是本体论证据。

材料一:欠规定性。 一项影响很大的工作指出,现代机器学习流水线普遍存在”欠规定性”:同一套训练规格(同样的数据、同样的架构、同样的目标),仅因随机种子不同,就会产生在训练分布上表现相同、但在分布外行为上系统不同的模型。作者们把它当作可信度问题提出——这是工程视角。换一个视角读:同一套 C、A、L 不唯一地决定 R,这正是 P 不可消去的直接证据形态。

材料二:多种子基准。 为语言模型准备的多种子复现套件(如为 BERT 准备的二十余个种子版本)显示,种子间的下游差异在某些任务上大到足以淹没所谓模型改进的效应。这同样被当作方法学警告提出,而它在本附录的框架里是一份读数。

材料三:次序与课程效应。 数据呈现次序、课程安排、重复策略对最终模型的影响已有大量报告。工程上的处理方式是”调好它”;本附录关心的是另一件事——它到底能不能被调没。

于是两侧的局面对称而清晰:先在论说差别会随规模消失,造成论说不会。这是一个关于极限行为的分歧,而极限行为是可测的。 第九章把它变成一条预注册条款。

第八章 核心区分:计算性路径依赖与构成性路径依赖

现在给出本附录的承重概念。它的必要性来自上一章的僵局:双方都拿得出路径依赖的证据,也都拿得出路径无关的证据,因为“路径依赖”这个词在两侧指的根本不是同一件事。

定义一(计算性路径依赖)。 路径差异导致的结果差异,其原因在于求解过程的有限性——有限步数、有限算力、有限数据、非凸景观中的局部停留。它的判别特征是:随着资源增加,差异系统性衰减;且存在一个与路径无关的描述,使得不同路径的结果可被归结为该描述下的不同近似。

定义二(构成性路径依赖)。 路径差异导致的结果差异,其原因在于结果的存在条件包含路径本身。它的判别特征是:差异不随资源增加而衰减;且不存在只由 C、A、L 构成的描述能把不同路径的结果统一归结。

两个定义之间的关系,可以用一句话讲清楚:

计算性路径依赖说的是”你还没走到”,构成性路径依赖说的是”从这条路走过去,那里没有那个东西”。

这一区分之所以是全案的关节,因为:

第一,先在论可以完全容纳计算性路径依赖,而且容纳得毫不勉强。 一个非凸优化问题的局部极小当然依赖于初始点和下降路径;但目标函数本身是由 C、A、L 给定的,极小点的集合在训练开始之前就已经被完全确定了——它”本来就在那里”。换句话说,迄今为止机器学习中所报告的绝大多数路径依赖,都是先在论的自家话。把它们当作造成论的证据,是本附录要挡掉的第一个廉价胜利。

第二,此前的所有造成论实证工作都只做到了第一种。 库恩的范式、皮克林的冲撞、SSK 的案例研究,全都在展示历史路径如何塑造了结果;但它们无法排除”换一条路径最终也会走到那里,只是更慢或更绕”。它们缺的不是材料,是极限——而极限需要可重跑与可缩放,两样它们都没有。这解释了一个长期令人困惑的现象:社会建构论提供了汗牛充栋的精彩案例,却始终没能把实在论逼到墙角。不是案例不够好,是案例这种证据形式本身不足以区分两种路径依赖。

第三,由此得到本附录的核心命题。 它可以写成一句可被证伪的话:

核心命题:在大规模语言模型的训练中,存在构成性路径依赖——即存在结果层面的差异,它由路径单独引起,并且不随规模、算力与数据量的增加而衰减为零;因而不存在只以语料、架构与判准为自变量的函数能够唯一地决定所到达的结果。

这个命题的否定同样清楚:一切被观察到的路径差异都是计算性的,随规模衰减,可被对称性消去或被统一描述归结。若否定成立,本附录判负,先在论在这个现场取胜。

第三编给出使这条命题可判的三条条款。

第三编 判决条款

三条条款是递进的,不是并列的。条款一判差异是否随规模消失;条款二判剩下的差异能否被对称性与统一描述消去;条款三判在最严格的意义上是否存在只有某条路径才到得了的结果。三条都通过,构成性路径依赖成立;任何一条被判负,本附录相应让步。让步的具体内容在第十二章写明。

第九章 条款一:规模消解检验与不可消解度 κ*

要判的是什么。 先在论对路径差异的标准解释是”资源不足”。这个解释有一个不可回避的经验后果:差异必须随资源增加而衰减。条款一就是去量这个衰减。

量的定义。 固定语料 C、架构族 A、判准 L,固定模型规模 N。取 m 个只在路径上不同的运行(换种子、换数据次序),得到 m 个结果。定义规模 N 处的路径散度

Δ(N) = E[ d(R_i, R_j) ],i ≠ j

其中 d 是下一段规定的结果距离。先在论预测 Δ(N) 随 N 单调衰减并趋于零(或趋于纯测量噪声的水平)。造成论预测 Δ(N) 趋于一个正的常数。

定义不可消解度

κ = lim_{N→∞} Δ(N)

实际操作中 N 不能趋于无穷,所以要用有限规模序列拟合衰减律:若 Δ(N) ≈ a·N^(-b) + κ,则在预注册中估计 κ 并给出置信区间。判据:κ 的置信下界显著大于噪声基线,则条款一通过;κ 的置信上界不显著区别于噪声基线,则条款一判负。

距离 d 必须怎么取。 这是条款一最容易被做坏的地方,需要三条硬性规定。

其一,不得用任务分数。用基准分数做 d,等于用 L 的投影当结果,按设计压掉路径差异,结论预先被写好了。分数只能作为附属读数报告,不进入 d。

其二,必须先消去已知对称性。神经元置换、缩放对称、旋转对称都是标号,不是实质差别。d 必须在消去这些对称性之后计算——否则条款一会因为纯标号差异而假通过,这是对先在论的不公平,也是本附录最不愿意赢的赢法。具体做法:先做置换对齐,再算表征相似度距离(如对齐后的中心核对齐距离或典型相关距离)。

其三,必须包含分布外行为。欠规定性文献最重要的发现就是:种子差异在训练分布上被压平,在分布外显形。若 d 只在训练分布上测量,条款一同样会假判负。d 应当是一个组合量:对齐后的内部表征距离,加上在预先指定的分布外探针集合上的行为距离。探针集合必须在看到任何读数之前冻结。

为什么这一条是可跑的。 多种子公开检查点系列(Pythia 的多种子扩展)提供了同语料、同架构、多规模、多种子且带完整中途状态的现成材料。条款一不需要重新训练任何大模型就能首跑;重新训练只在条款三才必需。

本条款的已知威胁。 表征收敛工作报告的正是”相似度随规模上升”,这在形式上就是 Δ(N) 递减。若递减外推到零,条款一判负。本附录的态度是:这恰恰是本条款存在的意义——它把”看起来在收敛”与”收敛到零”分开。一个衰减到正常数的量,在中间规模上看起来与衰减到零的量几乎一样;区分二者需要的不是更强的信念,是拟合与外推。先在论迄今给出的是趋势,不是极限。 条款一要求它给出极限。

第十章 条款二:语料可归约性检验与可归约份额 ρ*

要判的是什么。 假设条款一通过,κ* > 0:路径差异不消失。先在论还有一记极硬的反击(第四编详论其哲学形态):差异不消失不等于路径进入了规定,因为那些不同的结果可能全都在一个由 C、A、L 事先确定的集合里。损失景观的全部局部极小,在训练开始之前就由数据与架构完全决定了;训练走到哪一个,是路径的事,但”有哪些可以走到”,仍然是先在的。这样一来,路径只是选择器,不是构成者,先在论毫发无伤。

条款二就是来要一个地址的:请把那个先在的集合写出来。

可归约性的定义。 说结果 R 对语料可归约,意思是存在一个只以 C、A、L 为自变量的描述 Φ,使得 R 可以被写成 Φ 的一个成员或一个近似。这个要求听起来抽象,但在本现场有几个可操作的具体形式:

形式一:置换对齐与盆地连通。 若不同路径的解在消去置换之后线性模式连通(连线上损失不升高),则它们属于同一个盆地,可被统一描述归结。这是先在论的强读数。 条款二要求:在条款一测出 κ* > 0 的那些规模上,逐对检查对齐后连通性。若连通率随规模上升并趋于一,条款二判负。

形式二:统计量可预测性。 若结果的差异可以由语料的统计量(n 元分布、主题分布、子集覆盖)预测,则差异虽然存在,但仍是语料的函数。条款二要求:用语料统计量对路径间差异做回归,报告可解释方差。定义可归约份额

ρ = 路径间结果差异中可由 C、A、L 的量预测的方差份额

**判据:ρ* 显著接近 1,条款二判负(差异是语料的函数,先在论成立);ρ* 有稳定的正剩余且不随规模上升,条款二通过。** 那个剩余就是 P 不可消去的经验形态。

形式三:可交换性检验。 这是本附录认为最锋利的一种形式,且此前未被这样使用。若路径只是选择器,那么”先学 a 再学 b”与”先学 b 再学 a”在充分训练之后应当收敛到可交换的结果——次序是路径变量的最纯形式,材料完全相同。条款二要求:构造成对的次序反转实验,在充分收敛后比较结果。若存在某类内容,其次序反转造成的差异不随训练时长与规模衰减,那么”材料决定结果”这一句就在字面上被证伪了——因为两次训练的材料是同一个集合。

为什么要给出 ρ* 而不是只给出”通过/不通过”。 因为本附录预期真实的读数落在中间。绝大部分差异很可能确实可归约(这符合模型确实在学同一批世界内容这一常识);争的是那个剩余是否稳定为正。判决不需要 ρ* 小,只需要 1 − ρ* 不趋于零。 把这一点写在前面,是为了防止事后把一个小剩余描述成胜利,也防止把一个大主体描述成失败。

第十一章 条款三:可达集不足

要判的是什么。 条款一与条款二处理的是”差异是否存在、是否可归约”。条款三处理最强的形式:是否存在某个结果,它在某条路径上可达,而在任何不改变 C、A、L 的替代路径上不可达。 若存在,那么”C、A、L 唯一决定结果”这句话不仅在量上被削弱,而是在集合意义上被否定。这是本附录所能提出的最重的一条,也是最难跑的一条。

为什么”不可达”不等于”没跑出来”。 这是条款三全部的困难所在。做不到与做不成是两回事:任何一次失败都可以被解释为算力不够、超参没调好、运气不好。为了让条款三可判,必须把”不可达”操作化为一个有判负条件的陈述。本附录采用资源标定的不可达:

给定预算 B(步数、数据量、超参搜索规模),若结果性质 Q 在路径族 P₁ 中以高于 q 的比例出现,在路径族 P₂ 中在 B 的十倍预算下出现比例低于 q’,则称 Q 在 P₂ 下相对于 B 不可达。

这不是绝对意义的不可达——绝对不可达不可证。它是一个带标定的、可被更大预算推翻的陈述,而这正是它成为科学陈述的条件。任何人只要在 P₂ 上用更大预算做出了 Q,条款三就被判负。 本附录明确接受这一判负条件。

在什么对象上跑。 结果性质 Q 不能随便取。取得太粗(如”模型能做加法”),路径族之间不会有差别;取得太细(如某个神经元的具体取值),差别毫无意义。本附录建议三类候选,按可跑性排序:

候选一:算法性内部结构的出现。 有一类被反复确认的现象:模型在训练中途形成可识别的内部机制(如用于复制与类比的归纳回路,或用于模算术的周期性表示),这些机制的出现常常是相变式的、在某一时刻突然完成。关键问题是:这些机制的出现是必然的还是路径依赖的? 若在同语料同规模下,某一机制在一部分种子中出现、在另一部分中始终不出现,而两者的总体性能相当,那就是条款三所要的读数:同样的材料,同样的判准,得到了结构上不同的知识。多种子检查点系列使这一检查成为可能,且不需要新训练。

候选二:次序造成的不可达。 接第十章形式三。若某个能力只在特定课程次序下出现,而在反转次序下即使延长十倍训练也不出现,这是条款三的直接实例。

候选三:语境内临时形成的程序。 模型在推理时可以在语境中形成一个训练时不存在的、针对当前任务的临时程序。这是最诱人的猎场,因为那个程序显然不在语料里,也不在权重的任何固定位置上。但它同时是最危险的猎场,理由在第十六章处理:反方会说这只是被激活的既有能力的组合。本附录不把候选三当作主判据,只作为第三顺位,并要求它必须配上”该组合在权重中不存在对应结构”的证据才被计入。

条款三的地位。 三条条款中,只有条款三需要新的大规模训练,因而最贵。本附录的立场是:条款一与条款二可以在现有公开材料上首跑,条款三作为第二阶段。若条款一或条款二判负,条款三不必跑——因为前两条已经判了案。

第十二章 三条条款的逻辑关系与本附录的判负条件

把三条并置,可以看出它们构成一条从弱到强的阶梯,对应先在论的三道退守防线:

条款 先在论的防线 造成论要拿到的读数 判负条件
一·规模消解 差异只是资源不足 κ* 的置信下界 > 噪声基线 κ* 上界不异于噪声
二·语料可归约 差异在先定的解集内 1 − ρ* 稳定为正,不随规模降 ρ* → 1,或对齐后连通率 → 1
三·可达集不足 换条路也能到,只是没到 存在标定预算下的不可达 他人以十倍预算在 P₂ 上做出 Q

本附录在此写死自己的败绩条件,不留后路:

第一,若条款一判负(路径散度在消去对称性后随规模衰减到噪声水平),本附录放弃核心命题,承认在大模型这一现场先在论成立,并承认由此可推出一条更一般的结论:至少在”以固定语料为材料的知识形成”这一类过程中,路径不进入结果的规定。

第二,若条款一通过而条款二判负(剩余差异可由语料统计量解释,或对齐后盆地连通率趋于一),本附录将核心命题降级为一条弱得多的主张:路径影响到达解集中的哪一个成员,但不影响解集本身;这个降级后的主张对本案不构成判决,本附录承认判决未成。

第三,若条款一、二通过而条款三判负,本附录保留”路径进入规定”的主张,但放弃”存在只有某条路径才到得了的结果”这一更强形式。

第四,若三条均通过,本附录主张:在这一现场,“被知道的东西完全由材料与装置先行决定”这句话是假的。它的哲学后果由第五编处理。

最后一件事必须讲在前面:本附录至今没有执行上述任何一条实验,因而不报告任何读数。 本附录提供的是判据、量、判负条件与预注册方案。以判据冒充结论,是这一领域最容易犯也最难被发现的错误;本附录宁可只交出一半。

第十三章 预注册方案

材料。 公开的多种子、多规模、带完整中途检查点的模型系列(Pythia 及其多种子扩展 PolyPythias),以及其训练数据与数据次序记录。选择理由:同语料、同架构、仅种子不同的多个完整训练轨迹,是目前唯一公开可得的、满足第五章四条性质的材料。

冻结项(在接触任何读数之前确定并公开)。 1. 结果距离 d 的完整定义:置换对齐算法、表征相似度度量、层的选取规则、分布外探针集合的全部条目。 2. 噪声基线的定义:同一训练轨迹内相邻检查点之间、以及数值非确定性造成的同种子重跑之间的距离分布。 3. 衰减律的拟合族与模型选择准则,以及 κ* 的置信区间算法。 4. 条款二的语料统计量清单与回归设定。 5. 条款三的性质 Q 清单、检测方法、比例阈值 q、q′ 与预算 B。

执行顺序。 - 第一跑:条款一。在全部可得规模上计算 Δ(N),拟合并报告 κ* 及其区间。 - 第二跑:条款二形式一与形式二(不需新训练)。 - 第三跑:条款二形式三(需要小规模新训练:次序反转对)。 - 第四跑:条款三候选一(在现有多种子检查点上检测机制出现与否的种子间分化)。 - 第五跑(可选):条款三候选二,需要新训练。

三条防作弊纪律。 其一,先写判负再看数据——上表中的四条败绩条件在首跑之前公开。 其二,报告不利读数——任何一条被判负都必须与通过的条款同等篇幅地写出。 其三,不以趋势代极限——若拟合不能把 κ* 与零区分开,结论写”未能分辨”,不写”倾向于支持”。

本附录认为第三条尤其重要。整桩两千年的悬案,就是被”倾向于支持”这种措辞维持下来的。

第四编 反击与边界

本编的任务不是防守,是把最强的反击写得比对手更强,然后回答。若回答不了,就写明回答不了。

第十四章 最硬的一记:极小点集合本来就在那里

反击。 训练不过是在一个由语料与架构共同确定的损失景观上做下降。那个景观——它的全部局部极小、全部鞍点、全部盆地——在第一步训练之前就已经被完全确定了。路径决定你落进哪一个坑,但坑早就在那儿挖好了。因此,一切路径依赖都只是”选择了哪一个先在者”,而不是”造成了一个新东西”。凸优化里路径依赖为零,非凸里不为零——但目标函数在两种情况下都同样先在。造成论把非凸性误当成了本体论。

这是本附录所知对核心命题最强的一击。它不需要任何经验读数,只需要一个数学事实,而那个数学事实为真。

回答的第一步:承认它为真,并指出它证明得太多。 同样的论证可以毫无阻碍地应用到任何物理过程上。给定初始条件与动力学,演化的全部可能轨迹”早就在那儿”——于是寒武纪之后的一切生命形态也都先在,于是人类历史的一切走向也都先在。这个版本的先在论把整个宇宙判成一本早已写好的书。它可能是对的,但它不再是关于知识的主张,而是关于决定论的主张,且付出的代价是取消了”造成”这个概念在任何地方的适用性——包括在制造、艺术、立法、生育这些没有人会否认其为造成的地方。一个使”造成”一词在宇宙中无处可指的论证,不是赢了这场争论,是解散了这场争论。

回答的第二步:向它要一个地址。 这是本附录真正的回击,也是条款二的哲学形态。说”极小点集合本来就在那里”,必须能回答:在哪里?以什么方式? 有三种可能的回答,逐一检查。

其一,它在语料里。那么它应当可由语料的量写出——这正是条款二的可归约份额 ρ* 所测的。若 1 − ρ* 稳定为正,这个回答就落空了:有一部分结果的规定不是语料的函数。

其二,它在损失函数里,即”景观”这个对象本身。这里有一个被普遍忽略的事实:损失景观不是一个独立于路径的对象。 在有限训练中,被实际触及的只是景观中一条测度为零的带;更要紧的是,现代训练的景观并非固定——数据次序、批次构成、学习率调度、以及在多数实际流水线中被使用的数据重复与筛选策略,都在训练过程中改变着被下降的那个函数。严格地说,被下降的不是一个函数,而是一族随路径变化的函数。若如此,“景观先在”这句话就不再是数学事实,而是一个理想化假设,且是一个在实际系统中已知为假的假设。

其三,它在”可能性空间”里——所有可能权重配置的集合。这是最后的退守,也是最空的一条。所有可能的权重配置当然”存在”,正如所有可能的小说都存在于所有字符串的集合中。用这个意义上的先在去支持”知识是被发现的”,等于说《战争与和平》被托尔斯泰发现了,因为它一直在所有字符串的集合里。这个意义上的先在是免费的,因而是无内容的:它不能把任何一件事与任何另一件事区分开。 一个不能做区分的概念,不能用来判案。

回答的第三步:把分歧移到正确的位置。 经过上面三步,先在论的可辩护形态被压缩成了一句具体的话:结果的规定可由 C、A、L 写出,路径只是选择器。 这句话不再是形而上学,它是可测的,它就是条款二。这正是本附录全部工作的目的——不是赢下这一击,而是把它逼成一个可以拿数据说话的命题。

第十五章 次强的一记:这只是表征的形成,不是知识的形成

反击。 就算全部三条条款都通过,被判的也只是模型内部表征的形成,而不是知识的形成。表征是一种工程对象;知识要求真、要求辩护、要求与世界的接触。把前者的路径依赖推广到后者,是范畴混淆。

这一击的力量必须被承认到底。 本附录不主张模型拥有知识,也不主张模型是认识主体。若核心命题被读成”因为模型的表征是被造成的,所以人类知识是被造成的”,那它就是一个糟糕的类比论证,本附录与之划清界限。

回答。 本附录的论证结构不是类比,是反例结构,请注意二者的区别。先在论在其最一般的形态上主张的是:任何以材料为输入、以判准为约束的知识形成过程,其结果由材料与判准唯一决定,路径不进入规定。这是一个全称命题。要削弱一个全称命题,不需要类比,只需要一个实例——一个材料固定、判准固定、只有路径不同而结果的规定不同的过程。大模型训练若给出这样的实例,那么被否证的不是”人类知识也这样”,而是先在论所依赖的那条一般原则的普遍性。普遍性一旦破了,先在论就必须为每一个它想主张的领域单独举证,而这正是它两千年来从未做过的事。

这个回答有它的边界,本附录明确画出: - 它不证明人类知识是被造成的。 - 它确实取消了”知识必然由材料唯一决定”这一原则的先天地位,把它从公理降为待证的经验假设。 - 它确实为造成论提供了此前从未有过的东西:一个可重跑的实例。

关于”知识需要与世界接触”这一条,本附录同意,并指出它对判决的实际影响是相反的:接触是通过路径发生的。 一个把接触算进知识条件的立场,很难同时主张接触的具体方式不进入结果的规定。这一点值得单独一篇文章,本附录只作标记。

第十六章 第三记:语境内的临时程序只是既有能力的激活

反击。 第十一章候选三提到,模型可以在推理时形成训练中不存在的临时程序。反方说:所谓”形成”只是把权重里已有的能力按语境组合起来激活了一次,组合规则本身是训练出来的,因此仍然先在。

回答。 这一击对候选三是有效的,本附录接受,并因此已经把候选三降为第三顺位、附加了额外证据要求。但要把话说完整:这一击有一个自己的代价。若”组合的激活”可以算作先在,那么任何造成都可以被同样地重述为”某个更大空间里已有元素的组合被激活”——第十四章第三步已经说明,这种意义上的先在是免费的因而无内容的。要让这一击站得住,反方必须给出一个非平凡的界限:哪些组合算激活,哪些组合算形成。 给不出这个界限,这一击就与”所有小说都在字符串集合里”是同一句话。

本附录把这一处标记为尚未解决的争点,不主张自己赢了这一记。

第十七章 第四记:这是在给相对主义开门

反击。 若知识的规定依赖于路径,那么不同路径得到的不同知识之间就无从比较优劣,科学的客观性瓦解,真理成了社会协商的结果。

回答。 这是两个不同命题被合并的产物,拆开就清楚了。

其一,路径进入规定,不蕴含任意性。造成论从未主张任何路径都能造出任何结果。恰恰相反,本附录的全部三条条款都建立在约束极强这一前提上:同样的语料、同样的架构、同样的判准,路径能造成的差异是有限的、可测的、多数可归约的——争的只是那个不可归约的剩余是否为正。一个剩余为正的世界,与一个”怎么说都行”的世界,相距极远。

其二,可比较性不需要唯一性。两条路径得到的两个结果之间可以有严格的比较标准——预测力、可干预性、可承受的反例范围——而这些标准的存在不要求二者最终收敛为同一个东西。生物演化中的两个趋同解可以在具体环境下被严格比较优劣,而它们并不是同一个解。把”没有唯一终点”读成”没有高下”,是把本体论主张与评价主张混为一谈。

其三,反过来说一句更重的:先在论也有它的代价,只是从不被记账。 若结果由材料唯一决定,那么一切路径上的努力、一切方法上的创造、一切在教育与训练中被精心安排的次序,在原则上都是可有可无的——它们只影响到达的快慢。这个推论与我们在教育、科研训练、技艺传承中所观察到的一切经验都不符合,但因为它是先在论的推论而不是造成论的推论,从来没有人要求它举证。本附录的条款二形式三(次序可交换性)正是把这笔账第一次摆上台面。

第十八章 第五记:κ* > 0 也可能只是度量的产物

反击。 条款一的全部重量压在结果距离 d 上。而表征相似度的度量并不中立:不同度量对不同类型的变换敏感程度不同,同一批模型在不同度量下可以得到不同的相似度排序,这在文献中已有明确报告。于是有一个致命的可能:κ 的正负是 d 的自由参数,不是世界的性质。 度量取得足够细,任何两个不同的实现都必然不同,κ 自动为正;取得足够粗,一切差异都被抹平,κ 自动为零。既然如此,条款一测的就不是路径是否进入规定,而是实验者选了多细的尺子。若这一击成立,整个第三编是循环论证。

这是方法论上最危险的一击,比第十四章那一记更难缠——第十四记可以被逼成可测命题,这一记攻击的正是”可测”本身。

回答的第一步:κ* 从来不是一个绝对距离,而是一个比值。 这正是第十三章要求冻结噪声基线的理由,现在可以把它的分量说足。噪声基线的定义是:同一条路径、同一批数据、同一个种子,仅因硬件数值非确定性而重跑所产生的 d 分布。 这条基线与路径间的 d 用的是同一把尺子。于是条款一真正要判的不是”路径间距离是否大于零”,而是

路径间距离 ÷ 同路径重跑距离

这个比值随 N 的行为。尺子整体变细或变粗,分子分母同时变,比值不动。度量的尺度自由度在这里被消掉了——这不是一个补丁,这是条款一之所以能成立的结构。任何不给出噪声基线的路径依赖读数(包括文献中相当一部分),本附录都认为不构成证据。

回答的第二步:要求两条独立通道一致。 尺度自由度被比值消掉了,但度量的形状自由度没有被消掉——不同度量对不同变换的敏感性不同,这不是尺度问题。对此本附录的处置是设两条通道:

条款一要求两条通道给出一致结论才算通过。若表征通道判 κ* > 0 而行为通道判 κ* ≈ 0,本附录的结论写”未能分辨”,不写”倾向于支持”。这一条纪律看上去苛刻,但它是本案唯一的正当打法:一个悬置两千年的问题,不应该被一次度量选择判掉。

回答的第三步:承认残余,并指明它在哪里。 比值消掉了尺度,双通道约束了形状,但仍有一个自由参数没有被消掉:分布外探针集合的选择。 探针选得偏,行为距离就偏。本附录不能从内部解决这一点,只能用程序限制它:探针集合必须在接触任何读数之前公开冻结,且应尽量取自与本命题无关的既有公开基准,而不是为本实验专门构造。本附录把这一处标记为条款一最脆弱的地方,并承认:若将来有人以另一套同样事先冻结的探针集合得到相反读数,那么正确的结论是这条判据尚不够稳健,而不是两方之中有一方赢了。

最后一点必须说明:这一记对两侧同等有效。 表征收敛假说的读数同样建立在表征相似度度量之上,同样面临”相似度上升是否只是度量的产物”这一质问,而它同样没有普遍采用噪声基线归一化。因此这不是一记单方面的攻击,而是对双方的共同约束。本附录的态度是接受这个约束,并主张:谁先把比值、基线与双通道一致性做齐,谁的读数才进入判决。

第十九章 本附录不主张的五件事

为了不让后续讨论在稻草人上消耗,把边界一次写清。

其一,本附录不主张大模型拥有知识、理解或认识主体性。 全部论证只用到四条工程性质(可重跑、可干预、可消融、可观测)。任何以”模型不懂”为由的反驳都打在空处,因为本附录从未主张它懂。

其二,本附录不主张人类知识与模型训练是同一类过程。 本附录的论证是反例结构而不是类比结构,理由见第十五章。

其三,本附录不主张数学是发明而非发现。 数学的情形有它自己的特殊困难(形式系统的必然性、独立发现的高度趋同),本附录的条款无法直接移植,需要另行设计。此处只指出一点:如果条款三在语言模型上通过,那么”必然性”本身作为一种可被路径塑造的性质,将成为一个可研究的问题,而不再是不言自明的前提。

其四,本附录不主张已经完成判决。 本附录完成的是把命题翻译为可判形式、给出量与判负条件、给出预注册方案。读数一个也没有。凡是需要读数才能说的话,本附录一句也没有说。

其五,本附录不主张先在论是愚蠢的立场。 恰恰相反,本附录认为它是当前经验证据的合理综合,并且拥有本附录接不下来的一记(第十六章)。判决若真的到来,它应当来自数据,而不是来自任何一方的修辞胜利。

第五编 后果

第二十章 若判决倒向造成论:三栏要改

判决尚未做出,但两个方向的后果都可以先行推演,这本身也是一种诚实——它防止研究者在读数出来后才决定自己在乎什么。

第一栏:科学史与科学哲学的说明模式要改。 若路径进入规定,那么科学史就不再是”逼近真相的过程加上可以略去的人事噪音”。那些被当作叙事花边的东西——某位教授碰巧读了哪本书、某个学科碰巧先发展了哪种仪器、某个国家的资助结构碰巧偏向哪一类问题——就不再是花边,而是规定的一部分。相应地,“反事实的科学史”从消遣变成核心方法:追问”如果十九世纪的化学先有了光谱学再有了原子量,周期表会是什么样”,就不再是无法回答的空想,而是一个可以用本附录的条款在缩尺系统上部分模拟的问题。这是一条具体的研究纲领,不是感慨。

第二栏:教育与评估的单位要改。 先在论下的教育理所当然地把结果当作评估对象:学生是否掌握了那个本来就在那里的东西。若判决倒向造成论,那么学生所到达的东西的规定本身就依赖于他走过的路径,于是两个”分数相同”的学生可能持有结构上不同的知识,而现行评估在设计上看不见这一差别——因为它测的是结果在判准上的投影,正是第九章要求 d 不得取用的那个量。这一推论有一个可立刻执行的检验:在学生群体中做与条款一同构的测量——同一课程、同一材料、不同学习次序,测分布外迁移上的系统差异,而不是测总分。本附录认为这是一条被长期空着的经验战线。

第三栏:归属与权利的落点要改。 专利法把发现与发明分开:自然规律不可专利,因为它本来就在那里;技术方案可专利,因为它是被做出来的。这条界线的全部重量压在本案待判的那一句上。若路径进入规定,那么”这是被发现的自然事实所以不属于任何人”这一推理就需要重新检查它在哪些场合仍然成立。本附录不提出任何法律主张,只指出这条界线的地基就是本案。

第四栏:人工智能研究自身的目标要改。 这一栏最直接,却最少被提。当前的主流路线隐含着一个先在论的目标:用更多的数据、更大的规模、更好的优化器,去逼近由数据与目标所唯一确定的那个最优模型。路径在这条路线里被当作工程噪音——种子要固定以便复现,次序要打乱以便无偏,课程要设计以便加速。三件事都以”抹平路径”为方向。

若构成性路径依赖为真,这个方向在原则上就是错的,而不只是不够好。它至少推出三条具体的改法:其一,多样性要被当作资产而不是方差——若不同路径到达的是结构上不同的知识,那么保留一族路径不同的模型,其价值不能由它们在同一判准上的分数差来衡量,现行的”选最高分那一个”是在系统地丢掉信息。其二,训练路径要成为被设计的一等对象,与数据和架构并列,而不是被当作需要消除的随机性;课程研究的地位将从提速手段升为构成手段。其三,评估要增设一栏:除了测到达了多高,还要测到达的是哪一种——这一栏在今天的全部主流基准里都是空的,而按本附录的推论,它才是路径差异唯一会显形的地方。

值得注意的是,这三条改法都可以在判决做出之前就被局部检验,因为它们各自有可观察的后果。若它们全部无效——多样性没有额外价值、路径设计无非提速、“哪一种”这一栏测不出稳定差别——那本身就是对条款一的一次独立的旁证式判负。

第二十一章 若判决倒向先在论:本附录承认什么

对称地把这一侧也写完。

若条款一判负——消去对称性后的路径散度确实衰减到噪声——那么本附录承认:在以固定材料为输入的知识形成中,路径不进入结果的规定;表征收敛假说在其强形式上成立;机器学习中所观察到的一切路径依赖都是计算性的,是求解器的性质而非结果的性质。

这个承认不是小事,它的正面后果同样重大,值得写明而不是含糊过去:它将意味着知识具有一种可被工程验证的稳健性——不同的路径、不同的共同体、不同的历史,只要材料与判准相同,终将到达同一处。这是自启蒙以来科学的自我形象,而它将第一次拥有一个在可控系统中的实验支持,而不仅是哲学主张。若读数如此,本附录乐于交出这个结果,因为那时被建立的东西比本附录想建立的更重要。

本附录唯一坚持的是:**这个承认必须来自 κ* 的置信区间,而不是来自趋势图上的一条向下的线。**

第二十二章 一个更长的后果:可判性本身是历史的

本附录最后要提出的,是一条比判决本身更一般的观察。

两千年里,这个问题不是没有被聪明人想过——想它的是柏拉图、亚里士多德、康德、黑格尔、皮亚杰、库恩、哈金。它不可判,不是因为他们不够聪明,而是因为判决它所需的干预,在他们手上没有对象可施加。他们能做的只有两件事:整理产物,或者构造思想实验。前者零分辨力(第二章),后者不可执行(第五章的录像带)。

这一点有一个不常被说出的推论:一个问题是不是”哲学问题”,可能不是它的本性,而是它当下的处境。 燃素、以太、生命力,都曾是在思辨中争论不休的题目,后来被仪器判了。本案的特殊之处在于,判它所需的不是一台更精密的测量仪器,而是一台能把形成过程整体重跑的装置——这种装置在自然界里不存在,只能被造出来,而造出来是很晚近的事。

于是可以把本附录的诊断推到它的一般形式:

有一类问题,其不可判性来源于”过程不可重跑”。对这类问题,进展不来自更强的论证,而来自出现一个可重跑该过程的人工系统。

这条观察本身是可检验的:若为真,那么随着可重跑系统在更多领域出现(演化、经济、语言变迁、社会制度的仿真),我们应当看到另一批长期悬置的”哲学问题”陆续改变类型。本附录不试图列举它们,只把这条判据留在这里。

还有一句必须说在最后,因为它关系到本附录自身的位置。本附录所依赖的这台装置,它自己也是被造出来的——被一条特定的技术路径、特定的产业结构、特定的资助方式造出来。若判决倒向造成论,那么这个判决本身也在它所主张的范围之内:它是从这条路径上得到的判决。这不是一个自我瓦解的悖论,而是本案的一个可预期的特征——任何把自身包含在内的主张都要接受这一层。本附录对此的处理不是回避,而是把它写进判据:正因为如此,条款的判负条件必须事先写死、读数必须公开、预注册必须在接触数据之前完成。一个承认自身有来路的立场,靠程序而不是靠超然来维持可信。

第二十三章 结语:美诺问题的实验回答

回到开头那个角落。美诺问:你怎么能去寻找你不知道的东西?

柏拉图的回答是:你其实早就知道,只是忘了。这个回答统治了两千年,不是因为它令人信服,而是因为没有人能够用任何观察把它和它的对手分开。

本附录给出的是另一种回答的条件,而不是那个回答本身。它可以这样陈述:把寻找的过程本身放到台面上来,把它重跑一百次,每次只换走法不换材料,然后看到达的地方是不是同一处。如果是同一处,柏拉图对;如果不是同一处,而且这个”不是”不随你走得更久、更远、更有力而消失,那么被寻找的东西就不是一直在那里等着——它有一部分是在寻找中被做成的。

两千年里,这句话只能作为立场来主张。现在它第一次可以作为读数来等待。

本附录没有读数。本附录有的是三条条款、四个量、一份预注册和一份写死的败绩清单。这不是谦虚,是本案唯一诚实的交付方式:一个悬置了两千年的问题,不应该被任何人用一篇文章宣布解决,只应该被交给一台能判它的机器,并且事先说清楚,怎样算输。


第二十四章 与本书正文三个读数的接口,以及一处符号冲突

本章不在原稿之内,是为把本附录接入本书而补写的。它处理一件很具体、但不处理就会出事的事:本附录的两个核心符号,与正文的两个核心符号同名而不同指。

24.1 符号冲突表

符号 在本附录里 在正文里 关系
κ 不可消解度:路径造成的结果差异在规模增大时不被消解的那一部分(条款一) 可消性:器具配置能够解释的产出方差占比(正文第三编) 不是同一个量。本附录的 κ* 测”路径痕迹的残余”,正文的 κ* 测”器具项能不能在比较中被消掉”。两者方向甚至相反:本附录 κ* 越大越支持造成论;正文 κ* 越大越说明旧单位失效
ρ 可归约份额:结果中可被归约为语料中既有结构的比例(条款二) 代走率:AI 话轮中给出实质性下一步的比例(正文第二编) 完全无关的两个量,只是碰巧同字母
d 结果距离(本附录附录二给出构造规范) 正文未使用 无冲突
可达集 某条训练路径能够到达的结果集合(条款三) 正文未使用 无冲突

裁定:本附录保留原符号不改,理由是它已成稿并自带定义体系,改符号的风险大于收益;但凡跨着引用时,一律写明”本附录的 κ“或”正文的 κ”。本书正文的读数速查表(附录一)不收本附录的符号。

这个冲突本身值得记一笔,因为它是一个小小的实例,说明本书反复讲的那件事:读数的意义由它的取数口径决定,不由它的名字决定。两个都叫 κ* 的量,只要取数口径不同,就是两个东西;把它们当成一个,就是最廉价的一种偷换。

24.2 三条条款与正文三项实验的分工

本附录给出三条判决条款,正文第五编给出四项实验。它们测的不是同一层的东西,分工如下:

测什么 对象 判决什么
本附录三条款 路径是否构成结果 大模型 发现学与造成论之争(本体论层)
正文实验一、二 ρ*、k 与撤机读数的关系 人 对话形态对学习的影响(机制层)
正文实验三 验收能力是否依赖生成经验 人 本书规范主张的存亡(承重层)
正文实验四 AI 因素与训练因素的贡献 人 教学设计的效果(效应层)

四者不可互相替代,而且次序不可颠倒:如果本附录的三条款判给先在论,那么正文关于”路径进入结果”的整套论证失去本体论地基,虽然其经验读数仍然成立,但解释要换。反过来,若三条款判给造成论,正文的四项实验并不因此自动为真——它们测的是人,而本附录测的是模型,从模型到人的推论本身需要另行论证(正文第二十四章已就此设了边界)。

24.3 可判性到来之后,教育评估要改的一栏

本附录第二十章(“若判决倒向造成论:三栏要改”)给出的是一般性的后果。这里补一条对本书主题最直接的:

若构成性路径依赖成立,那么同样的课程内容、不同的学习路径,形成的不是同一套能力——哪怕考试分数相同。这句话在先在论框架里读不出来:在那里知识是既定对象,学习是接近它的过程,路径只影响接近的速度,分数相同即接近程度相同。

由此,正文第三十七章提出的三类评价条件(独立、协作、换用)得到了本体论上的理由,而不只是方法论上的谨慎:

换句话说:换用测试就是人身上的种子实验。它之所以不可省,不是因为多测一项更保险,而是因为它是唯一一项能够分辨”路径进入了结果”与”路径只影响了速度”的读数。

24.4 本附录接入本书之后新增的欠账

本附录附录一 量的定义汇总

记号 名称 定义 先在论预测 造成论预测
Δ(N) 路径散度 规模 N 处,只在路径上不同的运行之间的结果距离期望 随 N 衰减至噪声 衰减至正常数
κ* 不可消解度 Δ(N) 的极限(有限规模下由衰减律外推) κ* = 0 κ* > 0
ρ* 可归约份额 路径间结果差异中可由语料、架构、判准的量预测的方差份额 ρ* → 1 1 − ρ* 稳定为正
— 对齐后连通率 消去置换后,成对解之间线性模式连通的比例 → 1 不趋于 1
— 标定不可达 性质 Q 在 P₁ 中出现率 > q,在 P₂ 中十倍预算下 < q′ 不存在 存在

本附录附录二 结果距离 d 的构造规范

  1. 层选取:在每个模型上取预先指定的相对深度位置(如总层数的 25%、50%、75%、100%),不按绝对层号,以保证跨规模可比。
  2. 对称性消去:先做神经元置换对齐(权重匹配或激活匹配),再计算表征相似度;缩放对称通过归一化消去。
  3. 表征距离:在同一批冻结探针输入上取激活,计算对齐后的相似度距离。
  4. 行为距离:在冻结的分布外探针集合上比较输出分布,取对称散度。
  5. 合成:d 取表征距离与行为距离的预先指定加权和,权重在接触数据前冻结。
  6. 噪声基线:同种子、同数据次序、仅硬件数值非确定性造成的重跑之间的 d 分布,作为零点。

本附录附录三 与相邻立场的分界

本附录参考文献(择要)

Ainsworth, S. K., Hayase, J., & Srinivasa, S. (2023). Git Re-Basin: Merging Models modulo Permutation Symmetries. ICLR.

Biderman, S., et al. (2023). Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling. ICML.

Bloor, D. (1976). Knowledge and Social Imagery. Routledge.

D’Amour, A., et al. (2020). Underspecification Presents Challenges for Credibility in Modern Machine Learning. JMLR.

Duhem, P. (1906). La Théorie physique: son objet et sa structure.

Frankle, J., & Carbin, M. (2019). The Lottery Ticket Hypothesis. ICLR.

Frankle, J., Dziugaite, G. K., Roy, D. M., & Carbin, M. (2020). Linear Mode Connectivity and the Lottery Ticket Hypothesis. ICML.

Gould, S. J. (1989). Wonderful Life. Norton.

Hacking, I. (1983). Representing and Intervening. Cambridge University Press.

Huh, M., Cheung, B., Wang, T., & Isola, P. (2024). The Platonic Representation Hypothesis. ICML.

Kant, I. (1781/1787). Kritik der reinen Vernunft.

Kuhn, T. (1962). The Structure of Scientific Revolutions. University of Chicago Press.

Lenski, R. E., et al. (2008). Historical contingency and the evolution of a key innovation in an experimental population of E. coli. PNAS.

Merton, R. K. (1961). Singletons and Multiples in Scientific Discovery. Proceedings of the American Philosophical Society.

Nanda, N., Chan, L., Lieberum, T., Smith, J., & Steinhardt, J. (2023). Progress Measures for Grokking via Mechanistic Interpretability. ICLR.

Olsson, C., et al. (2022). In-context Learning and Induction Heads. Transformer Circuits Thread.

Piaget, J. (1970). Genetic Epistemology. Columbia University Press.

Pickering, A. (1995). The Mangle of Practice. University of Chicago Press.

Plato. Meno.

Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets.

Quine, W. V. O. (1951). Two Dogmas of Empiricism. Philosophical Review.

Reichenbach, H. (1938). Experience and Prediction. University of Chicago Press.

Sellam, T., et al. (2022). The MultiBERTs: BERT Reproductions for Robustness Analysis. ICLR.

van der Wal, O., et al. (2025). PolyPythias: Stability and Outliers across Fifty Language Model Pre-Training Runs. ICLR.

Woodward, J. (2003). Making Things Happen: A Theory of Causal Explanation. Oxford University Press.

© 德麦国际出版社 · 王德生《AI 时代教育的认知变革》· ISBN 979-8-90690-096-8