第九编　反击与边界

第七十六章　向它要一个地址

一、问题

“极小点集合本来就在那里。”

本章只问一句：

在哪里？以什么方式？

这不是一个刁难。任何一个主张某物先在的立场，都应当能够指出那个物在何处。第七十章讲过，彩票假说之所以是先在论最纯粹的工程表述，正是因为它给出了地址——一组初始权重的子集。那是一个可以被指认、取出、单独训练的对象。

而”极小点集合”这个说法给出的不是地址，是一个名字。本章逐一检查它可能的四个地址。

四个地址不是本书替对手拟的，它们是这个主张在逻辑上可能的落点：那个集合要么由材料决定，要么由目标函数决定，要么由装置决定，要么什么也不需要——因为它只是”一切可能”的一部分。

二、地址一：它在语料里

第一个回答是：那个集合由语料决定。不同的语料给出不同的损失景观，因而给出不同的极小点集合；路径在其中选一个，但选择的范围是语料划定的。

这个回答是三个里最实在的一个，因为它把先在的载体落在了一个具体的、可测量的对象上。

它的后果是可检验的。 若集合由语料决定，那么不同路径所到达的结果之间的差异，应当可以由语料的量写出来——n 元分布、主题分布、子集覆盖、某类内容在语料中的出现位置与频次。

这正是条款二形式二所测的东西：可归约份额 ρ，即路径间结果差异中可由 C、A、L 的量预测的方差份额。

判据照抄第五十六章：ρ 显著接近 1，这个地址成立，条款二判负；1 − ρ 有稳定的正剩余且不随规模上升，这个地址落空——有一部分结果的规定不是语料的函数。

要把话说公道：本书预期 ρ 的主体部分会很大。 这些模型确实在学同一批世界内容，它们之间相像的地方远多于不像的地方。争的从来不是主体，是那个剩余。第五十六章第四节已经写死了这个分寸：判决不需要 ρ 小，只需要 1 − ρ 不趋于零。

这个地址的现状：条款二未跑，因此本书对它没有任何读数。这是一张支票。

三、地址二：它在损失景观里

第二个回答是：那个集合由损失函数本身决定——“景观”这个对象是先在的，与谁来走它无关。

这是最常被默认的一个回答，也是最少被检查的一个。本节要指出一个被普遍忽略的事实。

在实际的训练系统中，损失景观不是一个独立于路径的对象。

分两层说。

第一层，较弱但已足够：在有限的训练中，被实际触及的只是景观中一条测度为零的带。说”全部极小点都先在”，与说”训练走过的那一小段区域先在”，在数学上都为真，但在经验上说的是两件事。前者关于一个从未被访问、也不可能被访问的集合；后者关于一段被实际走过的路。一个从未被任何路径访问的极小点，与它不存在，在本案中无法区分。

第二层，更硬：现代训练里被下降的那个函数，在训练过程中本身就在变。

数据次序改变每一步梯度所对应的那个批损失；批次构成改变它；学习率调度改变有效的下降动力学；而在多数实际流水线中被使用的数据重复策略、筛选策略、课程安排，直接改变了在不同阶段被优化的那个目标。

严格地说，被下降的不是一个函数，而是一族随路径变化的函数。

若如此，“景观先在”这句话就不再是一个数学事实，而是一个理想化假设——而且是一个在实际系统中已知为假的假设。

这一节必须补上它的限制，否则它会被用过头：

限制一：可以把上面那一族函数看作某个更大的、固定的函数在不同参数下的切片，从而把先在性恢复到那个更大的对象上。这个回退是合法的，但它把问题推到了地址三——那个更大的对象越来越像”一切可能”。

限制二：本书没有测量过这一族函数的变动幅度。第二层论证是从训练流程的构造得出的，不是从读数得出的。按本书的规矩，它是一条论证，不是一份证据。

限制三：这一层与第七十二章第七节那个观察是同一件事的两副面孔——那里说的是缩放律的指数依赖于协议，这里说的是被下降的函数依赖于协议。同一处事实，两处使用，不得计作两条独立证据。

四、地址三：它在”可能性空间”里

第三个回答是常被用作最后退守的一个：那个集合存在于所有可能权重配置的集合之中。

所有可能的权重配置当然”存在”，正如所有可能的小说都存在于所有字符串的集合中。

这个回答不能被驳倒，因为它什么也没说。

拿这一种”在”去撑”知识是被发现的”，会得到一个谁也不愿意要的推论：托尔斯泰发现了《战争与和平》——理由是那部书一直躺在所有可能的字符串里面。

要把这个判断说得精确，需要一条一般原则，它在第七十五章第二节已经用过一次，这里正式立出来：

一个概念若对一切事物同样适用，它就不能用来区分任何两件事；而不能做区分的概念不能用来判案。

这个意义上的先在是免费的——不需要任何条件就能获得，也因此是无内容的——它不把任何一件事与任何另一件事区分开。在这个意义上，被造成的东西和被发现的东西同样先在，于是两千年的争论在这个地址上自动消失。

有人可能会说，这不正说明争论本身是虚假的吗？不。它说明的是：这个地址无法承载争论，而不是争论无法成立。前两个地址是能承载的——它们给出了可区分的后果。一个立场若只能退到第三个地址上才安全，它的安全是以放弃全部内容为代价买来的。

五、地址四：它在架构里

上面三个是这个主张最常被给出的地址。还有第四个，它比地址二更硬，也比地址三有内容得多，却更少被明说，因此放在最后单独处理。

第四个回答是：那个集合由架构决定。一个网络结构划定了它能表示的函数族；再加上优化算法的归纳偏置，可达的解就被限制在一个由结构决定的范围内。语料决定这个范围里哪一块被偏好，而范围本身是架构给的。

这个回答比前三个都强，理由有二。

其一，它落在一个完全可指认的对象上——架构是一份可以逐行读的代码，比”景观”具体得多，也比”可能性空间”窄得多。

其二，它与大量经验相符：不同架构确实有不同的能力边界，这在文献里是常识，也是架构研究本身的前提。

它的后果同样是可检验的，而且检验的设计并不复杂：若先在性落在架构上，那么固定架构、只换路径所造成的结果差异，应当可由架构本身所划定的那个范围来解释——具体地说，不同路径所到达的结果应当落在同一个由架构决定的子空间里，而它们之间的差异应当随着这个子空间被填满而减小。

在本书的记号里，这意味着可达集 Reach(C,A,L) 的形状主要由 A 决定，而路径只在其内部移动。条款一与条款二都能测到这件事的后果：若差异随规模衰减，说明子空间被填满；若可归约份额接近 1，说明差异可由 C 与 A 的量写出。

因此这个地址不需要新的条款，它落在已有的两条上。 这一点值得写明——一个更强的对手形态没有要求本书新增判据，说明第六编那三条条款的覆盖面比它看起来更宽。

但这个地址有一个它自己必须面对的问题，而且这个问题正是第七十章那一整章：若先在性落在架构上，那么彩票假说的原始形式就应当成立——中奖彩票由架构与初始化给定，在训练之前就在那里。而那一形式在规模上失效，修复的办法是把时点挪到训练开始之后。

于是这个地址被迫接受一个限定：架构划定范围，但范围内哪一块变得可达，取决于一小段路径。 而”一小段”有多长、它是否随规模趋于零，正是第七十章第七节那个尚无人回答的量化问题。

六、四个地址查完之后

把四次检查并排：

结论不是”先在论被驳倒了”。结论是：

先在论的可辩护形态，只剩下第一个与第四个地址；而这两个都是可测的。

这正是第七十五章第四节所说的那次压缩的完成。第二个地址若被坚持，它需要先回答”被下降的到底是不是一个固定的函数”，而那个问题本身是经验的；第三个地址被自己的空洞挡在门外；第四个地址站得住，但它必须接受第七十章那个尚未回答的时点问题。

由此得到本书对这一记的最终态度：本书没有赢下它，也不声称赢下它。本书做的是把它请到一个能拿数据说话的位置上。它在那个位置上完全可能赢——条款二判负，本书按第五十八章第二条让步，把核心命题降级，并承认判决未成。

一个能赢的对手，才值得被这样对待。下一章处理另一记，那一记攻击的不是本书的论证，是本书的现场。