← 专著首页目录专著栏目

第九编 反击与边界

第七十五章 第一记·极小点集合本来就在那里


一、这一记的形式

把它按最强的形式复述一遍。

训练不过是在一个由语料与架构共同确定的损失景观上做下降。那个景观——它的全部局部极小、全部鞍点、全部盆地——在第一步训练之前就已经被完全确定了。路径决定你落进哪一个坑,但坑早就在那儿挖好了。

因此,一切路径依赖都只是”选择了哪一个先在者”,而不是”造成了一个新东西”。凸优化里路径依赖为零,非凸里不为零——但目标函数在两种情况下同样先在。造成论把非凸性误当成了本体论。

(以上两段是这一记的原样复述,按第六十七章第三节那条纪律,不作简化、不作稀释。)

这是本书所知对核心命题最强的一击。

它强在三处:

其一,它不需要任何经验读数。 前一编那四件武器都要靠实验,因而都可以被实验推翻。这一记不靠实验。它只需要一个数学事实,而那个事实为真——给定数据与架构,损失函数确实在训练之前就完全确定了。

其二,它可以毫发无伤地接受本书的全部读数。 假设条款一通过、κ 是一个正数,这一记照样成立:当然有一个正的常数,因为坑不止一个。第七编那些数字对它构不成任何威胁。

其三,它是先在论的最后阵地。 第八编那四件武器里的任何一件被推翻,这一记都还在。它不依赖表征收敛、不依赖彩票假说、不依赖模式连通,甚至不依赖任何一篇具体的论文。

一个不靠实验、能容纳对手全部读数、且不依赖任何具体证据的论证,在辩论中是极难对付的东西。本章与下一章用两章来对付它。

二、回答的第一步:承认它为真,并指出它证明得太多

第一步不是反驳,是承认。那个数学事实为真,本书不与之争一个字。

但要接着问:这个论证的适用范围有多大?

同样的论证可以毫无阻碍地应用到任何一个物理过程上。给定初始条件与动力学,演化的全部可能轨迹”早就在那儿”。于是:

这个版本的先在论把整个宇宙判成一本早已写好的书。

它可能是对的。 本书不主张决定论为假,这件事本书没有立场,也不需要有立场。

但它有一个代价,而这个代价足以使它退出本案:

它不再是关于知识的主张,而是关于决定论的主张。

而且它付出的代价是取消了”造成”这个概念在任何地方的适用性——包括在制造、艺术、立法、生育这些没有任何人会否认其为造成的地方。

一个使”造成”一词在宇宙中无处可指的论证,不是赢了这场争论,是解散了这场争论。

这里要补一句,因为它关系到本章的分寸:指出一个论证证明得太多,不等于证明它错了。 一个证明得太多的论证仍然可能为真,只是它不再能用来区分本案的两方——而不能做区分的东西不能用来判案。这与下一章第三节将要用到的那个判据是同一条原则。

三、这一记不是新的,新的是它第一次可以被请下来

这一记在哲学上有很长的家谱,值得点一句,因为家谱决定了它为什么这么难缠。

它的一般形式是:给定初始条件与演化律,后来的一切都已被确定,因此没有任何东西是真正被造成的。这个论证在近代以决定论的形式出现过,在更早以”一切可能者已在”的形式出现过。它在每一次出现时都有同一个特点——它不能被经验触及,因此既不能被经验推翻,也不能被经验支持。

正因为如此,它在两千年里一直是先在论的保险。无论经验层面发生什么,这一记都还在。

本案的新处不在于这一记变弱了,而在于它第一次有了一个可以被指认的载体。

在自然界里,“那个先定的结构在哪里”这个问题没有答案可查——没有人能把宇宙的初始条件与演化律取出来看一眼。而在大模型训练里,那个被说成先定的东西有一个名字、有一个定义、有一段可以打印出来的代码:损失函数由数据与架构确定,而数据和架构都是人写下的、可以逐位检查的对象。

于是一个此前只能在原则上讨论的问题,变成了一个可以动手查的问题:

把那个先定的集合写出来。

这就是下一章要做的事。能做这件事,是换现场换来的。 第四编论证过为什么是大模型而不是量子测量或实验演化,那里给的理由是可重跑与可缩放;这里可以补上第三个理由——在这个现场,先在论所主张的那个先在者,是一个可以被要求出示的对象。

四、这一记与计算性路径依赖是同一件事

把这一记放回第五十二章的框架,它的位置立刻清楚了。

它说的是:路径造成的结果差异,其原因在于求解过程在一个先定的景观上的有限行走。不同的路径落进不同的坑,而坑是先定的。

这正是计算性路径依赖的定义——“你还没走到”的一个变体,准确地说是”你走到了另一个已经存在的地方”。

第五十二章第二节写过一句话,现在要兑现它:迄今为止机器学习中所报告的绝大多数路径依赖,都是先在论的自家话。 这一记就是那句话的哲学形态。本书从一开始就没有打算靠”路径差异存在”来赢,正是因为这一记在那里等着。

由此也可以说清本编与第六编的关系:第六编的三条条款,整个就是为对付这一记而设计的。

三条都是在向这一记索要它所承诺的那个”先定的集合”的具体形态。

五、这一记的可辩护形态

经过上面两步,这一记被压缩了。压缩后的形态是这样的:

结果的规定可由 C、A、L 写出,路径只是选择器。

这句话与它的原始形态有两处不同。

第一,它放弃了”在数学上必然为真”的地位。 原始形态说的是一个数学事实——损失函数由数据与架构确定。压缩后的形态说的是一个关于描述的主张:那个先定的集合可以被写出来。这不是一个数学事实,是一个待证的经验命题。

第二,它变成了可测的。 一旦要求把集合写出来,就有了检验:写出来的描述能不能覆盖实际到达的结果。这就是条款二。

这一步转换是本书全部工作的目的。 不是赢下这一击——本书赢不下它,它在自己的地盘上是安全的——而是把它逼成一个可以拿数据说话的命题。

一个只在形而上学层面成立的论证,无法被任何实验触及,因此也无法被任何实验支持。先在论若停在原始形态上,它就同时失去了被判负的可能与被判赢的可能。把它请下来,对它是公平的,对本案是必需的。

下一章做那件索要工作:向它要一个地址。

六、为什么这一记排在本编第一

最后说明本编的排序,因为排序本身是一个判断。

本编五记,按本书认为的分量从重到轻排:极小点集合先在(本章)、表征不是知识(第七十七章)、临时程序只是激活(第七十八章)、给相对主义开门(第七十九章)、度量的产物(第八十章)。

这个排序有一处可能引起异议:第七十八章那一记是本书接不住的,为什么不排第一?

理由是接不住与分量大是两件事。

第七十八章那一记接不住,但它的射程很窄——它只打到条款三的第三个候选,而本书已经把那个候选降为第三顺位并附加了一条几乎过不去的门槛。一记打在一个本书已经主动放弃的位置上,即使接不住,也不改变判决。

本章这一记射程最宽:它不需要实验、能容纳本书的全部读数、且不依赖任何具体证据。它若成立于原始形态,本书的全部工作都是在一个已经输掉的问题上做技术改进。

而第八十章那一记排在最后,理由也要说明:它是方法论上最危险的一记,但它攻击的是本书的执行而不是本书的立场;一个执行上的缺陷可以靠更好的执行修复,而修复方案本书已经写在第六十六章那份清单里。危险与致命是两回事。

排序不是评分,它只说明本书认为该把最多的篇幅花在哪里。读者若不同意这个排序,各章是独立的,可以按别的次序读。


《可判性的到来——发现还是发生?》· 王德生 著 · 德麦国际专著第 124 号 · ISBN 979-8-90690-092-0