← 专著首页目录专著栏目

第八编 对手

第六十八章 旗舰一·表征收敛与柏拉图表征假说


一、假说的主张

2024 年,Huh、Cheung、Wang 与 Isola 在一篇题为《柏拉图表征假说》的论文中提出:人工智能模型——尤其是深度网络——的表征正在趋同(ICML 2024,arXiv:2405.07987)。

他们的论证分三步。第一步是综述:在文献里,不同网络表征数据的方式随时间、跨多个领域而变得越来越一致。第二步是新的测量:随着视觉模型与语言模型变大,它们衡量数据点之间距离的方式越来越相像——这一步是跨模态的,比较的是两类完全不同的模型。第三步是命名:他们把这个趋同的去向假设为一个共享的关于实在的统计模型,并借柏拉图的理念说给它取名。

取名本身就说明作者们清楚自己站在哪一侧。这不是一个中立的技术术语,它是对本案的一次表态:模型们正在向同一个关于世界的表征收敛,就像影子在向同一个理念靠拢。

二、这件武器的分量

必须承认它的分量。

它不是修辞,是测量。 它给出的是一族可复现的对齐度读数,覆盖多个模型族、多个规模、多个模态,任何人都可以用公开模型重做。

它正面击中本案的要害。 本书第六编的三条条款里,条款一问的就是路径差异是否随规模衰减。表征对齐度随规模上升,在形式上就是路径差异随规模下降。这不是一件擦边的材料,它是冲着同一个量来的。

它的方向比本书所需要的更强。 本书的条款一只要求处理”同语料同架构、仅路径不同”的模型之间的差异。而这件武器谈的是换了语料、换了架构、甚至换了模态的模型之间仍在趋同。若连这样的差异都会随规模消失,那么仅由路径造成的差异当然更会消失。

三、取胜条件

把它的取胜条件写成一句可判的话:

表征对齐度的极限是完全对齐,而不是某个正的不一致水平。

若这一条被稳固确立,本书第五编所定义的可达集在规模极限下收缩为一个点,路径被完全消去,先在论在经验上取胜。

这一条不是本书替对手拟的,它是从假说自身的主张直接读出来的:假说说的是模型在向同一个共享表征收敛,“同一个”这三个字要求的就是极限而非趋势。

四、这件武器的三处自我限定

这三处全部出自原文,不是本书的加工。逐条列出,并逐条说明它们不构成什么。

其一,它被作者标明为一篇立场论文。 标题的前缀是”Position”。作者们在提出主张的同时,声明这是一份立场陈述而非终局的实证报告。

必须写明:这一点不构成反驳。 本书不得用文体来削弱主张——立场论文可以是对的,而且这一篇的经验部分是实打实的新测量。指出它的文体,只有一个正当用途:说明它自己把自己定位在什么位置上,而这与它主张的真值无关。

其二,作者自己讨论了局限与反例。 原文在结尾处讨论了这些趋势的局限,并给出了对自身分析的反例。一篇在自己的结论旁边列出反例的论文,比一篇不列的更值得认真对待,而不是更不值得。

其三,它的核心陈述是关于趋势的。 原文报告的是对齐度随规模与性能提升而系统性上升,并由此假设一个收敛的去向。“上升”与”收敛到完全对齐”之间的距离,就是本书第六十九章要处理的全部内容。

第三条不是对这篇工作的批评。任何关于极限的主张,在有限的规模窗口内都只能以趋势的形式呈现——这是处境,不是缺陷。本书对它的要求,与本书对自己的要求完全一样:给出极限,而不只是方向。

五、对齐度是怎么测的,以及这件事为什么要紧

在进入本章最要紧的区分之前,先处理一个技术前提,因为它决定了这件武器量到的是什么。

“两个模型的表征有多像”这句话,本身不是一个可直接观测的量。要把它变成数,必须先选一个东西:一个衡量相似的核。 常见的做法是不直接比较表征本身,而是比较它们在一批数据点上诱导出的距离结构——甲模型认为哪两个点接近,乙模型是否也这样认为。

这个做法有一个重要的好处,也正是它被广泛采用的原因:它绕开了两个模型的内部坐标不可直接对应的问题。视觉模型与语言模型的内部维度既不同数量也不同含义,逐维比较没有意义;而”哪些点彼此接近”这种关系结构,是可以跨模型比较的。

但它同时带来一个后果,必须写明:

任何一个对齐度,都只看见那个核所能看见的差异。

两个模型若在”哪些点接近”上高度一致,而在别的方面不同——比如它们把同一批点组织成不同的层级、或者在近邻关系相同的前提下对边缘情形作出不同的处理——这些差异不会出现在对齐度里。

这不是对这件武器的指控。任何度量都只看见它能看见的,本书自己的表征距离同样如此,第七十一章会把这件事说成一条对两侧都适用的原则。这里只需要记下一个结论:

“表征在趋同”这句话,严格说应当读作”在某个特定的相似性核下,表征的某一类结构在趋同”。 这个限定不削弱它的分量,但它决定了它能被外推到多远。

六、选择压力:一个值得反问的地方

原文在提出趋同之后,讨论了几种可能的选择压力——为什么模型会被推向同一个表征。本书对其中一类压力有一个反问,这个反问对本案有直接后果。

那一类压力大致是这样的:当一个模型被要求同时做好越来越多的任务时,能够同时满足所有这些要求的表征就越来越少;在任务足够多的极限下,可行的表征收缩为一个。

这条论证是有力的,而且它有一个漂亮的直觉支持:约束越多,解越少。

本书的反问是:在这条论证里,被增加的是什么?

答案是判准。任务变多,意味着 L 变大、变严。而本案的设定是固定 C、A、L,问在固定之后路径是否仍进入结果。

于是这条选择压力所论证的,严格地说是:

当判准被加强到某个极限时,可达集收缩为一点。

这句话本书不与之争,而且认为它很可能是对的。但它与本案的争点擦肩而过——本案问的不是”判准足够严时结果是否唯一”,而是”判准给定时结果是否唯一”。

把这两件事分开,有一个可检验的后果:若趋同主要由判准的加强驱动,那么在判准固定的条件下,趋同应当显著变慢甚至停止。这是一条可以设计实验去检验的预言,而且它对两侧都有风险——若在判准严格固定的条件下趋同仍然照常,本书这一节的反问就落空了。

这一节的分寸要把握住:本书不是在说原文混淆了这两件事。原文讨论的是一个更一般的现象,不必受本案设定的约束。本书只是在指出,把那条选择压力当作本案的证据来用时,需要先过这一道。

七、一个本书必须自己讲清的区分

这一节是本章最有价值的部分,因为它决定了这件武器打到本书身上有多重。

跨模态趋同与同模态跨种子趋同,不是同一件事。

跨模态趋同说的是:一个视觉模型与一个语言模型,训练材料完全不同、架构完全不同、判准也不同,但它们衡量数据点之间距离的方式在变得相像。

同模态跨种子趋同说的是:两个模型,语料相同、架构相同、判准相同,只有随机种子不同,它们的表征在变得相像。

用本书第五编的记号:前者换的是 C 与 A,后者换的只有 P。

这两件事的分量为什么不同?

先在论需要的是后者。本案要判的是”固定 C、A、L 之后,结果是否仍由路径决定”;只有同模态跨种子的那一支,才落在这个问题上。

而跨模态那一支,在本书的框架里其实说的是另一件事:它说的是不同的材料与装置可以逼近同一批世界内容。 这一点本书完全不争,而且本书的核心命题与它相容——一本讲路径进入结果的书,并不需要主张不同的材料会通向不同的世界。

于是要把话说准:

跨模态趋同是一件更醒目的事实,却是一件与本案关系更远的事实。

这个判断对本书有利,因此要立刻补上它的反面,否则这一节就是一次挑选。

反面:跨模态趋同在本案中并非全无分量。它给出了一个一般性的理由——若连材料与架构都换掉之后表征都在趋同,那么”仅换路径”这个更弱的扰动更不可能产生持久的分化。这是一个从更强推更弱的论证,而它是有效的。

本书能回的只有一句,而且这一句必须诚实:从更强推更弱的论证,其强度取决于那个更强的主张是否成立于极限。 若跨模态对齐度收敛到一个正的不一致水平而非零,这条推论就不成立。而那又回到了第六十九章的问题。

八、与条款一的对接

它若成立——即表征对齐度的极限是完全对齐——本书条款一判负。

按第五十八章第一条让步,一字不改,此处不重述其内容。只强调一点:那一条是四条败绩条件里最重的一条,它不止要本书放弃核心命题,还要本书把输掉的后果推广出去。

这是四条败绩条件里最重的一条。本书在此重申它,不加任何限定。

它若只成立于趋势而不成立于极限,本书不因此取得任何东西。这一点由第六十七章第四节那个不对称决定:对手的武器不成立并不等于本书通过。本书的通过条件在第六编,与本章无关。

下一章处理趋势与极限的分界,它是本章与第七十二章共用的底座。


《可判性的到来——发现还是发生?》· 王德生 著 · 德麦国际专著第 124 号 · ISBN 979-8-90690-092-0