SDE思想体系入门 · 395
第10篇 · 信息与熵的不同解释层次
第54章

熵、信息与意义:相似的公式,不同的解释任务

王德生 著 · 在全文中阅读
本章小节 · 11

一、先给三个问题划出边界

一杯热水逐渐冷却,一串字符通过信道传送,一个人终于理解一段艰难的文字。这三个过程都可以引起关于“信息”的讨论,却不能因此被当成同一件事。第一件涉及能量传递及物理状态,第二件涉及消息集合及概率,第三件还涉及对象、语境、理由和行动。SDE如果要把它们放在同一幅思想地图上,第一步应当是说明彼此怎样联系,而不是先宣布它们完全相同。

本章保留原稿提出的发生学问题:在什么关系和条件中,一种差异能够持续显露,进入后续过程,并改变参与者的能力?但我们同时区分热力学熵、香农熵与意义的发生。前两者各有数学定义和适用条件;第三者在本书中主要是哲学与研究方法问题。把第三者称为“意义熵”并不会自动得到可计算量。没有状态空间、测量程序和验证方法时,应当使用普通语言讨论,不借一个物理名词制造精确性的外观。

为了避免符号混淆,本章以 Sth 表示热力学熵,以 H 表示香农熵。SDE中的 S 仍然表示显露。三个符号即使在某些文献中都写成同一个字母,也不意味着对象相同。一个入门读者首先需要学会的,正是在同一个词被跨领域使用时停下来,询问这一次究竟定义了什么。

二、第二定律与“发生”并不互相排斥

热力学第二定律不是“所有东西都会越来越乱”这句日常话的简单扩写。讨论熵变,要先划定系统边界、允许的交换和过程条件。Lieb与Yngvason对第二定律的公理化研究明确交代平衡态与绝热可达关系所承担的条件;这提醒我们,物理定律的严密性来自条件和推导,而不是来自一句无条件的宇宙口号。[物1]

在讨论生命时,边界尤其重要。一个活着的生物不断与周围交换物质和能量,不能把它当成孤立系统,再把它形成结构的现象宣布为第二定律的反例。局部结构得以维持,与它所处更大系统的熵收支是两个需要相互核算的问题。描述“这个地方变得有序”,尚未完成任何热力学证明。

本书所谓“发生”,也不预先要求违反物理规律。一个人学会一种分类方法,一群人形成合作分工,一个装置产生新的稳定运行方式,都可以是本书关心的发生。它们是否出现,并不由“局部熵必须下降”一句话统一判定。不同对象需要不同的观测指标;一个概念变得清楚,不能直接换算成多少焦耳每开尔文。

因此,发生学若想与物理对话,合适的提问是:这个具体系统如何获得资源,如何保持某些约束,如何把差异保存到下一步?不合适的推断则是:只要生命能够成长,时间箭头就在倒转。成长、修复和学习都是在物理时间中展开的过程,把方向性的比喻当成物理时间的逆转,只会遮住真正需要解释的机制。

三、“混沌—介生—秩序”是一张概念地图

SDE用混沌、介生、秩序帮助读者辨认特征之间不同的组织状态。这种辨认有启发性,但这里的“混沌”不能无说明地等同于动力系统中的混沌,也不能无说明地等同于高热力学熵。动力系统的敏感依赖是一类数学性质;宏观热力学状态的熵是另一类量;“我还分不清眼前是什么”又是认识中的情况。三者可以在某个具体模型中发生联系,却没有理由凭同一个汉语词就宣布它们互相推出。

“秩序”也存在类似歧义。一份人人照抄的答案看起来整齐,一支能够处理意外的团队也有秩序,但二者在变化中的能力可能完全不同。SDE关心的并非外表整齐,而是差异能否被组织、承接并形成新的显露。所以,本书可以批评僵硬的制度把反馈堵住,却不能据此推断“低熵必然无生命”或“一切稳定都是发生的死亡”。稳定可能是下一次发生的支点,也可能成为阻碍,必须分析它稳定的究竟是什么。

介生也不必被理解为一条固定的熵值区间。如果有人提出“最有创造力的系统处在中等熵”,就需要回答:对哪些变量计算熵,怎样估计概率,用什么标准定义创造力,是否控制任务难度与资源投入?在这些问题尚未得到回答之前,“介生”表达的是一种关于生成条件的理论设想,不是一条已经测出的物理定律。

四、香农熵计算什么

对于取值为 xi、概率为 pi 的离散随机变量 X,常用的信息熵定义是 H(X)=−Σ pi log₂pi,并约定零概率项按极限计为零。这里首先给定的是一个随机变量及其概率分布。香农原论文研究通信中的消息选择与传送,并把消息的语义问题同这个工程问题区分开来。[信1]

看一个完全构造的例子。一个开关只有开、关两种状态,若两者概率相同,观察前的不确定性为一比特;若它总是开,按这个模型计算的不确定性为零。这不是说第二个开关在生活中没有意义。它可能维持着重要设备,而第一个随机翻转的开关可能只是实验中的噪声源。数学量忠实回答了概率问题,却没有替人完成价值判断。

再看一个四字符字母表。如果四种字符等概率、独立产生,每次字符选择的熵为两比特;如果每次都产生同一种字符,相应的单字符熵为零。这个计算所依赖的“等概率”“独立”“字母表固定”,都不能省略。把一个任意字符串拿过来,仅凭它看起来杂乱,就宣布它具有最高熵,不是完整的统计判断。观察到的样本、假设的生成机制和估计的方法,需要分别交代。

这对读懂AI输出也有帮助。一段文字流畅或意外,都不能独自证明它为真;一段文字可预测,也不能独自证明它没有价值。标准的紧急提醒可能高度重复,却在合适的时刻非常重要。一段拼得新奇的话可能出人意料,却没有可辨认的对象。概率特征和意义判断可以互相提供线索,但不相互替代。

五、相似的数学形式为什么容易诱发误读

统计物理中的某些熵表达式与信息论的熵具有紧密的数学联系。然而,把这种联系用于具体物理系统,必须明确微观状态、概率分布、粗粒化方式和单位等条件。相同的代数形式并不意味着所有使用这种形式的学科都在测量同一个经验对象。正如比例可以出现在地图、配方和预算中,不能仅因都有比例就混用各自的单位。

SDE强调同一场发生可以在不同层级显露,这不意味着层级之间不需要桥梁。桥梁恰恰是研究的关键:从物理载体到编码,需要说明怎样把物理差别读作符号;从编码到意义,需要说明这些符号在什么实践中获得对象与用法;从意义到行动,还需要说明参与者怎样理解、判断并承担后果。

这些桥梁若被省掉,解释就会短路。某段文本确实以物理信号保存,不等于它的真假可以从存储器耗电量推出。某个结论改变了人的行动,也不等于我们已经知道这种改变对应哪个神经量。反过来,指出层级之间尚有解释工作,也不意味着意义能够脱离物理载体悬空存在。承认联系与拒绝越级推论,是同一份严谨。

六、麦克斯韦妖带来的提醒

麦克斯韦妖常被用来说明信息与物理的关系。本章不重演完整的思想实验,只提取一个与发生学相关的问题:观察、存储和利用信息的装置,是否被算进了系统边界?如果我们只看被控制的对象,却把控制者及其记忆的物理实现留在账外,就可能误算整体代价。

Bennett对Landauer原理的讨论,关键区分了逻辑不可逆的信息操作和原则上可逆的计算过程。因而,“任何信息处理都必然按同一个固定额度发热”并不是恰当概括;擦除、实现条件及整个循环需要分别分析。[物2]

对SDE而言,这个例子的启发不是“所有知识都已经被热力学解释完了”,而是任何局部能力都需要追问它依靠什么系统才能成立。一个组织看起来决策极快,可能把核验成本转移给了下游;一个模型看起来回答极轻松,可能依赖此前积累的训练、数据和人的劳动。这里的成本分析首先是经验和制度问题,不能把物理熵的公式直接贴到社会成本上,但“把被省略的条件纳入分析”的要求是可以保留的。

七、为什么消息更多不等于理解更深

设想一个构造的课堂。学生甲收到一百条关于植物的零散事实,学生乙只收到三条观察要求,却随后亲自比较不同条件下的叶片。我们不能只根据消息的条数断定谁理解得更深。甲可能借已有知识迅速整合,乙也可能只完成动作而没有理解。需要查看他们能否辨认对象、说明条件、解释反例,并把所得用于新的情境。

用SDE的语言说,文本给出的差异是否进入了学生自己的D,是否改变了他可以调动的E,是否形成新的S,需要过程证据。单纯增加信息输入,未必足以完成这些改变。但这里的“未必”很重要:它不是反对事实和知识积累。缺少必要事实,过程也可能无从启动;知识储备与实践组织如何配合,才是可研究的问题。

如果把“信息”限定为通信中的不确定性度量,那么“理解比信息更重要”就不是同一标尺上的大小比较。如果在普通语言中把信息理解为有意义的消息,则还要说明其真实性、相关性与使用条件。入门写作最容易犯的错误,是前半段使用一个技术定义,后半段悄悄换回日常含义,再把两者之间的落差当成理论突破。

八、从差异到可重复的理解

SDE的一个可操作要求,是把“我明白了”继续展开。读者究竟辨认了什么差异?这个差异怎样改变了先前的判断?哪一种关系使它能够留下来?若把对象稍作改变,理解是否还在?这些问题可以组织教学观察,也可以组织对AI协作的评估。

仍用上述构造课堂。教师可以先请学生独立描述,再给出一组有意设置的反例,然后要求修订描述。过程记录应保留最初答案、修订理由和新的适用范围。这样,我们至少能分辨几种情况:只是替换了用词;记住了老师要求的答案;能够指出旧分类在哪里失效;能够把新分类迁移到未见过的对象。四者都可能伴随文字数量增加,但发生的质量不同。

这些材料不自动证明SDE优于其他教学理论。相同的观察也可能被概念转变、反馈学习或其他框架解释。若要讨论SDE的独特贡献,必须指出它额外预测了什么,或者帮助我们设计了什么原本不会注意的比较。把所有成功都命名为“发生”,并不能建立新的证据;让命名改变问题的可检验方式,才可能带来增量。

九、AI是否发生知识,不能由熵值一锤定音

“模型只是重组符号,所以永远不能发生知识”与“模型能生成新句子,所以已经拥有人的理解”,都跳过了需要分析的条件。输出统计、任务表现、验证程序、主体经验和责任安排,不是同一个问题。本书可以主张人的在场及后果承担值得保护,却不应把这一规范主张伪装成由信息熵直接推出的定理。

一种更具体的提问是:在给定任务中,系统是否形成了此前未明确表达、随后经独立检验成立的结果?它能否识别自己的适用边界?反馈究竟只改变当次文字,还是改变可复用的规则?这些问题可以针对一个人、一个模型或一个人机复合系统提出,而答案取决于实际过程。

“知识归属于谁”又多了一层讨论。一个共同产出可以依赖多人、多种工具和已有文献,同时仍需要明确谁作出关键判断、谁核验、谁承担发布责任。发生机制的共同性不取消责任的可追溯性。反过来,有人承担责任,也不说明其他组成部分没有实质贡献。SDE的层级分析若有价值,就应帮助我们把这些关系说清楚。

十、把跨领域直觉写成研究问题

如果读者仍然希望探索“介生是否对应某种信息结构”,可以把宏大判断缩成一个有限研究。先选择一种对象,例如一个讨论小组完成分类任务的过程;再决定可观察的数据,例如发言之间的新信息、反驳次数、最终分类的正确率和迁移表现;然后分别定义变量,而不是把它们都叫作“熵”。

接下来提出可能失败的假设。某种交流多样性是否在特定任务中有利?它是否受既有知识和时间限制影响?是否存在同样多样却无法形成共同结果的组?这些问题允许不同答案。只有把失败条件写出来,研究者才不会把任何结果都重新解释为理论成功。

也需要一个竞争模型。观察到更好的成果,可能来自参与者拥有更多先验知识,可能来自更长工作时间,可能来自清楚的任务要求。若不比较这些解释,“介生促进创造”的判断就可能只是给一个复杂结果换了名称。发生学的优势不能靠排除其他语言获得,而要在共同证据面前接受比较。

最后,计算结果应回到最初的问题。即便某个统计指标与任务表现相关,也不能立即推广到生命、艺术、政治与宇宙演化。有限研究的价值,在于给出一个可以复查的关系及边界。跨领域推广需要新证据,不能靠相同术语一路滑过去。

十一、让理论保留开放性

本章对原稿的修订,保留了一个重要直觉:知识与生命的理解,需要关注差异怎样在关系中被组织、保存和再次调用。但它撤回了几种过快的等同:热力学熵不是发生失败的总分,信息熵不是意义多少的直接刻度,生命的局部秩序不是时间箭头倒转,SDE的三态也不是已经测定的普遍熵区间。

撤回这些等同并不会使理论失去力量。相反,它把任务变得更明确:该定义的量去定义,该寻找的证据去寻找,该保留为哲学判断的主张则说明其理由。对于一本入门书而言,最有用的成果不是让读者获得一个解释所有事情的词,而是让他在面对新问题时知道下一步应该分清什么、观察什么、检验什么。

发生学若要求知识可以回写,那么它也需要允许自身回写。今天发现一个类比不够严密,就把类比收回到它能够承担的位置;发现一个预测没有成立,就修订它的条件。这样,“开放”才不只是赞美未来的修辞,而成为组织现在的研究的具体方式。

来源与阅读说明

底本:《SDE本体论入门》原第四十二章。本章对熵、信息、生命与AI的跨领域等同进行了实质修订;课堂和讨论组均为构造案例,无实测结果。

[物1] Elliott H. Lieb and Jakob Yngvason, The Physics and Mathematics of the Second Law of Thermodynamics, https://arxiv.org/abs/cond-mat/9708200 。本次核对摘要与论文信息,引用范围为其关于平衡态及绝热可达关系的研究定位。

[信1] Claude E. Shannon, A Mathematical Theory of Communication, 1948, https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf 。核对原论文引言及离散信源定义;本章计算例为独立构造。

[物2] Charles H. Bennett, Notes on Landauer's principle, Reversible Computation and Maxwell's Demon, https://arxiv.org/abs/physics/0210005 。核对摘要及文献信息,未将其扩展为所有信息处理具有同一固定能耗的论断。

搜索这本书

检索全文、表格与来源说明。可用 Ctrl / ⌘ + K 打开。