第二十五章奖励学习进展与人工好奇

一奖励与记忆研究

讨论好奇的发生，不能绕开身体与学习机制。Kang等人的研究在常识问答任务中发现，自报好奇程度与部分奖励相关脑区的活动及后续记忆表现存在联系；Gruber、Gelman与Ranganath的研究进一步考察高好奇状态与目标答案及偶然呈现材料的记忆，报告了相关记忆收益及中脑、海马活动关系。[13][14]这些研究为理解好奇状态与学习提供证据，但其结论范围必须与任务和测量相称。

首先，神经相关不是一个能够替代所有层次的终极答案。即使某种脑活动稳定伴随信息期待，仍需解释为什么此时期待的是这个答案，为什么某个未知变得相关，以及得到答案后为何有的人继续、有的人离开。生理机制可以帮助说明事件如何实现，却不因此取消材料、任务、历史与关系的解释。SDE也不能反过来以整体性为由拒绝生理研究，两者需要明确桥接关系。

其次，记忆收益与意义入口不能混为一谈。一个人记住更多答案，可能有助于后续探索，却未必已经形成新方向；一个短暂前发生也可能因条件不足而没有留下显著记忆。实验中的好奇指标可以有效研究其所定义的状态，但若本书要讨论严格的前发生，就需要额外编码事件位置。不能把现有结果未经区分地搬来，作为双三角模型已经获得神经证明的证据。

一个构造场景能说明这点。两名学生都非常想知道一道谜题的答案，答案揭示后也都记得清楚。甲满足地转入下一题，乙返回题目，发现自己先前使用的分类规则需要改变。第一条路线可以充分体现信息获取与记忆，第二条路线则可能开启新的意义通路。二者都值得研究，但需要不同的追踪问题。若只测答案回忆，第二条路线的关键变化可能完全不可见。

对于教学，适当的结论是研究状态、材料和记忆如何协同，而不是承诺只要激发好奇就能学好一切。记住某个答案的收益，不能自动外推到长期理解、跨领域迁移或价值判断。好奇还可能把注意聚焦在最吸引人的局部，使其他内容被忽略。需要针对目标考察收益和代价，避免把一个可靠但有限的结果包装成无边界的教学原则。

本书同样需要控制自己的外推。即使前发生能够支持后续学习，也不能因此说所有学习必须始于好奇。兴趣中的练习、任务中的核验以及可靠封装的使用，都可能带来重要增长。好奇发生学应说明自己的特殊贡献，而非把学习全部纳入一个概念。只有允许其他机制独立成立，关于好奇竞争力的论证才不至于成为循环。

二信息增益及学习进展

计算模型使一些含混词获得了明确目标。信息增益关注观察使不确定性减少多少；预测误差关注预期与结果相差多少；学习进展关注预测或能力在一段过程中改善多少。三者有关，却不是同一个量。把它们都称为“对未知的渴望”，会遮蔽不同算法可能做出的不同选择，也使人与机器的比较失去精度。

设想有三个可探索对象。第一个结果几乎已经可预测，第二个虽困难但经过练习可以逐步掌握，第三个不断产生难以压缩的随机变化。追逐最大瞬时误差的系统可能被第三个吸引，重视改善的系统则可能更多投入第二个。这是说明目标差异的构造例子，不是所有算法必然如此的定理。具体表现还依赖表示方式、估计误差、时间窗口和行动条件。

Oudeyer、Kaplan与Hafner提出的智能自适应好奇系统，使用学习进展引导机器人探索，并在实验中展示逐步组织的活动序列。其目标并不是最大化所有未知，而是寻找当前能够改善学习的情形。[15]这一工作提醒SDE，探索路径可以由明确的计算机制产生，不能因为系统没有使用本书术语就忽略其发生组织能力。

同时，学习进展是怎样被定义的，仍然需要说明。对于固定任务，误差下降可能是清楚指标；对于问题单位本身改变的情形，旧指标可能失效。一个人从预测单个物体转向研究多个物体的关系，短期准确率可能下降，却开出新的理解方向。计算模型可以扩展表示和目标，但扩展必须实际实现，不能仅凭“可以调整奖励”就宣布已经解释全部意义发生。

SDE在这里提出的是尺度转换问题。D3的最小误差、最小冗余和最小亏损，不应被机械压成一个统一数值；它们在什么组织中被评价，会改变何谓进展。旧规范下的低误差可能支持运行，也可能遮蔽不相容；一次新入口有时恰恰要求重新规定什么应被预测。模型需要辨认优化如何服务于意义方向，又如何可能因方向改变而被重组。

这并不意味着量化注定失败。相反，可以为特定事件定义可检验指标，并观察指标改变的条件。例如，先记录原有分类准确率，再记录新增比较单位后的解释覆盖及操作可行性。关键是区分同一指标上的改善与评价空间的改变，不把后者伪装成前者的自然延伸。研究者必须公开何时更换指标，防止在失败之后换尺子使任何结果都显得进步。

还有一个实践问题：易于获得的进展可能吸引系统不断练习已有优势，回避回报缓慢但重要的方向。对人也一样，持续的小成功未必等于最适切的长期学习。如何安排探索与深耕、短期改进与长期改变，需要纳入成本、目标及发生史。任何单一奖励量都应被视为明确假设，而非无需解释的最终价值。

三人工好奇算法

Pathak等人的内在好奇模块以行动后果在学习到的特征空间中的预测误差作为内在奖励，并通过逆向动力学学习表示，在稀疏或没有外在奖励的游戏环境中研究探索与泛化。[16]其贡献是给出了可执行、可比较的探索机制。它不是仅在输出中写“我很好奇”，而是让内在信号实际改变行动选择与学习过程。这一点应当得到充分承认。

但工程命名不能自动解决哲学归类。一个名为好奇的模块，可以精确实现某种探索目标，却未必满足本书关于意义入口的全部定义。反过来，也不能因为它是算法，就提前宣布它不可能构成任何好奇发生。合理做法是固定层级：在算法层比较目标与表现，在任务层比较问题组织，在复合体层研究它怎样与人、材料和反馈共同形成新的通路。

例如，把一个探索系统放入教学模拟，它不断发现新的可达状态。对于工程任务，这可能是成功探索；对于正在使用它的学生，则可能没有产生任何新方向。另一种情况是系统发现的异常使学生改变了原问题，并设计现实验证，此时人—系统复合体可能出现前发生。两个判断针对不同承担单位，不能用其中一个取消另一个，更不能把系统的全部贡献归给人的天然好奇。

预测驱动探索还存在已知的困难。在随机性很强的设置中，持续不可预测可能吸引探索而不带来相应学习。Burda等人的大规模研究讨论了预测奖励在随机环境中的限制。[17]这里的教训不只是算法需要更好参数，而是代理目标与想要的结果可能分离。人类同样可能被不断变化的信息流吸引，因此不能把这一困难简单当作机器与人的本质分界。

SDE可以把这种分离分析为优化指标、显露模态与可行路径之间的不相称，但这仍只是一个解释候选。若使用已有强化学习语言就足以准确说明失效，本书应承认它已具备机制解释。新增贡献应体现在跨层级衔接，例如说明这种探索如何改变人的比较单位、参与位置和后续验证，而不是给算法现象换上九宫标签。

对于AI能否主动提出问题，同样不能采取回避态度。系统可以产生候选问题、比较矛盾、调用工具并据反馈改变任务；这些能力直接影响发生条件。人的竞争价值不能建立在“机器只会回答”这个未经保证的前提上。更可靠的研究是比较不同复合安排如何产生可进入的问题，哪些成果能够核验，以及新的发生史由谁保存和迁移。

机器是否具有与人相同的主观体验，是另一个需要独立证据和概念工作的议题。不能仅凭算法探索成功就宣布已经证明，也不能用尚未解决的体验问题否认一切功能贡献。本书先聚焦可观察的复合发生：哪些关系改变了，哪些行动由此可能，哪些判断仍需要人或其他系统承担。保持问题分层，有助于把争论从身份宣判转向实际研究。

四信息价值压缩进展与理性好奇

本章前两节处理了奖励、记忆和学习进展，这一节把几种把好奇当作信息价值来计算的理论放在一起。Kidd与Hayden[26]的综述评述了研究好奇的多种框架，把好奇放在信息寻求这一大题目下讨论，其中综述了一个常被引用的观点：人在对某事有中等程度的了解、或面对中等程度的不确定时最为好奇，太熟悉或完全陌生时好奇都较低，呈倒U形；他们也讨论好奇的功能可能在于促进学习。Gottlieb与Oudeyer[27]从主动采样出发，把好奇理解为主体主动选择去看什么、试什么，并以学习进展作为内在奖励，也就是选择那些自己正在学会的东西。Schmidhuber[28]给出更形式化的说法：内在奖励等于压缩进展，当一组数据在主体的模型下变得更可压缩，也就是规律被抓住的那一刻，乐趣随之出现。

这几种理论与本书的重合是具体的。本章第二节已经承认学习进展比“对未知的渴望”更精确；第九章把D3写成最小误差、最小冗余与最小亏损，压缩进展可以看作最小冗余的一种动态表达。倒U形的观点也与本书第十五章相合：张力过弱不足以牵动，过强又会压倒可行路径。

但倒U形和压缩进展都有一个默认的参照：“中等”是相对于什么而言的中等，“更可压缩”是在哪一个模型下更可压缩。本书的回答是，参照是一条意义通路。同一个人对同一件事，换一条通路去看，了解程度就不同。一位熟练的家庭厨师对“炖肉为什么会柴”了解得很多，按厨房经验处在倒U的右侧，好奇不高；一旦他转去从肌肉纤维与温度的关系来理解，同一件事又回到了中等了解的区间。压缩进展也一样：按“火候与时间”这套模型，他已经压缩得很好；改用蛋白质变性的模型，数据又一下子变得难以压缩，短期压缩进展是负的。若只在旧模型上计算，这次转向看起来是退步；在新模型上计算，它才是进展的开始。本章第二节说过，学习进展在问题单位改变时可能失效，这里是同一问题的形式化版本。

Dubey与Griffiths[29]走得更远。他们对好奇作理性分析：好奇应当指向那些将来有用的信息，而“有用”取决于环境的结构。在一个新事物不断出现、旧事物很少重现的环境里，偏向新奇是合理的；在旧事物会反复出现的环境里，偏向已经部分熟悉、较为复杂的东西更合理。这一分析把新奇偏好和复杂偏好放进同一个框架，并说明了好奇何时值得、何时不值得。

这与本书第二十七章第三节“适切发生与适切不发生”在功能上相近。那一节说，发生力不是越多转向越好，好的发生力要能辨认何时开启、何时维持；Dubey与Griffiths说，好奇应当按信息的未来用处来分配，不是越多越好。两处都拒绝“好奇总是好的”这一默认。若只看这一结论，本书没有增量。

切口在于环境统计是否固定。理性分析在给定的环境统计下计算何时值得好奇：先有一个世界，其中哪些东西会重现、重现的频率如何是给定的，然后求出最优的好奇分配。本书追问的是另一件事：那条决定“什么将来有用”的意义通路是怎样形成的；并且允许通路本身因为一次好奇而改变，通路一变，什么会重现、什么有用也随之改变。可以说，环境统计不是好奇的前提，而是会被好奇改写的东西。

日常例子是通勤。小陈每天坐地铁上班，两年下来，换乘站台、几号车厢离出口最近、哪个时段最挤，他都清楚。按理性分析，这些信息会反复用到，值得留意；沿途的街区他从不过问，因为在他的通勤里，地面上的东西不会重现。某周地铁检修，他改骑共享单车，第一次看到两站之间有一条小巷、一个早市、一家修车铺。他开始好奇这条路线还能怎样走，周末又骑了一次，试了另外两条路。一个月后，他把通勤换成了骑车。此时，街区信息从“永远不会再用到”变成了“每天都要用”。按理性分析，这次好奇在检修那一周的统计下并不值得，因为地铁很快恢复；它之所以后来变得有用，是因为好奇本身改写了小陈所在的环境。

理性分析可以回应：把检修作为环境变化输入模型，重新计算即可。这一回应在技术上可行，但它把通路的改变当作外部输入；本书要解释的正是这个输入怎样从一次好奇中发生。检修是外部给定的，地铁恢复后小陈完全可以回到原样；他没有回去，是因为那一周的好奇让骑车这条路显露为可运行的通路。若只把检修当作环境变化，不引入个体先验与通路的变化，理性分析就难以事前预测：同一次检修中，为什么多数乘客地铁一恢复就回去了，小陈没有回去。两种人面对的环境统计相同，差别在于有没有一次好奇改写了通路。

这也说明本书第二十七章的“适切”与理性分析的“最优”是两种不同的判断。理性分析的最优是相对于给定环境而言的，可以事先计算；本书的适切包含一层不能事先计算的东西：一次看起来不值得的好奇，可能正是使环境改变的那一次。所以本书在那一节没有给出适切的公式，而是要求记录暂停、取消和压抑的理由，留待后续事件检验。这一做法在理性分析看来不够精确，在本书看来是承认通路可变的必然代价。

对Kidd与Hayden的倒U形，本书也有一条具体的对应。倒U形说，中等了解时好奇最高；本书补充说，中等了解要相对于一条通路来判定，而一次好奇会改变通路，从而把一个人在倒U上的位置整体移动。这两种说法可以在同一组材料上分开：若倒U的峰值位置在一次通路改变事件前后保持不变，只是对象换了，倒U形的解释足够；若事件之后同一对象的峰值位置发生了系统移动，就需要把通路的改变写进解释。

由此写出一条区分性预测。在一段较长的日常记录中，先用某次改变发生之前的接触统计，按理性分析估计一个人对各类信息应有的好奇分配；再找出其中发生通路改变的事件，如小陈从地铁换到骑车。理性分析预测，事件之后的好奇分配仍可由事件之前的统计较好地预测，或者只需加入外部环境变化即可修正；本书预测，事件之后好奇会系统地转向此前接触频率很低的一类信息，这一转向用事件之前的统计预测不出来，而用“事件之后进入了哪条通路”这一编码可以预测。若事件之前的统计加上可观察的外部变化，已经能与通路编码同样好地预测事件之后的好奇分配，本书在这一点上并无增量，第二十七章第三节应当改写为理性分析在日常情境中的一个应用。

五三界意义与模型边界

完整的SDE事件要求我们把显露、差异运行和特征纠缠共同纳入，考察理念、现实、自我之间的承接。这里的完整并不意味着每项研究都必须测量所有维度，而是要求局部模型清楚说明自己的范围。记忆实验解释某种学习收益，计算模型解释某种行动分配，事件研究解释入口形成，各自可以有效。理论整合应展示它们如何连接，而不是以一个最高层词语吞并全部结果。

对于人—AI复合体，理念界可以包括候选解释和比较标准，现实界包括操作、材料及反馈，自我界包括参与者如何理解并重新组织自己的位置。三界不能简单对应软件、硬件和用户：软件可以参与现实操作，身体行动可以改变理念，系统评价可以进入自我理解。若只做一个三栏对应表，就会再次把发生中的纠缠拆成先在部件。

一个有力的检验应当允许局部机制成功而整体入口不成立。例如，系统显著扩大探索覆盖，学生记住更多信息，却没有形成能够继续进入的方向。这不是工程或记忆研究的失败，但会限制“更多探索必然增加好奇发生力”的命题。相反，少量材料经过合适比较形成新方向，也不能因此否认规模探索的价值。不同结果必须在相同研究层级上评价。

下一步可以设计复合比较：保持AI基本回答能力接近，分别让其只提供答案、主动生成问题、组织可操作的检验，并保留过程记录。观察者在不知道最终成绩的条件下辨认前发生，再跟踪兴趣进入与迁移。还需要报告错误建议、时间消耗和被取消的方向。只有正反材料同时保留，才可能判断何种支持真正改变发生，而不只是增加文本与活动量。

还可以利用计算目标之间的差异形成更严格的对照。在相同的材料空间中，让一组系统优先选择预测误差较大的对象，另一组优先选择近期学习改善较多的对象，并把它们提出的材料交给具有相近知识的参与者。分别记录探索覆盖、误差变化和新问题形成。假如第二种安排提高学习效率，却减少进入新问题空间的机会，就说明效率改善与方向改变之间存在需要解释的取舍；假如两者同步提高，也仍需考察是否由材料难度差异造成。这个设计的价值在于给出可分离的结果，而不是让所有指标共同升高才算有意义。

模型边界还包括收益归属。算法能够形成新的探索路径，不等于使用者能够迁移这种组织；使用者提出一个关键比较，也不等于平台没有贡献。应记录工具保留、工具替换和档案迁移后的表现，分别评价个人增长与组合优势。一个高度依赖平台的成功可以是真实成功，但其持续条件与控制权必须进入解释。

本书由此拒绝两种省事的结论：既不把好奇还原为某一个奖励信号，也不把计算研究排除在意义发生之外。前者忽略研究层次，后者忽略实际机制。SDE的责任是说明局部机制怎样参与入口形成，什么时候足以解释，什么时候还需要新的关系分析，以及自己的附加说明能否经受对照检验。

第五编到此完成的，不是对经典理论的淘汰，而是一组相互校验。刺激与冲突、有效缺口、情感倾向、兴趣发展、奖励和学习进展，都提供了不能被轻易绕过的解释资源。好奇发生学若要成立，必须在这些资源之上明确自己的增量：通路尚未运行时，未知怎样成为亏缺，进入条件怎样重组，后续能力怎样通过兴趣兑现。下一编将把这一要求带入AI时代竞争力的论证。