← 专著首页目录📄 在线 PDF⬇ 下载德麦国际专著第 78 号

前 言

一句让人安心的话

在照护研究里待过几年之后,我对"一直没出事"这句话有一种职业性的警惕。家属说这句话,通常是想说明现在的安排还能维持;机构说这句话,通常是想说明流程没有问题。可是在很多次真正出事的复盘里,事前那段"没出事"的时间并不是安全的证明,而是一段没有人去看的时间。没有人去看,不是因为疏忽,恰恰是因为一切看起来都很正常。

后来我把注意力转到生成式人工智能,本以为是换了一个完全不同的题目,结果撞上了同一个结构,而且更清楚、更快、更普遍。

三个把我推到这里的场景

第一个场景在一间教研室。一位老师说,这学期学生交上来的作业质量整体上了一个台阶,可她越看越不安,因为她说不出学生到底会了什么。她试着把作业改难,结果交上来的东西更漂亮了。她想问的其实不是"学生有没有用人工智能",而是"我还能不能从我手上这份东西里,看出他会不会"。

第二个场景在一次事故复盘的旁听席上。一个团队用了两年的自动化流程出了问题,追责会开得很顺利:流程写得清楚,签字的人找得到,处分也落实了。散会之后我问一位工程师,下次还会不会发生同样的事。他说很可能会,因为被处分的那个人根本没有权限改任何一处设置。这句话让我意识到,责任被找到了,改错却没有发生。

第三个场景来自航空与核电的文献。这两个行业几十年前就遇到过同一件事:自动化越可靠,人越少接触真实的故障,于是"人在需要时能接管"这个假设越来越难被验证——不是因为人变差了,而是因为不再有场合去看。核电给出的解法是监督试验:既然备用系统平时不运行,那就周期性地强制运行一次,专门为了产生证据。

三个场景表面上毫无关系。把它们并排放了很久之后,我才看清楚它们是同一件事的三个位置:用来判断某样东西还在不在的那个信号,已经不再指示它了;而信号失效的方式,是它变得更好看了。

九个问题,同一句话

这本书由九项独立的研究和两章新写的合论组成。九项研究原本各自成篇,动用的学科几乎没有重叠——认知神经科学与核设施运行维修、解释学与审计学、生态心理学与统计学习理论之间,本来没有对话的必要。它们各自要回答的问题也不同:能力归谁、能力怎么维持、帮助要不要撤、绩效为什么骗人、判断属于谁、理解算不算数、责任落在哪里、验证做到什么程度算够、群体为什么会一起错。

写到第五、第六篇的时候,我发现这些结论正在说同一件事。九个领域各自的良好信号——结果质量、零事故、上升的绩效曲线、末端签字、能迁移、有明确责任人、检查覆盖率、多数同意——在人工智能持续代行之后,全都失去了它们原本具有的分辨力。而且失效的方式是同一种:它们不是变差了,是变得更好看了。

于是这九篇不再是九个题目,而是同一句判断在九个位置上的换位。把它们放进一本书,理由不是它们都谈人工智能——共同的题材只构成一个专辑,不构成一本书——而是它们共绕着同一条判断。这条判断写在导论第三节,也写在封面上:一直没出事,能证明什么。

为什么必须用互不相干的学科

有人问过我,既然九章的结论是同一条,为什么不用一门学科把它一次讲完,非要动用二十多个领域。

理由有两个。第一个是发现的次序:这条判断不是先想出来再去找例证的,它是在九个互不通气的领域里各自被逼出来之后,才被认出是同一条。如果我一开始就用一门学科去推,很可能只会得到那门学科内部早已有的说法——认知科学会给我"认知卸载",人因工程会给我"脱离回路",测量学会给我"效标污染"。这些说法都对,但它们各自只覆盖一块,而且各自的语言互相不通。

第二个理由更实际:一条判断如果在互不相干的领域里反复成立,它多半不是那些领域的性质,而是问题本身的形状。 核设施的监督试验、运动训练的最低维持剂量、航空的接管冷启动,这三样东西没有共同的理论来源,却在"备用能力不能由正常运行证明"这一点上完全同构。这种同构不是类比修辞,它意味着可以把一个领域里成熟的工程手段直接搬到另一个领域——本书第二章做的正是这件事。

代价是这本书读起来会不断换场景。我尽量在每一章开头说清楚这一章要动用哪三门学科、它们各自最擅长发现哪一类失败、以及它们共同默认了什么。

我最想让读者带走的一件事

如果这本书只能留下一句话,我希望是这句:不要用"最近怎么样"来回答"他还会不会",要用"我们上一次真正看见,是什么时候"。

这句话听起来像常识,但它取消了当代绝大多数评价制度的合法性依据——考试、绩效考核、签字审批、合规审计、多数表决,全都在用"最近怎么样"回答"他还会不会"。九章的工作,就是在九个领域里把这句常识变成可以执行、可以记录、可以被推翻的东西。

这本书不主张什么

写作过程中,我不断需要抵抗一种廉价的答案:既然人工智能让人看不清了,那就少用一点。

九章都拒绝了这个答案,而且是带着理由拒绝的。要求人周期性地完整手工重做,等于把能力维护变成新的低价值劳动,占用生产时间、制造抵触,甚至为了给人练手而放弃更安全更准确的工具。真正需要周期性收回的不是全部任务,而是那些能够暴露问题的关键回合。本书的判据因此被刻意设计成与"用了多少人工智能"正交:一个人可以借助人工智能形成更好的理解,也可以借助它把边界判断一并外包,两者要靠断口区分,不靠使用量区分。

也因此,本书不是一份禁令清单。它更像一份仪表校准手册——问题不在飞机飞得太快,而在仪表已经不指示它该指示的东西。

三处被数据改掉的主张

本书有四章带公开数据的压力测试,四次的结果都对作者不利,也都因此改写了原来的主张。我把它们写在前言里,不是为了显得谦虚,而是因为这本书要求别人接受一种昂贵的检查制度,那它至少得先证明自己被检查过。

第一处在第三章。我原本准备写的是"长期的人工智能帮助会首先让能力下降"。公开数据不支持这句话:带教学护栏的那一组,平均独立成绩与对照组几乎没有差别。于是主张被收窄成一句更弱但更要紧的话——人工智能可以在不损害平均成绩的情况下,降低当前表现作为能力信号的保真度。 这个收窄反而使全书的核心概念从"退化"变成了"可观测性"。

第二处在第一章。我原本设想的测试是"撤掉人工智能之后再考一次"。公开实验提醒我,转场本身会影响动机、控制感与无聊程度,所以撤援成绩里混着一大堆与能力无关的东西。判据因此从"闭卷重做"改成了"定向扰动":只破坏代理的一条关键可靠性,看主体能不能重新闭合回路。

第三处在第六章。我原本写下的是"人工智能代劳会削弱理解"。有几项研究直接反对这句话,其中设计良好的人工智能导师甚至在更短时间里产生了高于课堂主动学习的学习增益。于是这一章的判据被要求与"是否使用人工智能"正交——真正要测的不是用了多少,而是交互如何组织。

三处收窄有一个共同点:每一次退让都让判断变得更窄,也更硬。 这是我在这本书里学到的最有用的一件事。

关于代价的一点交代

书里几乎每一条建议都附了代价。不可预告的测试要付出组织摩擦与信任成本;扰动要从真实近失误中生成,就必须维持一份与考核彻底隔离的记录;要求异源工具会增加成本,而某些领域根本不存在真正的第二条路径;最重要的一条——断口读数不得用于个体奖惩——则意味着组织要为一项不能用于人事决定的测量付钱。

写下这些代价不是为了显得谨慎。一条不写代价的建议,读者无法判断自己能不能执行,最后多半会执行成一个形式。第十一章整章在讲这件事:这套方法一旦制度化,最省事的达标方式很可能恰好摧毁它要保护的东西。我把这一章放进正文而不是放进附录,因为我认为它是本书最可能应验的部分。

给四类读者的一句话

给教师:作业质量上升不再是好消息,也不是坏消息,它只是不再是消息。要重新得到消息,必须制造一个学生事先不知道的边界。

给管理者:在把这套方法接上考核之前,请先读第十一章那条不可让步的底线。做不到那条,本书的建议不该采纳——它会以看起来成功的方式失败,那比明显失败更糟。

给工程与安全人员:你们行业几十年前解决过这个问题的一半。第二章借的就是你们的监督试验逻辑,欠的那一半是:认知性的接管门比手工操作衰减得更快,而且不会报警。

给研究者:这本书最值钱的部分是它写明了自己怎样会错。第十章有三对最可能被合并的章节和三条撤回条款,推翻它们不需要新的理论,只需要一次设计得当的实验。

感谢与说明

这本书的九章曾以论文形式独立写成,收入本书时做了三类改动:统一为章、补入各章之间的判决性分界、删除与本书无关的方法自述。九章的核心判断、数据与结论未作改变。

本书的写作、检索与结构整理不同程度地使用了生成式系统。按本书自己的判据,这意味着本书的论证质量并不能自动证明作者拥有相应的理解与判断。我能做的处置写在导论第八节:把每章的承重命题、竞争解释与撤回条件写死在正文里,让读者可以绕过作者直接检验。这是一本关于"怎样才算还看得见"的书;它没有理由把自己藏起来。

孔凡鹤

二〇二六年八月

一个我没能回答的问题

写完之后,有一个问题一直留在桌上,我把它写在这里,作为这本书的一个开口。

本书要求组织周期性地制造中断,为的是产生关于人的证据。可是制造中断需要成本,而愿不愿意付这个成本,取决于决策者相信"人可能已经不行了"。问题在于,让人相信这件事的唯一材料,正是那些还没有被生产出来的证据。一个组织越是长期看不见,就越不觉得需要去看。

我没有办法从内部打破这个闭合。书里给出的所有对策都假设已经有人决定去看第一眼。第一眼从哪里来,本书答不上来。可以想到的几种外力——事故、监管、外部审计、行业标准、一次公开的失败——都不在本书的射程之内,而且前三种通常来得太晚。

之所以把这个问题留在前言而不是留在结尾,是因为它决定了这本书能不能被用起来。读者若从这本书里只取走一件可以马上做的事,我建议是那件最便宜的:在把人工智能的结论用于一次不可逆的行动之前,先写下一句"如果这是错的,最先出问题的会是什么",然后去看那一处。 它不需要任何制度支持,也不需要任何人同意。全书十八万字压缩到零成本,剩下的就是这一句。

© 德麦国际出版社 · 孔凡鹤《一直没出事》· ISBN 979-8-90690-011-1