← 专著首页目录📄 在线 PDF⬇ 下载德麦国际专著第 78 号

结 语:把第一眼交出去

十一章走到这里,可以把全书压成三句话。

第一句:一直没出事,不能区分两种状态。 它可以说明主运行通道在已经发生过的任务分布里没有暴露严重失败,不能说明人的备用路径是否仍可启动。这句话在航空、核电、组织治理与教育里同时成立,而生成式人工智能把它从少数高风险行业的专门问题,变成了几乎所有知识工作的日常处境。

第二句:失去的次序是反的。 能力、判断与责任不是先消失、然后被发现,而是先变得不可观测,然后才可能不存在。销毁证据的不是失败,是成功——没有人隐瞒什么,只是产生这类证据的场合不再出现了。而这个过程会自我强化:越看不见,越不知道值不值得去看;越不去看,越看不见。

第三句:唯一的观测位置是断口。 常态运行既然已经失去分辨力,读数就只能来自一次有意制造的中断。九章把这个中断做成了九种工程形式,第十章证明这九种形式只有三种量表,第十一章说明它们会怎样被应付掉。

这本书没有做成的事

本书没有提出任何提高人类能力的办法。它自始至终只处理"看得见"这一侧:诊断出问题不等于已经治疗,清偿证据债不等于提升能力。把本书当作训练方案来用,一定会失望。

本书也没有解决它自己指出的那个最深的困难。断口需要成本,付成本需要有人先相信"可能已经不行了",而让人相信这件事的材料,恰恰是还没有被生产出来的那些证据。这本书能给出全部的方法,唯独给不出第一眼。

第一眼只能由人交出来。它可能来自一次真实的事故,来自一份外部审计,来自监管的强制,也可能只来自某个人在某个晚上忽然想知道:这件事我们上一次真正看见,是什么时候。前三种通常来得太晚,第四种最便宜,也最不可靠——它依赖的是一种正在被系统性削弱的东西,也就是一个人对自己是否还看得见的不安。

一句可以马上做的话

如果这本书的全部制度建议都无法在你所处的位置上落地,还剩下一件不需要任何人同意的事:

在把人工智能的结论用于一次不可逆的行动之前,先写下一句"如果这是错的,最先出问题的会是什么",然后去看那一处。

这是全书十九万字压缩到零成本之后剩下的东西。它比什么都不做要好,也比一套被应付掉的制度要好。

最后一件

本书用十一章说明,一个只呈现良好读数、从不暴露自己在哪里会失败的系统,那份良好读数本身就应当被怀疑。这条要求首先适用于本书自己。因此全书写明了三条撤回条款、三对可能被合并的章节、四件本书没有回答的事,以及三处因公开数据不利而被迫收窄的主张。

如果若干年后回看,这套方法在多数组织里演化成了又一套季度合规动作,而人的接管能力与判断归属并未改善,那么这不会是执行的失败,而是本书第十章第三条撤回条款的兑现。届时值得研究的问题也已经变了:不是"怎样测出人还在不在",而是"为什么每一种用来揭露遮蔽的办法,最后都长成了新的遮蔽"

那个问题比这本书大。这本书只能把自己作为一个案例交给它。

© 德麦国际出版社 · 孔凡鹤《一直没出事》· ISBN 979-8-90690-011-1