"一直没出事"是人类最常用、也最省钱的安全论证。航空公司用它证明机队适航,核电站用它证明备用系统可用,医院用它证明流程稳妥,工厂用它证明操作规程有效,学校用它证明教学没有问题,企业用它证明治理结构健全。它之所以被普遍接受,是因为在很长一段时间里它确实有效:如果一个系统的关键环节已经失灵,事故通常会在一段时间内暴露出来;没有暴露,多半说明还没有失灵。
这个推理有一个从未被明说的前提:产生结果的过程与承担能力的主体,是同一个。 一份合格的报告出自一个会写报告的人,一次平稳的着陆出自一个会着陆的飞行员,一个正确的诊断出自一位会诊断的医生。正因为如此,看结果就能推知人;正因为如此,没出事就意味着人还行。
生成式人工智能抽掉了这个前提。当检索、分析、计算、写作、编程、比较、推理乃至判断建议都可以由外部系统持续承担时,一份合格的报告不再必然出自一个会写报告的人。结果的质量提高了,结果与人之间的那条推理链却断了。"一直没出事"于是变成一句同时与两种完全相反的状态相容的话:人仍然完全胜任,以及人早已不能接管——它不再能区分这两者。
本书要处理的就是这句话失效之后留下的空白。
关于人工智能与人的能力,公共讨论长期停在一个二元问题上:AI 究竟在增强人,还是在削弱人。两方各有相当扎实的证据。增强的一侧可以举出写作质量提高、编程效率提升、客户服务改善、学习效率增益;削弱的一侧可以举出认知卸载、独立表现下降、技能形成受损、批判性参与减少。争论持续多年而没有收敛,本身就是一个信号:这个问题可能问错了。
问错在哪里?在于它默认我们仍然能够测量"人的能力"这个量。可是在 AI 深度介入之后,我们观察到的每一个绩效数字,都是人的能力、AI 的能力、人机匹配程度与任务条件共同作用的结果。用这样一个混合量去争论其中某一个分量的升降,双方各自都能找到支持自己的数据,也各自都无法说服对方。争论不收敛,不是因为证据不足,而是因为用来做判决的那把尺子本身已经被污染。
因此本书把问题换掉。不问"人变强还是变弱",而问:
在 AI 持续代行的条件下,我们还能不能看见人的能力、判断与责任是否在位?如果不能,靠什么重新看见?
这是一次问题的置换,不是一个答案。它的好处是可判定:能力的升降或许难以直接测量,但"我们最近一次真正看见它是什么时候"是可以回答的;"这个信号还能不能指示那个东西"也是可以检验的。九章的全部工作,就是在九个不同的领域里把这个可判定的问题做到底。
九章从九个互不重叠的学科组合出发,得到同一条判断:
能力、判断与责任并不是先失去,而是先失去可观测性;正常运行的成功本身销毁了证明它们仍在的证据,因此它们只能在代理被有意打断的断面上被重新判定。
这条判断包含三层意思,每一层都与直觉相反。
第一层:失去的次序是反的。 通常认为退化先发生、然后被发现。本书主张顺序相反——先出现的是"看不见",然后才可能是"不存在"。第三章给出了一条经验读数:在公开的高中数学随机实验数据中,无 AI 对照组的练习表现与随后独立考试表现相关高达 0.756,而使用生成式 AI 的两组分别降到 0.435 与 0.486;关键在于其中带教学护栏的一组,平均独立成绩与对照组几乎没有差别——平均意义上没有任何学习损失,而"眼前做得好"作为"本人会不会"的信号,保真度已经明显下降。 可见性的下降可以先于、并且独立于能力的下降。
第二层:销毁证据的是成功,不是失败。 这不是隐瞒,不是舞弊,也不是指标造假。没有人删除任何信息,只是产生这类信息的场合不再出现了:AI 越可靠,真实故障越少;真实故障越少,人获得自然接管练习与自然暴露的机会越少;机会越少,关于人的证据越陈旧。第四章进一步指出,这个过程会自我强化——能力越不可观察,未来的能力损失越难进入当下决策,个体与组织越倾向继续外包。
第三层:唯一的观测位置是断口。 既然常态运行不再提供分辨力,那么关于能力、判断与责任的读数就只能来自一次有意制造的中断:一个被扰动的代理、一次被安排的接管、一段没有辅助的盲段、一个前提已被破坏的边界任务、一次独立于原生成路径的验证、一次先独立后汇聚的表决。九章分别把这个中断做成了九种可执行的工程形式。
如果它只是一个学术上的测量问题,不值得写一本书。它之所以重大,是因为当代社会有三套关键制度,全都建立在那个已经失效的前提上,而且都还没有更换。
第一套是教育评价。 作业、论文、考试、作品集之所以能证明学生学到了什么,靠的正是"产出出自本人"。当高质量产出可以随时被生成,这套评价体系测到的东西发生了性质变化,而学位、升学与职业资格仍然架在它上面。一个尤其危险的推论出现在第四章:只用最终产出评价能力的制度,不仅可能测错,还会主动加速能力的不可见——因为它奖励的正是外包。
第二套是人类监督的法律安排。 世界各地的人工智能治理规则普遍要求"人在回路"、保留人工审核、由自然人作最终决定。这些要求的正当性依赖于一个假设:形式上的最终确认位置,等同于实质上的判断与责任在位。第五章与第七章分别否定了这个假设的两半——最后动作在人不等于判断由人形成;有人签字不等于有人能改写下一轮。这意味着现行监管可能正在保护一个无法被验证的东西:条文可以要求"必须有人审核",却没有任何条款要求证明这个人还能审得动。
第三套是高后果领域的安全论证。 航空、核电、医疗、工业控制、金融风控普遍采用"自动化常驻、人工可接管"的安全结构。这个结构的可靠性完全依赖于接管能力在需要时可用,而在 AI 常态代行的新条件下,这一假设从未被系统验证过。第二章借用核设施的监督试验逻辑给出的判断是冷峻的:零事故既不能说明人已经退化,也不能说明人仍然可靠;它对备用通道缺乏分辨力。 一个只在真实故障发生时才第一次检验人工备用能力的系统,把训练、测试与正式任务压缩到了同一个时刻。
三套制度的共同处境可以概括为一句话:社会正在用一整套已经失去分辨力的仪表,驾驶一架越飞越快的飞机。 仪表读数持续良好,恰恰是最不该安心的理由。
一般的能力问题可以事后补救:发现不足,就训练。可观测性的问题有一个特殊的结构,使它难以事后补救。
要恢复关于某项能力的证据,必须先制造断口;而是否值得为某项能力付出制造断口的成本,取决于对该能力当前状况的判断;可是那个判断,恰恰就是已经不可得的东西。 于是形成一个闭合:越是看不见,越不知道值不值得去看;越不去看,越看不见。第四章把它写成一条自我强化的循环,第七章在责任结构上给出了同型的循环,第九章在群体层面给出了第三个。
这就是本书为什么主张现在就要做,而且主张从"最小、最便宜、最不打扰"的形式做起:不是因为危机已经到来,而是因为一旦这个闭合完成,重新打开它所需的代价会远高于现在维持它。
本书提供的不是一份禁令清单,也不是一套"减少使用 AI"的建议。九章反复拒绝了同一种廉价答案:回到手工。第二章拒绝把"完整脱 AI 重做"当默认方案,第三章指出真正需要渐退的不是 AI 而是未经验证的连续代行,第六章明确要求判据必须与"用了多少 AI"正交,第一章允许深度外包。本书提供的是三样东西。
第一样是一个可判定的问题形式。 把"人还行不行"换成"这个信号还能不能指示那个东西",把"要不要用 AI"换成"哪些节点上必须保留断口"。前者不可判定,后者可以逐条回答。
第二样是一套跨领域通用的测量结构。 九章的读数看似各不相同,实则只有三种形状:串联门型(若干二值判定,任何一门不过整条路径就不通,明令不许取平均)、相关折扣型(名义证据量按冗余度打折)、成本效率型(单位成本压缩多少结论相关风险)。三种形状对应三张量表、一套记录格式。这使教育、组织管理、法律与安全工程第一次可以用同一种语言讨论同一件事——它们面对的不是四个问题,是同一个问题的四个位置。
第三样是自己的失效条件。 第十章给出三条书级撤回条款:若日常绩效对断口读数具有稳定高预测力,全书工程建议应当撤回;若断口读数不能预测真实失效,本书只是一种昂贵的考试;若制度化之后最省事的达标方式恰好摧毁所保护之物,本书在实践上应当撤回。第十一章整章处理第三条,因为那是本书自认最可能发生的失败。一本不肯写明自己怎样会错的书,不值得被采纳。
第一编处理能力,四章按"判定—维护—计量—机制"排列:第一章给出能力归属只能在断面上判定的判据;第二章把它做成可长期执行的维护路径;第三章把维护的对象从能力换成证据,给出证据龄比这一读数;第四章解释绩效与可见性为何会反向变化并自我强化。
第二编处理判断与理解。第五章问一次具体决定是否由人形成,第六章问一个结构是否被连同它的失效条件一起持有——后者命名了一种在 AI 时代尤其危险的状态:越界熟练,表现出流畅解释与远迁移,却不能在模型失效处停止。
第三编处理责任与验证。第七章指出真正的责任缺口不是无人签字,而是无人能改写下一轮,并给出改写责任的三要素;它被放在能力诸章之后有一个具体理由——其余各章设计断口测试时默认了被测者拥有改向权限,而现实中大量岗位没有。 不先把制度不授权与个人无能力分开,本书的能力判定会系统性地把制度缺陷记到个人头上。第八章处理验证:在不重做整个任务的前提下,如何做到足以发现会改变结论的错误。
第四编从个体走向群体与自身。第九章说明为什么"大家都更聪明"不等于"群体更不容易犯大错",并给出有效独立判断数这一折扣。第十章是全书合论,给出九次换位表、三对最危险的近亲及其合并条件、九个读数的三种形状,以及三条撤回条款。第十一章处理反噬:一套用于揭露遮蔽的方法,为什么会长出新的遮蔽。
一,本书不知道断口应当多密。 能说明为什么需要中断,也能说明中断处读什么,但"多久一次"目前只能由后果等级与衰减速度粗略推导,没有经验依据。
二,本书的九个读数没有一个是分布量。 全部以事件或个人为单位取值。一个团队完全可能九项全部合格,而合格全部来自其中三个人。凡使用本书方法者,须同时报告参与率与事件集中度。
三,本书容易被误用来惩罚个人。 因此第十一章给出一条不可让步的底线:断口读数不进入个体的绩效、晋升与留用决定。保证不了这条底线的组织不应采纳本书方法——它会以看起来成功的方式失败,那比明显失败更糟。
四,本书自身的写作由生成式系统深度参与。 按本书自己的判据,这意味着本书的论证质量并不能自动证明作者拥有相应的理解。本书的处置是把每章的承重命题、竞争解释与撤回条件写死在正文里,使读者可以绕过作者直接检验,并在第十章列出三处"因不利数据而主动收窄主张"的记录,供读者判断这本书有没有在被指出之前自己撤回过。
这四件事写在导论里,而不是藏在末章,因为本书的核心主张正是:一个系统若长期只呈现良好读数而从不暴露自己在哪里会失败,那份良好读数本身就应当被怀疑。 这条要求首先适用于本书。