能回答:一个信号(成绩、绩效、签字、迁移表现、检查覆盖率、多数同意)在人工智能持续代行之后还能不能指示它原本指示的东西;如果不能,应当在哪里开断口、断口上读什么、读数是什么形状、什么结果会让这套判断失败。
不能回答:断口应当多密(无经验依据);一个团队里合格事件是否集中在少数人身上(九个读数全无分布量);人的能力应当如何提升——本书只管把缺口照出来,训练是另一回事。第三章说得直白:清偿证据债不等于提升能力,正如诊断出问题不等于已经治疗。
通读(十八万字):按编次顺序读。第一编建立判据与工程,第二、三编把同一条判断换到判断、理解、责任、验证四个对象上,第四编放大到群体并回头处理本书自身。
管理者与政策制定者(约三万字):导论 → 第七章(责任与权限)→ 第三章(证据龄比)→ 第十一章(怎样会被应付掉,以及那条不可让步的底线)→ 第十章第二节的换位表。这条路径专门回答"要不要在我这里推行、推行会怎样失败"。
教育工作者(约三万字):导论 → 第四章(为什么作业质量越高越不能当作能力提高)→ 第六章(越界熟练与边界破坏任务)→ 第三章(校准回路的五类任务)→ 第十一章。这条路径回答"考试改成什么样才算数"。
研究者与审稿人(约两万字):导论第三至六节 → 第十章全章(换位表、三对最危险的近亲及其合并条件、三型读数、三条撤回条款)→ 各章末尾的划界节。这条路径是为了最快地判断本书哪里可能是错的。
只有二十分钟:读导论第一、三、四节,再读第十章第二节那张表。全书的判断与索引都在那里。
每章都按同一顺序组织:摘要 → 三门学科各自的材料与冲突 → 三家共同默认而又被自己材料推翻的前提 → 提出的判据或机制 → 与近邻的划界(含与本书其余各章的分界)→ 可证伪条件。时间有限时,读摘要、判据与最后的可证伪条件三节即可;三门学科的材料部分是论证的来源,不是结论。
四章带有公开数据的压力测试:第一章(四项在线实验,总样本 3,562)、第二章(去训练与维持剂量数据)、第三章(825 名学生的二次分析)、第六章(四项公开实验的反向约束)。这四处都得到了对作者不利的结果,并且都因此收窄了主张。若只想知道这本书有没有被数据管住,读这四节。
| 读数 | 出处 | 形状 | 一句话 |
|---|---|---|---|
| 生差—裁差—改向—回写四环节 | 第一章 | 串联门 | 扰动之后闭环由谁重建 |
| 五门串联(发现·重建·裁决·干预·恢复) | 第二章 | 串联门 | 一门不过,整条接管路径不通 |
| 证据龄比 | 第三章 | 相关折扣 | 距上一次有效独立证据过去多久 |
| 绩效对能力的预测力 | 第四章 | 相关折扣 | 产出还能不能指示人 |
| 理由持有—失效识别—重新发起 | 第五章 | 串联门 | 这一次决定是否由人形成 |
| 首次边界修订由谁发起 | 第六章 | 串联门 | 主动撤回,还是被提示后撤回 |
| ECR 三要素 | 第七章 | 串联门 | 知道、能改、有权,是否同在一处 |
| 残余风险与 η=ΔR/c | 第八章 | 成本效率 | 未核错误还能不能翻转结论 |
| N_eff = n/[1+(n−1)ρ] | 第九章 | 相关折扣 | 几个人同意,等于几份独立证据 |
三种形状对应三张量表,一套记录格式。 不要为九章各造一套指标——这是本书给组织的最短建议。
断口:为获得读数而有意制造的一次中断,包括代理扰动、接管证明、盲段、撤援、边界破坏、判别性检验与先独立后汇聚。全书的核心动作。
可观测性:不是"能力有多强",而是"我们凭什么知道它现在有多强"。本书全部主张都落在这一侧,而不落在能力本身。
代理:承担认知任务的外部系统,主要指生成式人工智能,也包括其他自动化工具。
越界熟练(第六章):表现出流畅解释与远迁移,却不能在结构失效处停止的状态。
改写责任(第七章):在错误发生后有能力改变下一轮的责任,区别于事后被追究的责任。
本书希望被这样对待,因此把三条路径写在最前面。
第一条,最容易: 在若干个人工智能深度介入的真实场景中,同时收集日常绩效与断口读数。若日常绩效对断口读数具有稳定且足够高的预测力(例如跨场景相关持续高于 0.8),那么断口是多余的,本书的全部工程建议都应当撤回。
第二条,最重要: 检验断口读数能否预测真实失效。若事前读数良好的人与读数糟糕的人,在真实的人工智能失效事件中,异常发现速度、恢复时间与损失规模没有系统差别,本书就只是发明了一种昂贵而无效的考试。
第三条,最可能: 观察本书方法制度化之后的实际形态。若普遍出现的是为通过测试而准备的应试能力,而真实接管能力并未提高,那么本书即使理论上正确,实践上也应当被撤回。第十一章给出了五个可以从原始记录读出的预警信号,其中"扰动复用次数"与"证据刷新的时间分布"两项几乎零成本。
三条之外还有一条更快的:第十章列出了本书内部三对最可能被合并的章节及其合并条件。若其中任何一对被证明是同一件事,本书的章数应当减少——这不需要外部数据,只需要一次设计得当的实验。
一,不要把九章读成九种指标。 九个读数只有三种形状,对应三张量表。组织若为每一章各造一套指标,得到的将是十一份互不通气的表格,而不是一套记录格式。
二,"断口"不等于"关掉人工智能"。 全书没有一章主张回到手工。断口是一次有意的、局部的、可控的中断——扰动代理的一条可靠性、安排一段没有辅助的盲段、给出一个前提已被破坏的任务——目的是产生证据,不是恢复旧的工作方式。判断一个做法算不算断口,看它有没有产生一个常态运行下不存在的读数。
三,读到与自己领域无关的章节时不要跳过。 本书的论证强度恰恰来自互不相干的领域得到同一结论。若只读与自己相关的那两章,会得到一个孤立的判断;把互不相关的几章并排读,才会看出这不是某个领域的性质,而是问题本身的形状。