第三十九章 本书如何接受检验
一、先区分已经做了什么与准备研究什么
本书已经给出若干可以直接核对的数学论证，构造了技术与艺术案例，并实现了一个小型台账原型。原型的十九项单元测试已经实际运行。这些成果各有证据范围，但尚未构成对完整SDE判断机制效果的实证确认。
我们还没有开展多组人类参与者的比较实验，没有证明采用本框架必然提高研究创造力，也没有完成跨文明工具史的系统样本研究。把这些尚未发生的工作写成研究方案，能够为后续提供清楚起点；写成既有成果，则会直接违背本书的判断原则。
因此，本章不是用一个实验计划替本书补上虚构证据，而是明确不同主张怎样被支持或被限制。理论解释、数学模型、程序测试、使用效果和历史分析需要不同方法，不能互相借用成功。
最重要的要求是：检验必须允许改变本书。如果所有失败都能被解释为操作者还没真正理解SDE，那么研究将失去区分作用。需要事先说明哪些结果会要求缩小、修改或放弃具体主张。
二、把一个大命题拆成几个可研究问题
“判断力是复合能力”可以作为本体论与解释立场展开；“某种台账减少状态混淆”则是具体工程假设；“使用者形成封装以后能够开展新的研究”又涉及行为与学习变化。它们相互联系，却不能用同一项测试决定。
可以先选择几个范围明确的问题：明确保存条件和依赖，是否减少虚假完成；自适应粒度是否在维持必要核验的同时减少无效检查；价值发生诊断是否比一般问题分析更准确地定位修复；使用者侧封装是否与新的任务组织能力有关。
每个问题都需要定义比较对象、任务范围和结果指标。不能先看哪一项改善，再把它宣布为原来最重要的目标。研究应保留预先问题与事后发现的区别，两者都可以有价值，但证据身份不同。
这种拆分不会否认整体相互作用。相反，它使我们能够判断哪些连接实际产生作用，哪些只是理论上被提出。复合研究需要分析关系，而不是用整体性拒绝一切局部检验。
三、四种工作方式的比较
可以设置四种合理配置。第一种采用常规的人—AI工作方式，由有能力的参与者按熟悉方法检查；第二种增加固定层级分工；第三种采用一般自适应检查与同样的任务台账；第四种在第三种基础上加入明确的SDE价值评估与发生诊断。
这样设计，是为了区分几个可能来源。若第二种优于第一种，可能是分工与记录的作用；第三种优于第二种，可能与粒度调整有关；第四种若进一步改善，才有理由研究SDE具体诊断带来的增量。不能把全部提升归给最后出现的理论名称。
各组应尽量共享基础模型、检索材料、形式工具和总资源范围。若第四组获得更长分析时间或额外专家帮助，比较就需要把这些差异单独说明。公平不意味着各组步骤完全相同，而是让不同机制在相称条件下接受检验。
常规组也不应被故意设置成只看表面。应由熟悉任务的人采用合理方法，允许他们使用已有专业经验。新方法只有面对强而公允的近邻，结果才具有解释价值。
四、任务集应覆盖哪些不同困难
数学任务可以包括目标语义不一致、前提遗失、局部推理错误、依赖尚未证明、版本变化与正确但表达含糊的案例。任务不宜只使用本书已经反复讲解的例子，否则可能主要测量记忆与熟悉程度。
技术任务可以使用标识保持、数据合并、配置变化、证据版本与状态升级等构造问题。每个任务应有明确输入、预期不变量和可核对结果，避免研究者只凭整体印象评分。适当加入没有错误的案例，防止系统通过一律拒绝取得高分。
艺术任务则需要不同设计。可以提供具有特定结构问题的文本，同时允许合理的多种修复。事实错误与审美选择应分开记录，不能把所有读者偏好当成唯一标准。作品目标也应说明，而不是事后按最受欢迎版本重新定义。
任务集还需要改变表面形式与难度。相同机制在不同对象中出现，能够观察迁移；不同机制产生相似结果，能够观察诊断区分。大量重复同一模式，只能支持较窄的能力说明。
五、任务真值与任务完成要分开标注
一份证明可能逻辑有效，却证明了修改后的命题。若评价者只给“正确或错误”两个标签，就会混淆数学有效性与原任务完成。研究需要至少分别记录目标一致、证明支持与当前完成状态。
例如，原目标要求从A推出C，结果证明了A与B推出C。可以标注新条件命题的推导有效，但原任务未完成。这样，系统若指出目标变化，就应得到相应记录；不能因为它没有否定有效推导而被判为漏检。
反例任务同样如此。候选对象不满足原前提，不能否定原命题；指出某份证明有缺口，也不等于证明命题为假。任务标签应由独立的数学分析支持，并在正式比较前完成核对。
如果标注者之间存在分歧，应先处理或保留不确定范围，而不是把争议标签当作绝对真值。研究工具的判断力不能建立在未经检查的答案集上。评价标准本身也进入发生过程。
六、不能用全部拒绝制造完美安全成绩
假设一个系统拒绝接受所有候选，它可能没有误收任何错误结果，却也没有完成任何正确任务。只报告错误接受率，会让这种无用策略看起来优秀。因此，研究必须同时记录对有效成果的承接能力。
可以定义若干任务内指标。错误接受率是错误候选中被升级为完成的比例；正确承接率是有效且目标一致的候选中被恰当接受的比例；暂缓率记录仍需补充依据的情况。分母必须说明，不能把不同条件混在一起。
还可以记录修复后完成比例、同类错误再出现的频率，以及实际资源使用。它们不能简单加成一个未经解释的总分。某些任务对错误接受有更严格要求，另一些探索任务更重视保留有价值的开放结果，应按问题说明。
因此，比较需要呈现权衡。一个配置减少误收但大幅增加无意义拒绝，结论应当具体；另一个配置稍慢却显著减少重复返工，也可能有价值。判断机制的好坏需要结合完整任务，而不是赢得一个孤立指标。
七、时间与成本怎样记录才不误导
工具减少使用者阅读时间，可能增加后台验证、专家复核或维护成本。若只计算界面等待时间，就可能把负担转移误写成效率提升。复合能力研究应尽量记录与任务相关的总工作，而不只记录最显眼的一段。
可以分别保存人工主动工作时间、系统计算或等待时间、复核次数和重新打开范围。不同资源未必能直接折算为同一种价值，但分别呈现能够帮助解释。若必须形成成本模型，应明确假设和适用范围。
研究还应区分首次学习成本与熟练使用成本。新方法可能在训练阶段较慢，之后更稳定；也可能只在初期带来新鲜感。单次任务无法说明全部成熟过程，使用者侧封装需要一定时间跨度观察。
没有必要追踪每个无关动作。记录应服务于研究问题，并避免过度收集个人信息。关键是能够解释能力与负担怎样变化，而不是把参与者全部活动变成数据。
八、怎样研究使用者侧封装
技术侧表现可以通过任务与验证记录观察，使用者侧封装则需要同时研究预期、注意和行动单位的变化。不能只问“你信任系统吗”，也不能只统计阅读比例。一个人少读可能因为有依据，也可能因为疲倦或放弃。
可以记录何时逐句检查、何时查看整体、什么事件触发重新展开，以及使用者能否准确说出支持范围。再结合系统实际状态，区分适当封装与过早放心。主观经验和客观承接共同参与解释。
还应观察释放出的资源去了哪里。是否进入新的研究问题，是否只是增加同类产量，是否转为无关活动，都应如实记录。时间节省并不自动证明判断层级提升，新的任务单位需要自己的证据。
这些观察可以采用自愿的任务日志、过程回顾和行为记录组合，但不能据此声称直接读取了全部心理过程。记录本身会影响行为，研究设计也应考虑这种作用，并在结果中说明限制。
九、学习与迁移需要独立阶段
若参与者在同一批任务上接受训练再被测试，结果可以反映学习，但不充分说明迁移。应设置结构相近而表面不同的新任务，以及在必要时改变工具条件的阶段，观察哪些判断关系得到保留。
例如，训练时使用数学前提遗失，迁移时使用资料版本错接，能够研究是否识别共同的证据接口问题；但跨领域任务也增加背景知识差异，需要适当控制或记录。不能把缺少领域知识全部归因于判断方法。
无当前工具、使用原工具和更换工具三种条件可以分别观察。它们回答不同问题，不宜用其中一项替代全部学习结果。独立能力与复合能力都可以是真实成果，但应准确说明依赖条件。
迁移失败也应进入修订。如果学习者只会说SDE术语，不能处理新对象，课程可能把名称当成能力；若能定位问题却不会修复，则需要增加路径训练。研究的价值在于指向下一轮，而不只给方案一个总判决。
十、盲评能够帮助什么，也不能解决什么
对于最终证明或技术输出，可以尽量隐藏采用何种方法，让评审者依据统一任务标准判断。这有助于减少对理论名称和组别的偏好。但过程诊断往往包含方法特有语言，完全盲化未必可行。
可以把结果评价与过程分析分开。结果评审只看目标、输出与必要证据；过程研究则查看完整记录，分析问题怎样被发现和修复。两者承担不同义务，不能为了盲化删除研究所需的机制信息。
艺术任务还可能存在合理分歧。可以采用多个具有明确阅读任务的评审，记录理由与分歧，而不是用平均分消除所有解释。若评审一致性低，需要研究任务或标准是否不清楚，不能简单把差异归为噪声。
盲评也不能修复错误的答案标签、不同资源分配或选择性报告。它是一项具体工具，不是研究质量的总保证。研究本身同样需要分层判断。
十一、怎样区分框架效果与额外注意
采用新方法的组通常会得到更多说明、更明确记录和更多反思机会。即使结果改善，也可能来自额外注意，而不一定来自SDE特有的概念关系。需要设置能区分这些解释的比较。
例如，一般自适应组可以使用同样长度的任务分析、相同台账和相近检查预算，只是不采用SDE的价值映射与四截面诊断。若两组表现相似，就不能把台账与详细思考的作用全部归给SDE。
还可以做局部消融：保留完整流程但暂时去掉某项诊断提示，观察特定类型错误是否变化。消融需要谨慎，不能把方法删到无法正常使用再宣布某组件必不可少。每个版本都应具有可理解的合理工作方式。
若某些机制只能在组合中起作用，也可以研究不同组合。但组合结果仍需解释资源与任务差异。整体性不是拒绝拆分，而是帮助提出哪些关系值得被共同检验。
十二、样本量不能由期待的结论决定
研究开始前应根据目标效果、任务差异和可用资源规划样本，而不是看到支持性结果就停止，看到不支持就不断增加。具体数量需要结合预试与统计设计，本书不随意给出一个对所有领域都合适的参与人数。
同一参与者完成多个任务，结果之间可能相关；同一题目的不同改写，也未必是独立样本。分析时应保留这种结构，不能把所有记录都当作互不相关的独立试验，以制造过窄的不确定范围。
可以同时报告效应大小、变化范围和具体失败案例，而不只看是否达到某个显著性标签。对于小型先导研究，结论应限定为可行性与机制线索；扩大范围需要新的数据，而不是把先导结果写成普遍规律。
这些要求并非为了使研究永远无法完成，而是让完成的研究具有清楚身份。有限而准确的结果能够进入下一轮封装，夸大的结论则会使后来者错误使用。
十三、核心命题本身的证伪条件
第三十八章说，“判断力是复合能力”在本书中是分析起点，不是一张能够替所有具体系统颁发合格证的证明。这句话保护核心命题不被一项小实验推翻，同时也把它放在了检验闸门之外。这里把它收回到闸门之内：核心命题也必须有反面条件。
反面条件是：复合解释必须事先登记交互的方向与位置——哪类结构变化、对哪类使用者、在哪个阶段出现偏离可加预测的差异；若在某类任务中，登记的交互方向与位置没有出现，或者出现的只是登记之外的交互，那么在该类任务里，本书收回“复合发生”的解释，退回“人使用工具”的普通说法。这里不用“交互可忽略”作撤回条件。在技能任务中，能力与处理方式之间的交互普遍存在 [R39]，以“交互可忽略”为条件，撤回几乎永远不会被触发，核心命题等于仍在闸门之外。
先说“可加”指什么。设连接后的任务表现为Y，人的表现为H（同一使用者在切断工具侧反馈的条件下测得，见下文），工具的独立表现为T（工具单独运行，或由标准化操作者使用时测得）。可加模型认为Y约等于a＋bH＋cT。复合发生在统计上留下的最小痕迹，是Y还依赖H与T的乘积，或依赖某种既不属于H也不属于T的连接变量，例如反馈方式。第三十八章已经说过，交互项显著只是线索，不等于发生已被证明。这里补上另一半：登记的交互没有按登记的方向与位置出现，就足以在该类任务中撤回复合解释；一般意义上的交互存在，不足以挽留它。正面结果只算线索，负面结果可以撤回，这一不对称是有意的。
以切冬瓜为例，可以这样落实。若H用一把“标准参照刀”来测，H本身已经含有工具，测出来的交互只是普通的“人×情境”交互，不能把复合发生与平凡的搭配差异分开。所以H改为：同一位使用者用同一把待测刀，但切断工具侧反馈——例如戴厚手套、在刀柄上加减振套，使刃口阻力与惯性的手感传不到手上。T由一位标准化操作者在固定动作程序下使用待测刀测得；Y则是这位使用者用这把刀、反馈通道畅通时的表现。平凡的交互，例如力气大的人用重刀更顺，在反馈切断与畅通两种条件下都会出现；复合发生预测的交互，只在反馈通道畅通时出现。因此关键比较是“使用者×刀的结构×反馈通道”三者的交互：事先登记哪类刀的结构变化（例如换薄刃），对哪类使用者（例如熟练者），在哪个阶段（例如破皮的一瞬间），在反馈畅通时出现偏离可加预测的差异。若对许多使用者与许多把刀的组合，Y都能由H与T的加权和预测得很好，或者偏离只出现在登记之外的位置，那么切冬瓜就是一项可加任务，人和刀各自贡献一份，不必说复合发生。
再说“新的可预测差异”指什么。复合解释若有内容，就应当预测可加模型预测不了的东西。第一章“把刀写实”一节给出了样子：换刀以后停顿出现在哪里、哪一类误差变大。若复合解释只能事后描述可加模型已经预测到的东西，它在该任务中就是多余的。
然后是事先登记的数字口径。下面不是本书已经取得的数据，而是任何检验开始前应当写定的内容。
第一，交互效应的最小关注量。事先规定一个最小关注效应：交互项在可加模型基础上新增的解释方差比例，或其标准化效应，低于事先给定的阈值，即视为可忽略。阈值依领域而定，但必须在看数据之前写定，并说明理由，例如该领域中一个有实际意义的表现差异有多大。不能等结果出来以后，再把阈值调到恰好让交互项“有意义”。为了让这一要求不停在原则上，可以给出一个登记格式的示例：“主要指标为任务错误数；可加模型为错误数对H与T的线性回归；交互项新增解释方差低于某一事先写定的百分比，且其置信区间整体落在该值以下，即视为可忽略。”其中的百分比要由该领域的研究者事先填写。本书不替所有领域给出一个统一数字，但要求这个数字在数据出现之前就已经存在。
第二，样本量估算的原则。样本量应当按“能以较高把握检测到最小关注效应”来估算，而不是按“足以出现显著结果”来估算。交互效应通常小于主效应，检测它所需的样本往往远多于检测主效应。要支持“可忽略”，应当采用等效检验的思路：事先划定可忽略区间，检验效应是否落在区间之内，而不能用“不显著”代替“可忽略”——不显著可能只是样本太小。若资源不足以对最小关注效应获得足够把握，就应事先声明这项研究只是先导：其负面结果不能用来撤回复合解释，正面结果也不能用来支持它。本章第十二节已经指出，同一参与者完成的多项任务不是独立样本，估算时应当计入这种结构。
第三，“可识别增量”的操作定义。本章“哪些结果会要求修改本书”一节写道：若完整SDE配置在相同资源下没有比一般自适应配置提供可识别增量，本书应当缩小关于方法独特效果的主张。这里把“可识别增量”写成操作定义：在事先登记的主要指标上（例如错误接受率，同时报告正确承接率，以防用全部拒绝制造成绩），完整SDE配置与一般自适应配置之差，其置信区间下界高于事先写定的最小关注差值；并且这一差异在第二批未参与方法调整的新任务上重复出现。若一项指标改善而其他事先登记的指标恶化，不算可识别增量；若改善只出现在用于改进流程的任务上、在新任务上消失，也不算。
第四，测量的事先登记。H与T怎样测，本身就会决定交互是否出现。若H在一种任务版本上测、Y在另一种版本上测，二者之差会被误读为交互；若T只能在某位使用者手里测得，H与T就不再分开。因此要事先写明：H、T、Y使用同一批任务、同一套评分规则；T的测量程序不依赖被测使用者；评分者不知道每条记录属于哪一种条件。测量尺度也要事先固定。在一种尺度上可加的结果，换一种尺度（例如从错误数换成错误率的对数）可能出现交互，反之亦然。若交互只在某一种事后选定的尺度上出现，就不算。
第五，复合解释自己的预测也要事先登记。若本书主张某项任务中存在复合发生，就应在数据出现之前写下：交互的方向是什么，哪类使用者与哪类工具的组合会偏离可加预测，偏离出现在哪些子任务上。事后才找到的交互，可以作为下一轮研究的问题，却不能作为这一轮对核心命题的支持。这一条与本章第二节“预先问题与事后发现”的区分一致，只是现在用到了核心命题本身。
这几条口径合在一起，使核心命题第一次有了可以输掉的方式。它可能在某类任务中输掉，却仍在另一类任务中成立；但每一次输赢，都有事先写定的规则可以核对，而不是等结果出来再决定怎样解释。
最后是范围。撤回按任务类别进行。在一类任务中可加模型已经足够，不意味着所有任务都如此。但若在本书自己选定的代表性任务——切割一类的操作任务、证明核验、文稿审校——中，事先登记的交互都没有按登记的方向与位置出现，核心命题就失去了最主要的支撑，应当整体降格为一种描述性语言。这一条写在这里，是为了防止以后用“还有别的任务”无限推迟裁决。
十四、哪些结果会要求修改本书
若完整SDE配置在相同资源下没有比一般自适应配置提供可识别增量，本书应当缩小关于方法独特效果的主张。它仍可能具有教学或组织语言价值，但不能继续宣称已经实证显示更强判断能力。
若四个发生截面的分类在同类案例中反复产生任意归属，且不能导向不同可检验修复，就需要提高操作定义或减少重复维度。不能将一切分歧解释为使用者层次不足。概念的可用性也要接受对象反馈。
若封装减少了检查，却导致关键错误更难被发现，或使使用者失去重新展开能力，就不能把这一变化称为成熟。需要改变触发规则、界面或学习安排。主体侧放心不是技术侧可靠性的替代证据。
若所谓新能力只表现为更多同类产出，没有形成新的任务组织或迁移，能力提升的描述也应缩小。效率可以有价值，但不必借用升维这个更强称号。区分实际成果，能够保护理论免于自我膨胀。
十五、哪些负面结果不宜被过度解释
一项设计失败，不一定否定全部复合能力立场。具体提示不清、实现缺陷、任务过难或训练不足，都可能影响结果。区分机制没有作用与实施没有建立机制是允许的，但前提是“实施成功”的操作检查标准已在研究开始前登记：哪些过程记录必须出现，达到什么程度才算机制已经建立。事先没有登记这些标准，或者登记了而检查显示已经达标，负面结果都按“机制未起作用”计，不能事后补认为实施问题。
可以通过过程记录检查预定活动是否实际发生。例如，是否真的保存了目标版本，是否有反馈进入修改，使用者是否取得必要说明。如果这些条件未满足，可以准确报告为实施问题，并重新设计；同时保留原失败结果，而不是删除。
若实施条件满足仍无改善，就更需要认真考虑理论或适用范围。研究不能不断提高“真正理解”的门槛，直到只有成功案例才算实施正确。接受可能失败，是方法进入科学比较的必要条件。
因此，负面结果的解释需要同样的三方程与发生诊断：结果与过程是否匹配，路径是否合适，条件是否发生了预期改变。对自己和对其他理论，应采用相近标准。
十六、研究材料怎样支持后来者复查
在适当授权与保护条件下，可以保存任务版本、输入材料、方法说明、检查记录、代码与匿名化结果，使后来者理解研究怎样完成。共享不等于公开一切个人信息，应区分研究必要材料与无关隐私。
模型、工具与参数若发生变化，应记录实际配置与运行时间。对无法固定的外部服务，需要说明这一限制，而不假定后来者一定能得到完全相同输出。可复查可以包括验证分析逻辑与材料关系，不必把所有情形都承诺为字节级重复。
失败任务、排除规则与中途修订也应保留。只公开成功样例，会让可靠性发生史失真。研究者需要知道哪些结论原先更强、后来为何缩小，哪些机制曾经没有效果，这些信息能够减少重复试错。
本书写作包中的源稿、计数脚本和小型原型，属于这种开放结构的有限示范。它们支持复查实际文本与程序行为，不代表全部理论已经完成实证。材料透明与结论强度仍需分别判断。
十七、历史研究怎样检验封装发展史
文明层面的命题不能只依赖实验室任务。需要选择具体工具或实践，追踪结构变化、使用记录、检测方式、失败修订、传递渠道和新的能力单位。比较既包括成功封装，也应包括未被接受、被淘汰或造成新问题的安排。
研究应避免从今天的成熟形态倒推历史必然。某项设计被保留，可能涉及材料、制度、习惯和多方选择，不一定只因技术最优。发生学要让这些纠缠进入解释，而不是把复杂历史压成单一进步曲线。
使用者侧封装也需要适当证据，例如操作手册变化、培训内容、任务分工和实际使用叙述。仅凭工具结构改变，不能直接推断所有使用者心中发生相同变化。两侧之间的连接需要具体材料支持。
这种历史研究能够检验本书概念是否帮助发现新关系，也可能要求修改概念。若某类工具的判断承接主要通过实践而非物件保存，就应调整封装描述；若某些历史阶段出现能力断裂，也不应被强行写成连续增长。
十八、研究的价值不只在于证明方法有效
一项比较即使没有显示SDE配置优于其他方法，也可能澄清哪些机制真正有作用。台账减少某类错误，界面解释改善重开能力，或者更多分析并未帮助简单任务，都是值得保存的结果。
这种知识能够反过来优化方法。删除无效步骤，保留有用区分，明确适用边界，比维护完整仪式更符合价值发生原则。方法不必所有部分同时获胜，才能继续发展。
同样，发现某个领域不适合当前模型，可以促成新的理论问题。艺术价值的多元解释，可能要求不同于数学接受门槛的结构；教育中的长期能力，可能不能由短期任务表现充分代表。边界不是研究终点，而是新的发生入口。
因此，本书提出的检验不是最后一道包装，而是理论持续成长的组成部分。评估、反馈、修正、迭代首先应当发生在方法自身，才能成为可信的实践建议。
十九、从自我确认转向可持续研究
本章把判断力发生学的若干主张转为具体研究问题，提出合理比较、状态区分、过程记录和修订条件。它没有提前写出期待中的成功数据，也没有把十九项程序测试当作完整理论的证明。
这使全书获得一种明确位置：它是一部提出母题、展开机制、给出基础论证与研究工具的导论，邀请在真实任务中继续检验。导论的完整性不等于所有问题已经结束，而在于读者能够知道如何继续，并知道什么结果会改变当前理解。
下一章将回到文明尺度。历史判断通过封装进入后来者的行动，但这种积累需要维护、传递、参与和重新打开的条件。判断力的公共发生，不能只用个人能力测量或单一产品性能说明。
研究方案的严密性不等于结果已经取得，原型测试通过也不等于完整理论获得确认。本章保留这些不同状态，是为了使后来者知道哪些成果可以使用，哪些问题仍须进入试验。能够保存负面结果、修订诊断和限制主张的共同体，才可能继续积累判断。由此，评价一套方法的尺度，也将延伸到它怎样进入文明的传递与维护。