附录E 怎样检验发生型出版是否真的增加价值
一、先把研究问题缩到可以回答
本书提出一个范围较大的新典范，但一次试点不可能证明整个出版业已经发生革命。更适合检验的问题是：在明确的任务与材料条件下，增加 SDE Skill、任务控制和回写治理，是否比适当的对照方式改善了某些知识工作。
这种缩小不是降低理论抱负，而是使主张获得可以被现实检验的入口。若连具体任务中的差异都无法说明，就不应直接宣布文明层面的优越性。
试点可以选择一种作品类型和少量代表性任务，例如方法论文的阅读、适用条件检查与应用方案整理。首先明确哪些收益是目标，哪些不在本次研究范围内。
本附录提出研究设计，不报告任何已经取得的结果。样本、周期、资源和评价细节需要由实际研究者根据条件确定，不应从本书直接复制为未经审查的正式实验。
二、不要把比较对象故意设置得很弱
可以设置几种具有实际意义的比较：稳定文本与检索支持、通用模型结合相同来源的问答、具有明确任务规则的普通 Skill，以及加入 SDE 组织与回写机制的方案。并非每项研究都需要全部条件，但选择应当有理由。
关键资源应当尽可能相当。若只有 SDE 系统得到完整材料和较强模型，而其他系统只有摘要，就无法把差异归因于 SDE；若只有一个系统有人工编辑支持，也需要把这部分劳动纳入解释。
对照系统应当代表实际可用的合理方案，而不是故意制造的低水平版本。一个新框架若只能战胜被削弱的对手，不能说明它值得增加成本。
同时，可以单独研究组件贡献。去掉回写机制以后，哪些积累能力变化？去掉条件分析以后，哪些误用增加？保持来源不变而改变任务规则，是否出现可解释的差异？这样的消融比单纯比较两个品牌名称更有信息。
三、区分短期任务收益与长期知识收益
阅读理解可以在一次任务中观察，知识回写的价值往往需要更长过程。把两者混在一个短期测评中，容易错过真正差异，也容易夸大即时表现。
短期任务可以检查来源定位、概念区分、条件识别、方案质量和错误停止。长期任务则需要看反馈是否形成可用记录、修订是否能够被重建、后续使用是否避免重复错误，以及维护成本怎样变化。
个人能力增长又是另一层问题。用户借助系统完成一项任务，不等于他离开系统后形成相同能力。若研究目标包含独立判断或迁移，应当设置相应任务，而不是用当时的产物质量直接代表。
因此，研究报告需要明确自己观察的是系统支持下的表现、个人理解变化、应用结果还是公共知识贡献。不同结果可以同时出现，但不能在结论中互相替代。
四、任务集要包含容易失败的地方
只使用系统擅长回答的典型问题，容易得到过于乐观的结果。任务集应当包含正常任务、边界条件、材料不足、相互冲突的来源、工具失败与可能的权限问题。
还需要包含足够简单的任务。某个复杂框架如果在普通阅读问题上增加过多成本，也是一种真实代价。不能只测试最需要复杂组织的场景，然后把结论推广到全部出版物。
任务来源应当有清楚说明。可以由专家构造，也可以从经过许可的真实需求中整理，但应当避免测试材料直接泄露到用于优化的规则中。若系统已经针对某些案例反复修改，就不能把它们当作完全独立的新任务。
知识类型也要匹配。数学、经验研究、哲学论证与文学解释需要不同评审方式。跨类型比较时，应当分别报告，而不是用一个分数掩盖不同任务的性质。
五、评价维度应当对应实际主张
若主张 SDE 能改善来源忠实性，就检查回答是否受到来源支持，是否保留限制，是否虚构作者观点。若主张能改善应用，就检查是否辨认任务目标与条件，而不只是方案写得完整。
若主张能支持知识再发生，则需要看系统是否提出有实质内容的候选变化，是否说明它相对于什么是新的，是否给出可检验路径，以及是否保留未确认状态。不能用新句子数量代表新知识。
回写质量可以关注关系是否完整：变化针对什么主张，依据是什么，谁确认，旧版本怎样保留，后续使用能否找到当前状态。记录越多不一定越好，关键是能否支持重建与纠错。
评价还应包含可用性与成本。系统是否提出不必要的澄清，是否生成过长答案，是否需要过多人工维护，是否让用户难以理解结果身份，都可能影响实际价值。
六、评审者也需要知道自己在判断什么
专家评审可以提高内容判断质量，但专家之间可能对术语、目标或评价尺度存在差异。研究应当先说明每个维度的含义，并提供少量不属于正式测试的校准材料。
在可能的情况下，可以隐藏系统名称与宣传信息，减少品牌或理论标签影响。评审者应当看到足够的来源与任务条件，但不必知道哪一个输出来自被研究者更期待成功的方案。
评审分歧本身也值得记录。若对某项任务是否完成存在长期分歧，可能说明评价对象不够清楚，而不只是评审者不一致。研究者需要区分评分误差与任务定义问题。
不能把专家意见包装成无需说明的权威。报告应当尽量呈现判断理由与典型案例，使后来者能够理解为什么某项表现被认为更好或更差。
七、不要用一个总分过早结束研究
一个系统可能来源更忠实，却运行成本较高；另一个系统方案更简洁，却对边界不够敏感。若立即合成一个总分，重要权衡可能被隐藏。
本书建议先分维度报告，再根据具体使用目标讨论取舍。不同项目可以对成本、可靠性、速度和可追溯性给予不同重视，但权重应当明确，而不是由最后想要的结论倒推。
即使使用综合指标，也需要保留原始维度与计算方式，并解释其适用范围。一个适合内部读书会的选择，不一定适合具有更高后果的专业应用。
研究的目的不是一定排出一个普遍赢家，而是知道哪种组织在什么条件下值得使用。发生学所强调的条件性，也应当进入对发生学自身的评价。
八、错误类型比错误数量更能指导改进
两个系统犯了同样数量的错误，后果可能不同。一个系统偶尔遗漏次要背景，另一个系统把候选建议写成已验证结论，不能只按次数认为相同。
可以把错误分为来源误读、条件遗漏、知识身份混淆、执行虚报、权限越界、错误归因、无效回写和过度拒绝等类型。分类不必无限细致，但应当与实际修复方式有关。
错误分析还要追踪发生层。原文自身不清楚、Skill 抽取越界、模型未遵守规则、工具输出异常、界面标签错误，分别需要不同处理。把所有问题都称为幻觉，会损失重要信息。
报告可以选择代表性失败进行完整重建，同时说明选择方法，避免只展示对某个系统有利的例子。失败公开不是为了否定原型，而是使改进具有可靠方向。
九、知识再发生需要额外的确认步骤
假设系统提出一个原论文没有的新限定条件。研究不能仅凭评审者觉得有启发，就宣布产生了新知识。首先需要检查它是否忠实回应实际差异，是否只是换词，是否已有明确近邻。
随后根据知识类型进行验证。概念命题可以检查论证与反例，方法建议可以在适当任务中试行，经验假说则需要相应研究设计。不同路径需要不同时间，不能全部压进一次聊天评价。
研究可以报告候选命题的质量，而不假装所有候选都已确立。候选的价值在于提供可检验方向，正式贡献的价值则需要进一步承担。
这种分阶段安排，也保护真正有潜力但尚未成熟的想法。它们不因暂时没有最终证明而被丢弃，也不因新颖而被过早包装成结论。
十、维护成本需要随结果一起记录
发生型系统可能减少用户寻找资料的时间，却增加编辑维护规则的时间；可能提高结果可追溯性，却需要更多存储与人工检查。研究应当把这些投入尽量分开记录。
可以关注初始整理、每次运行、每次候选处理、每次正式修订和周期维护等不同阶段。这里不提供真实价格，也不假定某种收费模式，只提出成本归属需要清楚。
成本还包括用户负担。需要填写多少信息，能否理解输出身份，是否被过多提示打断，是否能够带走成果，这些都会影响使用价值。
若一个系统只在大量专家持续介入时表现良好，报告应当如实说明。专家劳动并非不能存在，但不能被藏在自动化效果之后，使读者误以为模型独立完成全部工作。
十一、试点需要预先规定停止与修订条件
在开始前，应当明确什么情况会使某项能力暂停。例如，持续出现无依据的作者观点、无法控制的私人材料传播、关键工具失败后仍虚报成功，或者维护资源无法覆盖已经承诺的服务。
停止条件不必只针对严重错误。若某项复杂流程长期没有显示新增价值，也可以缩小范围或取消。不是所有失败都需要继续增加功能解决。
相应地，也应当说明什么结果支持继续试点。来源更清楚、边界误用减少、任务质量改善或修订更容易重建，都可以成为有限的积极依据，但不能直接升级为整个新典范已经成功。
预先规定条件有助于减少事后解释的任意性。发生学如果要求别的理论接受现实压力，也应当让自己的工程方案承担同样的压力。
十二、真实用户研究需要相应保护
若试点涉及真实使用者，应当明确参与目的、收集内容、保存范围和退出方式。涉及个人材料、敏感情境或正式研究程序时，需要相应的伦理与专业审查，不能因为研究对象是出版工具就忽略。
参与者不应被引导相信系统已具有尚未证明的能力。研究中的原型与正式服务应当区分，使用者也需要知道哪些输出只能作为候选材料。
数据分析应当尽量使用与问题相关的必要信息。对个人能力作评价尤其需要谨慎，不能根据少量对话生成长期标签，再把标签用于与原研究无关的判断。
这些要求不仅保护参与者，也提高研究质量。清楚的条件与过程，使结果更容易被理解和复核。
十三、报告负结果而不否定全部可能
如果试点没有发现 SDE 方案优于合理对照，可能有多种解释：任务不适合，规则设计不充分，模型能力不足，维护成本抵消收益，或者框架在该处确实没有新增价值。
研究应当根据材料区分这些解释，而不是自动选择最有利的一种。没有改善就是重要结果，尤其当它能够帮助后来者避免无效投入。
同时，局部负结果也不必被扩大为全部发生型出版不可能。一个框架包含不同任务与组件，需要逐项检验。否定与肯定都应当与证据范围相称。
成熟的研究报告能够说清楚本次支持什么、不支持什么、仍然不知道什么。这样的报告比宏大的成功宣言更有助于新典范成长。
十四、让研究本身成为发生型出版
试点报告也可以保留稳定文本、方法说明、允许共享的材料、分析工具、候选问题与后续修订。它不必因为研究的是发生型出版，就免于同样的出版要求。
别人可以复查任务设计，提出不同解释，或者在新的领域重复研究。重要的是新结果与原报告保持清楚关系，不把不同条件的结果简单合并成一条普遍结论。
本书由此把自己的检验道路交给读者：不是要求先相信新典范，再寻找支持；而是选择明确问题，建立合理比较，保存差异与失败，使新的设计在现实中获得或失去相应主张。
出版是知识发生的开始，也意味着出版者必须允许自己的出版理论继续发生。真正的新典范，应当有能力让证据改变自己。