第41章 怎样评价一个正在升层的人机复合体
一、先问准备评价谁的什么，而不是先寻找一个分数
林越交出一份新的展览方案，里面有多种呈现单位、清楚的依赖关系和可复查的取舍说明。评价者如果只问方案好不好，可以检查资料、计算、可执行性与表达；如果问林越是否发生新的我，就需要另外追踪他怎样组织判断；如果问人机复合体是否形成了新的能力，则还需说明工具和协作条件。三种评价使用同一作品，却不拥有同一种解释对象。
因此，评价开始时应当写下一句明确的主张。例如，“在保留当前AI配置的条件下，这个工作整体能否稳定组织多种要求”，与“撤去AI后，林越是否仍能以新的方式组织要求”，不能共用一个未经区分的成长指标。分数越简洁，越需要先说明它代表什么，否则一项表现会被反复拿去支持不同结论。
《教育与心理测验标准》二〇一四年版强调，效度所涉及的是证据与理论对特定分数解释及其预定用途的支持，而不是脱离用途宣布某个测验本身有效。[R19] 本书因此不能因为九格语言有解释吸引力，就直接把它当作成熟测量工具。准备如何解释和使用画像，必须成为验证工作的一部分。
二、作品、过程、归属与层级需要分别报告
一份较完整的评价可以包含四类报告。作品报告说明公共任务完成到什么程度；过程报告说明关键决定如何发生；归属报告说明哪些能力依赖人、配置或持续互动；层级报告则检查组织单位、问题范围和条件设计是否改变。这四类报告可以相互参照，却不能用一个平均分把它们重新混合。
作品质量仍然重要。一个声称重建了问题的方案，如果基本事实错误、引用不真实或实际无法执行，就不能仅凭深刻反思获得通过。但作品不够成熟，也不必立即否定过程中的有价值变化。学生可能开始使用新的组织方式，却尚未掌握足够知识完成复杂任务，评价应据此安排基础支持，而非只留下失败标签。
分开报告还能保护复合能力的真实价值。某个整体只能在人与AI持续配合时完成任务，并不意味着它没有价值；需要限制的是把这种价值全部写成人的内在改变。反过来，学生撤去工具后仍能作出某些关键判断，也不意味着原来的复合条件可以被教育制度忽视。准确归属不是为了选出最纯粹的能力，而是为了知道怎样继续支持它。
三、保留AI时，观察整体怎样站住
保留AI的评价，应记录本次使用的材料、记忆、配置、任务范围与人工介入。它关心的不是只有输出是否漂亮，还包括系统遇到不确定信息、相互冲突的要求或工具错误时，能否通过已有分工继续工作。一个必须由教师在旁不断补上关键判断的整体，需要把教师的功能计入条件，而不能称为学生与AI独立完成。
稳定也不等于机械重复同一份任务。可以使用功能相近但表面不同的材料，观察整体是否仍能形成可核查的过程；也可改变一个关键条件，检查是否知道何时需要拆封原有方法。这里的变化范围应当与所主张的能力相称，不能一面只测试熟悉任务，一面声称已经掌握任何复杂问题。
林越和AI在展览方案中能够区分可拆分单元，换到图书借阅安排时却不知道如何重新辨认单位，这提示原有能力可能依赖特定材料。这样的结果应当帮助缩小能力范围，而不是立刻归为没有学会。评价越能描述具体适用范围，下一粒种子的设计就越有依据。
四、更换AI时，观察人能否重新组织条件
更换AI可以帮助区分特定配置依赖与较可迁移的组织能力。若林越只能在原有智能体不断提示时辨认目标冲突，更换工具后就无法提出相应问题，说明需要进一步检查其对配置的依赖。若他能够说明原配置承担什么功能，并在另一工具中重新建立相近支持，则为人的条件设计能力提供了新的线索。
但更换条件必须说清楚。新的模型能力、可用材料、操作熟悉度、记忆与表达支持都可能不同。若替代工具本身不能完成必要工作，表现下降不能简单归因于学生没有迁移；若新工具自动提供了更强的结构支持，表现保持也不能直接证明学生已经掌握组织。比较需要把这些差异记录下来。
更换AI还不能替代撤去AI。一个人能够熟练组织不同工具，可能形成了很有价值的人机条件设计能力，但他是否在没有AI时保有某种侧重组合，仍是另一项命题。评价不能为了让结果看起来更好，把较容易完成的更换检验当作较严格的撤去检验。
五、撤去AI时，不能把撤去变成一场临时表演
本书的候选判据要求撤去AI满四周以后，在新任务族上画像不回落到旧侧重。这里的四周不是考试开始前关掉窗口，也不是在几次测试间继续使用同一支持、最后只对一份作品取消工具。研究必须事先说明撤去涉及哪些AI使用、期间允许哪些一般性支持以及怎样记录偏离，不能在结果出现后随意缩小撤去的含义。
同时，撤去不能以剥夺必要的无障碍条件或基本参与机会为代价。若某项AI支持已经成为一个人完成日常沟通或获得材料所必需的条件，研究应先判断该检验是否适当。无法合理执行时，应报告个人归属的这条严格判据尚未检验，而不是取消支持来换取一项看似纯净的数据。
撤去后的任务还需要避免两种极端。若完全重复熟悉题目，可能只观察到记忆；若突然进入远超先修条件的新领域，则可能把知识缺口误记为画像回落。新任务族需要在所要考察的组织功能上形成迁移要求，同时把无关难度控制在可解释范围。这个设计工作不能由“新任务”三个字代替。
六、九格自比需要怎样的观察单位
九格画像不能从作品里出现多少次“关系”“结构”“和谐”等词统计出来。观察单位应当是有条件、有选择、有后果的行动片段，例如学生在两种合理要求之间怎样安排先后，什么信息使其修改原单位，哪些差异获得了进入决定的机会。词语可以提供线索，却不能替代行动关系。
对每个片段，编码者先记录可见材料，再提出与九格有关的解释，并说明信心与竞争解释。某个行为可能同时涉及关系、次序和多样，不能为了得到整齐权重而强行只归入一格。九格如何形成权重与位次、如何处理并列和不确定，需要预研确定，不应在本书初稿里伪造一套已经验证的计算公式。
自比要求把同一个人的多个时点放在相近观察规则下比较。若前测只能记录简短文字，后测却加入丰富访谈与教师提示，画像的丰富可能来自资料方式改变。观察条件也属于比较条件。对必要的表达调整，应说明它是否改变了所测功能，而不是以形式一致为由拒绝支持，或以支持必要为由不再检查可比性。
七、重测波动是要估计的对象，不是一句装饰
二稿要求同一人、同一任务族至少三个时点，间隔不少于两周，位次变化超过本人的重测波动。至少三个时点规定了观察不能只有一次，但并不保证已经能够精确估计波动，更不自动提供足够统计效力。任务数量、观察时长、编码误差与学习效应，都需要在预研中讨论。
一个人两次表现不同，可能因为任务条件，也可能因为当时状态、材料熟悉度或编码者判断。真正想研究侧重改变，必须先了解这些普通变化可能达到什么范围。不能只把前测中最弱的一次选作基线，再把后测中最好的一次选作结果；那样得到的变化，很可能由选择方式制造。
重测本身也会产生学习。学生反复面对类似的评价问题，可能学会评价者想看什么。因此，需要适当的等值材料、顺序安排和过程记录，区分熟悉测评形式与组织方式改变。若无法排除这种解释，应在结论中保留，而不是把评价产生的所有变化都归给候选种子。
八、本人签认与独立核查怎样同时存在
画像需要本人参与核对，但签认不是要求学习者赞同研究者的全部判断。本人可以确认片段记录基本准确，同时不同意某项侧重解释；也可以指出没有被记录的重要条件。评价应当保存这些意见，并说明它们是否促成重新编码、补充材料或保留分歧。
独立核查也有必要。若只有熟悉学生并期待其改变的教师编码，观察可能受到期待影响。可以让另一位不知道版本先后或条件身份的编码者，在可行范围内评价相同材料，再比较分歧。盲评不能解决所有问题，但能限制部分期待直接进入结果。对不能遮蔽的内容，也应说明。
本人签认与独立核查回答不同问题。前者保护参与、理解和异议，后者检查解释是否能够被其他观察者支持。两者不一致时，不必以其中一方压倒另一方。一个真实保留争议的报告，比一个为了完成评价而强求签字的统一画像，更适合作为下一轮教育设计的依据。
九、评价中的支持要记录功能，而不只记录数量
同样十分钟的教师帮助，可以包含完全不同的功能。教师可能只是解释任务要求，也可能直接提出关键组织原则；AI可能只整理文字，也可能替学生决定哪些声音应被排除。若评价只记录使用了多少时间或多少次提示，就可能把性质不同的支持当成同等条件。
因此，支持记录需要至少指出它帮助了哪一种工作：材料进入、事实核查、候选生成、关键选择、表达整理或结果检验。这里的分类是研究记录建议，不是固定能力层级。它帮助评价者判断，后来看到的某个功能主要由谁完成，以及相应个人变化主张需要怎样收缩。
这样的记录也能避免把合理支持视为作弊。一个使用转写工具的学生，可以在关键判断上独立承担较多工作；一个没有打开工具的学生，也可能完全照搬教师刚刚提供的结论。能力归属不能仅凭工具是否出现来决定，必须回到实际分工与目标功能。
十、评价报告应当允许“不知道”具有具体内容
一份负责任的报告，可以写成：作品达到了约定的公共要求；保留当前配置时的组织表现已有若干支持；个人侧重变化仍受观察次数与提示条件限制；撤去AI满四周的检验尚未实施；因此暂不主张个人归属或层级提升。这样的表述不够戏剧化，却能让后续工作知道需要补什么。
“不知道”也不能无限宽泛。应当说明是哪一项主张、缺少哪类材料、准备在什么条件下进一步检查，以及何时停止追踪。如果缺少的只是一次资料核查，就不必写成整个理论无法判断；如果关键测量根本不稳定，则不能用增加几份作品来掩盖。这使不确定性成为工作分工，而不是推迟结论的借口。
报告还应区分未观察到、未达到门槛和证据支持相反解释。三者对下一步的意义不同。没有安排撤去检验，不等于撤去后必然回落；观察到回落，也不等于全部复合价值消失。准确命名结果，是评价能够参与持续发生的前提。
十一、自比不意味着公共标准与责任消失
我材评价不使用群体常模给人排名，但公共任务仍然可以有共同标准。资料不能编造，计算需要正确，涉及他人的安排需要说明权限与后果。学生比以前更擅长组织方案，并不意味着可以忽略这些要求；群体中的其他人也不应为个人发生承担未同意的风险。
同样，研究种子专属性时，需要比较同一设计在不同人的条件下产生的作用。这种比较针对设计效应，不是将人的价值排成高低。每个人的变化仍以自身基线为依据，研究者应明确区分“这个种子对甲的作用较大”与“甲比乙更有材”。前一句是条件性研究判断，后一句并不能由它推出。
自比的意义不是取消一切比较，而是限制比较的对象与用途。评价应当帮助这个人理解自己发生了什么，也帮助教育者理解何种条件有效。它不应借九格之名制造另一套终身排名，更不应把有限研究结果用于远超原用途的分流与机会限制。
十二、评价最好成为下一轮造种的可靠入口
当作品、过程、归属和层级被分别说明，评价便能够进入下一轮设计。若主要所得在配置中，就改进人对关键判断的参与；若个人已有变化但迁移受限，就研究新任务族的进入条件；若变化只是速度提高，就保留效率价值，同时撤回升层主张。每种结果都有不同路径，不必统一归入成功或失败。
一个正在升层的人机复合体，也可能在某些方面尚未升层，甚至暂时失去原有稳定性。评价需要能够看见这种不整齐，而不急于产生一个整体等级。真正值得保持的是变化与条件之间可追踪的关系，以及证据能够影响下一步安排的能力。
这样的评价需要时间、材料和专业支持。条件不同的人，不能因为档案厚薄和观察机会不同，就被解释为发生意愿不同。为每块土壤造种，必须同时研究谁获得了进入、维持和退出这种过程的现实条件。
带走的话作品、个人、配置和复合体的所得，应分别留下证据与名称。