第28章 教育评价与能力生成
28.1 同一个答案背后的不同能力
两名学习者交出同样正确的答案，一人能够说明关键理由，另一人依靠提示完成步骤。两人的当前作品可以同样合格，却不能由此推出他们在下一项任务中具有同样能力。相反，两名学习者得到同样低分，也可能因为不同困难：一人理解概念但读错要求，另一人记住程序却无法辨认适用条件。教育评价面对的首要问题，是如何从可见表现形成关于能力的判断，同时保留改变这一判断的机会。
能力不是藏在一个人内部、可以被一次考试完整提取的固定总量。它也不是每次情境变化都完全重新生成、因而无法持续认识的幻影。更合适的起点是，把能力理解为学习者在一定任务、资源与责任条件下能够反复组织行动的稳定性。这种稳定性可以逐渐扩展，也可能受到支持条件变化的影响。评价需要说明自己观察到了哪一种稳定，而不是用一个无条件的标签覆盖整个人。
任务条件并非无关的干扰。是否允许查阅资料、是否需要解释、是否必须在时间限制内完成，以及是否可以与他人或工具协作，会改变被评价的行动。一个强调独立回忆的任务，与一个强调资料比较的任务，可能都具有教育价值，但它们支持不同能力判断。把它们混成同一总分，必须有明确用途和论证，不能仅因为数字可以相加就认为构念也已统一。
教育发生研究与经济反馈研究的机制不同。这里的核心不只是判断影响激励，而是练习、解释、错误修正和迁移可能改变学习者后来能够完成的行动。评价本身也可能成为学习事件。学习者经过一次提问，可能发现此前未意识到的差异；经过一次解释，可能重新组织知识。研究者因而需要同时区分测量已有能力与促进新能力，而不是将两者混为一种分数变化。
这些任务之所以不能仅靠答案归类，是因为帮助方式会改变答案的能力含义。教师直接给出比较基准，与学习者自主选择同一基准，最终算式可以一致，组织功能却由不同位置承担；若提示经过练习被学习者自行重建，同一算式又获得新的证据意义。这里的特征纠缠不是知识、工具和个人三个因素简单相加，而是它们共同规定何种成功能够归于学习者。研究需要把最终显露放回提示、尝试和修订的差异序列，才能辨认这种归属怎样发生变化。
因此，评价的目的不能停在给人排序。排序在某些选拔任务中可以有有限用途，但学习支持还需要找到可以改变的环节。一个有教育意义的判断，应当能够回答下一步怎样帮助学习者，并说明什么后续表现会支持或修正当前解释。由分数走向能力生成，并不是放弃标准，而是让标准与发展之间建立可追踪的关系。
28.2 表现提高与学习发生
当前任务做得更顺利，不必等于能力已经获得长期改变。熟悉题面、刚刚看过答案、得到提示或采用工具，都可能提高即时表现；延迟以后能否独立完成，以及面对新形式能否选择恰当方法，才涉及另外的证据。教育研究需要把这些结果放在同一学习历程中，却不能用其中一个代替其他结果。
Roediger 与 Karpicke 的实验比较了学习材料后的重复阅读与回忆测试。短延迟和较长延迟下，两种安排的相对表现不同，回忆测试在其研究的延迟保持任务中显示优势。[53] 这一结果不能推广为任何考试都优于任何教学，但它说明测验可以参与记忆形成，学习者当下的流畅感也不必与后来保持完全一致。测量和干预的关系必须在具体任务中检验。
设想一名学习者在例题旁完成一道相似题，随后在没有例题时处理结构相同但表面不同的问题。第一项成功说明他能够在支持下进行某种操作，第二项则检查他是否辨认并保留了关键关系。如果两项表现分离，教师不应立即把前者归零，也不应把后者解释为懒惰。需要进一步判断支持究竟替代了哪一步，以及哪一步尚未转化为学习者自己的组织能力。
能力生成可以从可撤除支持的变化中观察。开始时，提示帮助学习者识别问题；随后，提示减少到关键检查；最后，学习者能够自行提出检查。这里的进步不是简单少用了多少帮助，而是某项控制功能逐渐被学习者承接。若撤除支持过早，任务失败可能只说明教学安排不合适；若支持始终替代全部判断，完成作品也可能掩盖尚未形成的能力。
学习历史还会改变同一任务的意义。第一次遇到一题时，它可能要求探索；多次重复以后，它可能主要要求识别熟悉模式。若研究者仍把两次分数当作同一种测量，就会混淆练习效应与更广的理解。迁移任务应保留目标结构，同时改变那些可能被机械记忆的表面线索；改变过多又可能引入新的知识要求。任务设计本身因而承担构念辨认的工作。
能力保持还需要与任务机会相联系。某种方法长时间没有被使用，后续表现下降，不能只凭一次结果确定它已经完全消失；重新提供适当线索后能否恢复，也是一种证据。但恢复快并不等于可以替代所有持续掌握的要求。例如，某项任务若要求在没有准备的情况下作出可靠判断，临时再学习就不足以满足目的。教育评价应把保持、恢复和迁移分别放回实际责任，而不为所有能力规定同一种时间标准。
对学习过程的记录不必追求内心全景。可以保留首次答案、关键错误、采用的反馈和延迟任务结果，形成最短但足够的历程。若这些资料已经能够指导教学，继续增加日志未必有益；若两种解释仍不可区分，再设计一个针对性任务。教育发生学的目标，是让记录服务于下一步学习，而不是把学生的每个行为永久转成数据。
28.3 独立表现与人机协作
AI工具使作品质量与个人掌握之间的区别更加明显。学习者可以利用工具生成解释、检查步骤、寻找资料或完成草稿，这些协作本身可以构成重要能力。但能够交付一份高质量作品，与能够在没有工具时独立完成核心推理，是不同判断。教育制度若只承认后者，会忽略现实协作；若只看最终作品，又可能看不见个人尚未形成的能力。
Bastani等人在高中数学场景中比较了不同AI辅助安排。研究显示，练习阶段的表现改善不保证撤除工具后的独立表现改善；带有教师设计提示约束的工具，与较直接提供帮助的工具，产生了不同的学习后果。该研究主要考察特定学校和任务中的短期学习，不能据此断言所有AI必然损害长期能力。[54] 它为本书提供的直接启示，是工具设计、学习活动和评价窗口必须同时说明。
可以把教育任务分为三个相连但不合并的窗口。独立窗口检查学习者自己能够完成什么；协作窗口检查他怎样组织工具和资料完成任务；迁移窗口检查此前协作是否改变了后来的个人行动。三个窗口都应保留清楚的允许资源和评价标准。若只进行一次协作任务，就不宜据此宣布个人能力已经增长；若只进行独立测试，也无法完整评价人机合作能力。
协作能力并不是熟练输入提示语的单一技巧。它包括界定问题、选择工具、比较建议、发现错误、决定何时停止依赖，以及对最终结果承担解释责任。一个人可能善于获得流畅答案，却不能检验其适用条件；也可能提示表达简单，但能够准确识别工具遗漏。评价应围绕这些不同功能设计任务，而不能把对话长度或工具使用频率当作能力本身。
一个具体的分析性任务是提供两份看似合理的解法，其中一份包含可以检验的错误。学习者可以使用工具，但必须说明接受和拒绝的理由。这个任务检查的是核验与责任承接，而不只是生成速度。随后可以撤除工具，要求学习者在新题中自主设置同类检查。如果后者改善，才有证据讨论检查能力的迁移；若没有改善，协作收益仍然存在，但其归属需要准确表达。
工具撤除也不应成为无条件的最终标准。有些真实任务本来依赖仪器、资料或协同，要求全部独立完成可能改变了能力构念。教育需要决定哪些基础能力必须由个人保有，哪些能力可以稳定地分布在人与工具之间。这个决定涉及课程目的和责任要求，不能由技术便利性单独决定。尤其在工具可能出错或不可用时，个人需要保留足够的判断与恢复能力。
发生学由此把人机协作作为一个可以分析的新行动单位，同时保留个人发展的问题。研究既看系统产出，也看学习者是否获得更好的问题组织与核验能力。二者可能共同提高，也可能分离。将分离如实记录，比把协作一概称为作弊或一概称为增强，更有助于形成可持续的教育安排。
28.4 从错误结果到可改变的困难
错误不是一个需要被统一清除的容器。它可能来自概念关系尚未形成，也可能来自任务理解、表达方式、计算操作或检查遗漏。相同错误答案有时由不同路径产生，不同错误答案也可能来自同一困难。教师若只记录对错，能够完成基本评分，却未必获得足以指导教学的信息。
设想一道要求比较两个比例的题。一个学习者把分子差当作比例差，另一个学习者理解比例却抄错数据，两人都得到错误结果。给他们相同的重复练习，可能产生不同效果。第一人需要重新辨认比较单位，第二人需要建立资料核查程序。教师可以通过一个简短追问或对照任务区分两种解释，而不必立即进行复杂心理诊断。
困难的解释应以可行动性为标准之一。说某人缺乏能力，通常不能直接指导下一步；说他在改变单位时没有保持同一比较基准，就能够设计新的任务。解释越具体，越需要接受后续检验。若经过针对性支持以后预期变化没有出现，应修订解释，而不是把未改善再次归因于学生整体不足。教学判断由此成为可以失败的机制假说。
也要防止从日志直接推断内心。长时间停顿可能表示思考，也可能表示分心或技术困难；频繁修改可能表示探索，也可能表示不理解要求。行为指标首先是线索，只有结合任务、作品和学习者说明，才可能形成较可靠的解释。任何单一特征都不宜被固化为个人本质，尤其当它会进入长期评价和资源分配时。
学习者应有机会参与困难的命名。教师观察到的错误，与学生实际遇到的障碍可能不同。学生的说明也未必完全准确，但它可以提供新的候选机制。通过让学生复述题意、说明选择理由或比较两个方案，双方能够共同检查理解。这里的对话不是给既定诊断增加礼貌形式，而可能真实改变研究对象：原来被归为计算困难的问题，可能转为语言理解或任务目标的歧义。
错误档案应保留变化，而不只是累积失败。某项困难何时出现，经过什么支持得到改善，在哪类新任务中再次出现，能够显示能力形成的范围。已经克服的错误如果仍以永久标签存在，就可能误导后续教学。教育记录需要版本和退出条件，使学生能够从旧判断中成长出来。
这一过程与经济残差分析具有形式上的联系，但其机制不同。教育中的剩余差异不是只等待被模型解释，它还可以通过教学行动被改变。解释与创造在这里直接相遇：一个好的困难诊断，应帮助形成此前尚不存在的能力。研究的成功既体现在判断更准确，也体现在学习者获得了新的可持续行动。
28.5 反馈怎样被学习者承接
教师给出了反馈，并不等于学习者已经获得学习。反馈可能被看见却未被理解，被理解却不知如何使用，或者被直接照抄而没有改变后续判断。研究需要追踪反馈从表达进入行动的过程。仅以反馈是否发送、学生是否点击或修改次数多少评价教学，会把传播记录误当成能力生成。
可以区分几种反馈功能。指出结果错误帮助定位差异，说明错误原因帮助建立关系，提供下一步问题帮助重新组织行动，要求自我核查则帮助形成控制过程。不同功能适合不同困难。若学习者尚未理解题意，直接给出完整推导可能增加负担；若他已经理解核心关系，只需一个定位提示，就不必替他完成全部过程。
反馈的时机也重要。过早提供答案可能终止有价值的探索，过晚提供必要信息又可能使学习者反复练习错误路径。这里不能预先规定一个对所有任务有效的时间点。应根据任务难度、学习者已有能力和错误后果安排，并通过实际表现调整。发生学要求把时机作为机制条件，而不是把反馈内容单独拿出来比较。
比例任务可以把承接分得更细。学生先给出比较结果，教师只问两边是否使用同一基准，不提供完整步骤；学生修订以后，再解释原来比较为何不充分。随后更换数值和呈现顺序，观察他是否在没有同样提问时主动建立共同基准。如果只能在原题修正，提示可能只是帮助完成局部动作；若能在新题自行提出检查，才支持相应组织功能被承接。这个假设教学序列需要实际检验，也需要与同等练习机会下的常规讲解比较，才能区分特定提示的作用与一般练习收益。
评价本身也会回写学习。学生知道评分只看最终答案，可能采取与知道评分关注解释和核验时不同的策略。研究者不能因此取消公开标准，因为透明标准本身也可以帮助学习。需要判断的是标准鼓励了哪些行动，这些行动是否与课程目标相容。若学生只是学会展示被奖励的表面步骤，就应检查任务是否真正要求理解，而不是责怪他们回应制度。
反馈关系还需要保留尊严与边界。学习者可以被要求解释任务相关判断，却不应为了证明认真而披露全部私人经历。教师的判断应针对可改变的行动，并允许学生提出异议。学习不是将一个人完整暴露给评价系统；恰当的可见性应与教育目的和必要性相匹配。这种限制本身能够支持更可信的合作。
反馈是否被承接，还可从学习者主动提出的问题观察。比例任务中，他原先只询问答案是否正确，后来开始询问两组资料是否采用同样单位，这一改变提供了组织功能转移的线索。但主动使用某个术语仍可能只是模仿教师话语，需要看他能否在单位已经相同的题中停止无必要的转换，在单位不同的题中解释为何转换。承接并非把一个新步骤加入所有任务，而是逐渐能够辨认这个步骤何时有用、何时无须使用。反馈研究应追踪这种选择性形成。
28.6 可比条件与能力范围
相同题目和相同时间限制提供了一种形式上的可比性，但评价首先需要明确，哪些差异属于所要考察的能力。若某项无关的表达要求、技术条件或资源差异主导结果，分数就可能偏离目标；若支持替学习者完成了目标操作，又可能把系统能力计入个人能力。可比性的关键因此是任务与结论相称，而不是机械维持一切条件相同。
例如，评价一个人能否比较两组资料，与评价他能否迅速阅读一段复杂说明，是不同任务。若比较是目标，可以把相同信息整理成清楚的表格，减少理解题面所需的额外步骤；若整理资料本身也是目标，直接提供表格就改变了需要检验的行动。支持的同一种形式，在两个任务中可能承担相反的评价意义。研究应列出从材料到结果之间哪些步骤必须由学习者组织，哪些步骤可以由题目预先提供，才能说明分数的归属。
回到比例比较的例子，可以设计三种条件：只给分数，给出相同单位的图示，或给出已经写好的比较步骤。第一种检验学习者能否选择表示与方法，第二种帮助显露在单位已明确时能否作出判断，第三种主要观察能否执行已提供的步骤。三项结果不是同一能力的简单高低等级。有人能自行选择方法，却不熟悉某种图示；有人能沿步骤算对，却不知道为何必须使用共同基准。研究应解释这种交叉，而不是把条件越有帮助得分越高当作足够结论。
由此可以描绘某项能力的范围。哪些变化仍保持成功，哪些变化需要少量提示，哪些变化导致方法失选，应分别记录。支持减少以后成功保持，说明学习者可能接过了相应组织功能；支持减少以后失败，则需要检查撤除的究竟是提示、知识资源还是任务本来需要的工具。范围判断比一次通过更严格，因为它要求明确可承受的变化；也比无条件能力标签更有教育用途，因为它指出下一项任务需要改变什么。
比较学习者时，还须区别过去学习机会与当前表现证据。较多练习可能形成真实的熟练能力，不能因为机会不相同就否认已经形成的掌握；但当前熟练也不能直接证明另一人无法在适当学习后达到相同水平。评价已有掌握与估计学习后的可能范围，是两项任务。后一项需要观察支持怎样被采用、错误怎样改变和新的任务怎样被处理，不能从起点分数直接外推。
这里的测量结论必须对用途作出承诺。若结论用于选择下一项练习，可以保留较多局部和暂时判断；若用于说明学习者已经能独立承担某种操作，就需要在相应条件下反复检验。不同用途要求不同充分性标准，但都应让材料、任务和结论保持可追踪关系。第30章将进一步讨论评价已经造成机会损失时如何修复；本章要先完成的工作，是使能力判断本身不超出所观察的行动范围。
28.7 研究设计中的学习历程
要检验一种教育方法，不能只比较教学结束时的一次成绩。至少需要明确初始水平、实际经历、即时表现和后续迁移之间的关系。不同研究可以选择不同重点，但结论不得超出所观察的窗口。短期任务成功不能直接证明长期保持，一个课程中的改善也不能直接代表所有学科。
在可行条件下，可以比较无新增支持、一般提示和针对性提示三种安排，使用共同的核心任务，并控制练习机会。随后安排延迟任务和适度迁移任务，检查效果是否持续以及是否依赖原有题面。若采用班级作为分组单位，应在分析中处理班级共同影响；若学生之间共享信息，也应记录可能的组间影响。方法需要与实际教学结构一致。
研究还应区分实施失败与理论失败。教师没有按设计提供关键支持，或者工具无法使用，可能说明实施条件不足；支持被可靠执行却没有预期效果，则更直接要求修订机制。但不能把所有不理想结果都归于实施不充分。应在研究前规定关键环节的最低要求，并据实记录，让区分具有可复核依据。
个人差异不能只在平均效果不理想时才被发现。可以预先选择与机制有关的差异，例如已有知识、任务理解或工具经验，检验支持是否对这些群体产生不同作用。事后不断拆分直到出现某个有利结果，会使发生解释失去约束。探索可以继续，但应与事先检验分开，新的发现需要在后续资料中确认。
新方法还必须面对强基线。更细的过程记录若只是重复教师已经能够从作品中判断的信息，就未必值得增加负担。可以比较常规作品评价、少量关键过程记录和完整记录的实际收益，观察哪一种足以支持有效教学。若简洁方法达到相近效果，应优先保留其可执行性。发生学不以记录密度证明理论深度。
教学研究中的失败结果具有特殊价值。某种提示对当场完成有效，却没有迁移，可以帮助定位功能尚未被学习者承接；某种解释提高信心，却没有提高核验能力，可以提醒调整反馈；某种工具对部分任务有益，对其他任务无益，可以明确适用边界。这些结果比一个无条件的成功口号更能支持后续创造。
最终应让另一位教师或研究者能够根据任务、材料、支持条件和结果记录，理解研究如何得出判断。可继承性并不要求所有学校完全复制同一程序，而要求关键机制和变动理由能够被说明。只有当新条件下的修订可以追溯，教育经验才有机会从个别实践成为共同知识。
28.8 从能力证据到下一项任务
评价的最后产物不应只有一个分数，还应包含下一项值得检验的能力差异。这并不要求建立无穷尽的个人档案。就比例比较而言，一份精简记录可以分别说明：学习者是否能够执行已有步骤，能否在新题面选择方法，能否发现一种看似合理的错误。三项证据共同限定当前判断，又给后续教学不同方向。会执行而不会选择，需要改变任务表面并要求说明选择；会选择却常忽略资料错误，则需要让检查成为行动的一部分。
这些证据之间不能相互冒名。一份经提示修订后完全正确的作品，说明在相应支持下完成了任务；若要进一步声称学习者已经理解，应看他能否说明关键关系，并在未经同样提示的新任务中使用它。口头说明也不是绝对标准：有的操作能够先于完整表达稳定形成。此时可以增加结构变化后的操作比较，检验成功是否只依赖熟悉线索。能力证据应随所提主张增加，不以一种表现形式垄断理解的定义。
设想教师最初认为一名学生只是忘记核查单位，于是给予单位提示；学生能改正当前答案，却在换一组数值后继续把分子大小当作比例大小。新结果会迫使教师把困难从检查遗漏改判为比较关系尚未建立，并设计共同基准的任务。随后若学生能自行提出共同单位，才有理由更新能力判断。这个假设序列展示了双向学习：学生的行动发生改变，教师对改变机制的解释也经由学生的新表现被修订。
对人机协作，可以沿用同一种证据分工。保留最终作品之外的一处关键选择，记录学习者为何接受一个建议、拒绝另一个建议，再观察工具撤除或工具更换后能否维持相应核查。若能力只在原工具给出特定提示时出现，结论应保留这一条件；若学习者能够自己重建检查，才更有理由把进步归于个人承接。工具的版本与帮助方式影响任务身份，记录它们是为了使能力归属清楚，而非尽可能保存所有对话。
下一项任务还应受到成本约束。若一个简短对照题已经能区分计算失误与概念困难，就不必先收集长时间行为日志。若两种解释在现有材料下仍给出同样预测，研究者应提出能使它们分离的任务，或者明确暂时无法判断。未知不是对学习者的缺陷认定，它是当前评价工具的界限。这样的节制使发生分析能够进入实际教学，而不把教师变成永久记录员。
学习者也需要看懂这些判断。与“综合能力不足”相比，说明“能够在共同单位已经给出时比较，但尚需自行选择表示的方法”，更容易形成下一次尝试。表述应既保留已经取得的掌握，也清楚标明尚未证明的迁移，避免鼓励性语言掩盖困难，或用一次困难覆盖全部进步。可理解的评价使学习者能够参与检验自身的方法，而不只是等待外部排名。
本章得到的能力，是在任务变动中仍能组织某些行动，并能通过支持承接扩大其范围的稳定性。评价抓住显露，教学改变产生显露的关系，迁移检查改变能否在新任务中继续起作用。三项工作既相接又有各自证据。它们把教育发生与价格激励区别开来：学习的结果之一，是行动者后来能自行作出此前尚不能作出的区分。
而“能作出区分”仍留下一个问题：为什么某种说明算作理解，某个回应足以表示共同掌握，一份作品允许哪些不同解读？正确率不能独自回答这些问题。第29章从表达与回应的具体关系继续研究，考察意义怎样既保持多元，又受到材料和解释责任的约束。