——论教学终止判据与被判定过程的同源性,及其与判据偏移、延迟测验、反应性测量的分界
外语教学的每一次介入都必须停下,而四本现行账里没有一个字段记录这次停止的依据。实际的终止由学生的即时反应触发:点头、答对、不再提问。关于“这组信号不可靠”,本章不是第一个到场的:在二语习得内部,这组信号早有专名——摄取,其效度已辩论近三十年;表现与学习之分已有综述级陈述;“判据位置”与“辨别力”的正交是信号检测论的第一课;而“停止本身改变被测对象”至少有四条独立文献线命名过,最早的专著出版于一九六六年。本章因此不主张这四件中的任何一件,而主张它们共同留下的那个空位:教学的停止判据,其取值来自被它判定的那同一个过程内部——它是一个没有外部验证集的停止规则。 机器学习里同名的“早停”是正则化手段、是好事,因为判据取自与训练分离的验证集;课堂上的早停是坏事,不因为它早,因为判据与被优化的量同源。推翻共同假定的材料取自临床试验方法学自己:因获益提前终止的试验效应量更大,而这个差异独立于是否存在预设的统计停止规则——预设边界并不能使它消失。本章的判据无程度词:这节课里,教师判定可以推进之后,有几次是在无提示条件下重做一遍并记录了结果的。据此给出一个时刻型读数、一条闭环方案与三条使本章倒下的检验。
停止判据 同源性 外部验证集 判定后存续期 闭环校正 摄取效度
翻开任何一份外语教案,都能找到这样的结构:导入多少分钟,呈现多少分钟,操练多少分钟,产出多少分钟。每一个环节都有开始,都有内容,都有方法。
但如果问一个更具体的问题——这个语法点的讲解,应当在什么条件下结束?——教案上没有答案。有的只是时间:八分钟。而八分钟是一个进度安排,不是一个终止判据。
实际发生的事情是这样的。教师讲解一个用法,举两个例子,问:“明白了吗?”几个学生点头,一个学生答对了一道即时检验题,没有人再提问。教师说:“好,我们看下一个。”
这个“好”字出现的时刻,就是本章要讨论的对象。它不是由教案决定的——教案只给了时长,而实际用了六分半。不是由测评决定的——测评在两周后。它是由一组信号决定的:点头、答对、不再提问。
本章必须在开头说清楚一件事,因为第一版稿在这里犯了一个严重的错误。 第一版稿主张四件事:这组信号与真正到位之间有系统性偏差;这个偏差不能靠更仔细地观察消除;校正的办法是延迟无提示复现;以及——第一版稿称之为“本章唯一的原创”——停止时刻本身改变后续轨迹。
这四件,没有一件是本章的。
第一件在二语习得内部早有专名。教师据以停止的那组信号——点头、答对、重复——在这一领域叫摄取,它的效度自一九九〇年代起就是一场持续的争论:有摄取未必学会,没有摄取也可能学会。第二件是信号检测论的教科书第一课:判据的位置与辨别力在数学上正交,把眼睛睁得更大只提高辨别力,不移动判据。第三件的操作程序,二〇〇五年已有人在真实外语课堂上做完并发表——以每一次介入为单位、为每个学生定制题目、在一天与两周后做无提示回忆,报告失败率约四成与五成。第四件更糟:它不是原创,它是常识,而且至少有四条互不相干的文献线各自给它起过名字,其中一本专著出版于一九六六年,书名的副题就是“社会科学中的非反应性研究”。
第三节会把这些先到者逐一请进来。做完之后,本章剩下的只有一条,而这一条是本章的全部主张:
教学的停止判据,其取值来自被它判定的那同一个过程内部。它是一个没有外部验证集的停止规则。
路线图:第二节摊开四本账;第三节请进先到者;第四、五节介绍三家来源并说出它们共同假定了什么;第六节给出推翻那个假定的材料;第七节给出本章的主张与那个同源性判别;第八至十节给出分辨装置、判据与读数;第十一至十三节做分界;第十四至十六节交代本章押在哪里、可以被什么推翻、以及一份可以立刻做的回溯检验;第十七至二十节交代削弱、反噬、边界与自我定位;第二十一节给结论与赌注。
教案与进度。记账单位是步骤与时长。它记录介入的计划长度,不记录介入的终止条件。这两者的差别是根本的:计划长度是一个预算,终止条件是一个判据。教案连“提前结束”与“未讲完”都不区分——一个环节用了六分半而计划八分钟,在任何复盘里都不会被记为异常,而这一分半的差额可能正是本章关心的全部内容。
测评。记账对象是学生在某个时间点的产出。它与终止时刻之间隔着数天到数周,而且测的是若干次介入的合并结果,无法归因到任何一次具体的终止决策。
学生自己的账。学生对一次介入的结算是“懂了”或“没懂”。这个结算是诚实的,但它恰恰是被质疑的那个指示器本身——用学生的“懂了”来判定学生是否真懂,是用指示器校准指示器。
课堂话语研究。它能精确记录这次序列由谁发起、包含几个话轮、以什么形式结束、学生是否产生了摄取。对那个“好”字,它可以给出准确的编码:一次教师评价话轮,序列在此闭合。但它编码的是序列的形式闭合,不是介入的功能终止。“序列在此闭合”是一个描述,它不回答“为什么在此闭合”。这不是疏忽:一次闭合是否恰当,需要参照序列之外的信息,而那不在这套编码的观察窗口里。
| 账本 | 记账单位 | “因何而止”的字段 |
|---|---|---|
| 教案与进度 | 步骤与时长 | 无(只有预算) |
| 测评 | 延迟的合并产出 | 无(无法归因到单次) |
| 学生自己的账 | 懂了/没懂 | 无(它就是被质疑的指示器) |
| 课堂话语研究 | 话轮与序列 | 有形式闭合,无功能终止 |
四本账的形状是同一个:它们都记录介入做了什么、持续多久、产生了什么可见结果,没有一本记录这次介入是依据什么判据结束的。而这一点正是本章第七节要说的那句话的账本形态:终止判据需要一个参照点,而这个参照点在介入结束的那一刻不可观测,于是整个系统默认使用了一个可观测的替身——学生的反应信号。这个替身产生于介入过程内部,而不是产生于介入之外。
这里要多说一句,因为它决定了后面整篇的问法。 一个常见的反应是:那就把测评提前、把作业当天批完、把反馈回路缩短——总之让那个参照点尽快变得可观测。这个方向在直觉上无可挑剔,而且现行的教育技术投入大部分正是往这个方向去的。但请注意它做的是什么:它在缩短从停手到看见结果的时间,而不是在改变看见的那个结果从哪里来。把作业当天批完,批的仍然是这次介入之内布置的任务;把反馈回路缩到一节课之内,读的仍然是这节课之内产生的信号。
本章要问的不是“多久能知道”,是“从哪里知道”。 这两个问题在现行的四本账里长得很像,因为四本账都按时间组织;而一旦按来源组织,它们立刻分开:教案、测评、学生自己的账、课堂话语研究,四本账的全部字段无一例外取值于介入之内或介入之后的合并结果,没有一本有一个与这次介入分离的字段。这不是四次疏忽,是一个共同的组织原则的后果。
教师据以停止的那组信号,在这一领域已有专名。纠错反馈之后学习者的即时回应——重复、修正、“哦我懂了”——被编码为摄取,而它能否作为反馈奏效的指标,是一场持续近三十年的争论。一九九八年的一项研究直接把即时摄取称为方法学上的“红鲱鱼”:重铸产生了学习效果,而当场几乎没有任何摄取;学习者对重铸的即时反应,不预测他此后是否会使用它(Mackey & Philp 1998)。
把本章第一版稿的“教师据以停止的那组信号”整段换成“摄取”,逐句照样成立,一个字都不用改。
它没到的一步,对本章是坏消息而不是好消息:这条文献报告的是双向脱耦——有信号未必学会,没信号也可能学会。而第一版稿主张的是单向偏早。第一版稿若只统计了失败、没统计“迟到的成功”(当场没反应、几天后却会了),那是一个采样偏差。
Soderstrom 与 Bjork(2015)的综述把这件事写成了权威陈述:教学的首要目标是长期学习,而训练过程中我们能观察和测量的是表现,后者常常是前者的不可靠指标;人们常把习得期间的表现误当作长期学习的可靠向导。第一版稿的第一、二两件,被这一章一并吃满,而且它对第二件的论证就是这篇综述的中心论点。
它没到的一步,同样对本章不利:这个框架是对称的——某些操作压低当场表现却提高长期保持,另一些抬高当场表现却损害保持。也就是说信号可以偏晚,不只是偏早。
Green 与 Swets(1966)的信号检测论把“他能分辨多少”与“他把阈线设在哪里”在数学上彻底分开:判据移动系统性地改变错误的方向而不改变辨别力;提高观察努力提高辨别力,也不自动把判据移到正确位置。“更仔细地观察消除不了判据偏移”不是一个发现,是一九六六年那本书的第一课。
不过这一位留下了一个可以站的位置:在信号检测论里,判据的位置由收益矩阵与先验概率决定,是外生的、可任意的。因此它不预测方向。若要主张课堂上的判据系统性偏向“够了”一侧,必须论证课堂的收益结构本身不对称——当场的误判对教师无成本,而漏判的代价要数日后才显现。这个论证是可以做的,但它必须写成“在信号检测论的框架内给出教学场景的收益不对称论证”,不能写成一个发现。
Nelson 与 Dunlosky(1991)发现:学完当场对“我学会了吗”的判断很差;把同一个判断推迟几分钟、在只给线索不给答案的条件下做,准确性跳到接近完美。机制不是“判断得更仔细”,而是改变了判断所依据的线索来源——当场判断被工作记忆里的痕迹污染,延迟判断只能依赖长时记忆的可提取性。
“延迟 + 无提示 + 独立复现”这三件在元认知方法学里是一个有名字的标准程序,不是本章的发明。 而且它留下一个本章必须回答的问题:这一路的延迟量级是分钟(切断短时残留即可),第一版稿主张若干日。若偏差在延迟五分钟后就基本消失,第一版稿就只是这个程序的课堂重述。
Loewen(2005)把同一个操作在真实外语课堂上做完了:观察十七小时课堂,识别四百九十一个聚焦形式的片段,为每个片段为当事学生单独定制测验题,要求在无提示条件下回忆;一天后正确或部分正确约六成,两周后约五成,并报告成功摄取是测验成绩的显著预测因子。第一版稿第三件的操作程序,二〇〇五年已经发表在这一领域的旗舰刊上,而且单位就是“教师每一次介入及其停手”。
第一版稿称这一条是“本章唯一的原创”。它不是原创,它是常识。
Webb、Campbell、Schwartz 与 Sechrest(1966)的专著全书立论前提就是社会科学测量具有反应性——测量本身是一个改变的施动者;副题就叫“社会科学中的非反应性研究”。Campbell(1979)的定律更尖锐,而且直接以教育测验为例:当测验分数成为教学过程的目标,它既失去作为教育状况指标的价值,也以不良方式扭曲教育过程。Soderstrom、Clark、Halamish 与 Bjork(2015)的摘要把第一版稿的论证结构逐字写了出来:研究中常有一个默认假设——询问元认知判断不影响学习过程本身——三个实验表明这个假设不成立。Karpicke 与 Roediger(2008)的整个实验设计前提就是“停手这个动作会改变后续轨迹”:以“答对一次即撤出后续练习”为停止规则,一周后保持严重受损。若这不是常识,它无法作为一个不加论证的操纵变量存在。
还有一层更讽刺的:本章用来读取停止信号的那个动作——提问、要求作答——在记忆研究里是已知最强的学习干预之一。在教学研究里,“停止改变被测对象”不仅是常识,而且是一个被主动利用的效应。
机器学习里有一个与本章同名的概念:早停。它是深度学习中最常用的正则化手段之一,是刻意为之的好事——训练过程中每当验证集误差改善就保存一份参数,最终返回的是那一份而不是最新的一份。
这个同名近反指必须在正文里交代,否则读者会带着相反的义读本章。 而交代它的过程恰好给出了本章的全部主张(见第七节):两者的真正分野不在“早”,在停止判据是否独立于被优化的那个量。
第一版稿曾在正文里单列一节,声明“本轮写作未使用外部文献检索,全部引注出自作者知识库存”。本章补上了那次检索,结果就是上面这份名单。这不是一次补充,是一次推翻:第一版稿自认为的四条主张,检索之后一条不剩。
必须说在前面的一句:这些先到者没有一位有疏忽。信号检测论要回答的是观察者如何在噪声中做二元判断,在那个问题里判据的位置由外生的收益矩阵给定,方向无须预测;摄取效度的争论要回答的是互动反馈是否促进习得,在那个问题里“教师何时停手”不是被研究的对象;反应性测量要回答的是如何减少测量对对象的扰动,在那个问题里“增加一次测量”本来就是要避免的事。一个领域看不见什么,通常不是它的缺陷,是它的问题结构的影子。
本章借用三个与外语教学无关的领域,它们各自把一条终止判据走到了底。
分析化学的滴定给出最直观的一条:滴到指示剂变色就停。它的内部结构精确到令人不安:等当点是加入的滴定剂与待测物在化学计量上恰好相等的那一刻,终点是分析者实际停手的那一刻,由指示剂的可观察变化触发;两者之差称为滴定误差,并被明确归类为可测定的系统误差而非随机误差。它的立场是:看当下显露的信号就够了。
这一家自曝的一处极硬:按定义方式确定的变色转变点,并不总是与肉眼观察到的颜色变化精确对应;而当指示剂转变点的酸碱度偏离滴定等当点的酸碱度时,系统误差随之产生。
临床试验的序贯设计给出最严格的一条:停止规则必须在开始之前写死,过程中不得因为看到好结果而临时终止。理由是一个统计事实——反复查看累积数据并在显著时停止,会使一类错误随查看次数上升。由此发展出成组序贯边界与检验水平消耗函数(Armitage, McPherson & Rowe 1969;Pocock 1977;O’Brien & Fleming 1979;Lan & DeMets 1983)。它的立场是:看预设边界上的累积证据就够了。
抗生素疗程之争给出第三条:看病原与耐药这个条件场。二〇一七年的一篇文章直接挑战“必须吃完整个疗程”这条公共卫生教条,其核心句是:认为提前停止抗生素治疗会助长耐药,这个观念在大多数情形下是错的;并指出没有证据表明对任何一种常见细菌感染,提前停药会增加患者发生耐药感染的风险。它的立场是:看病原与条件场就够了,症状不是判据。
这一家同样自曝:在剂量不足或单药治疗且治疗中会出现自发耐药突变的感染(如结核、艾滋病)里,靶点选择性耐药确实会发生;而且该文自己的表格里列出了一个直接反例——两岁以下儿童急性中耳炎,五日疗程在临床失败上劣于十日疗程。
三家的互不相容是硬的。序贯设计说停止规则必须预先写死、过程中的观察不得改变它;滴定的整个方法就是根据过程中的观察决定停止。滴定说等信号出现再停;抗生素那一家说症状信号根本不是该看的东西。序贯设计的核心纪律是规则不得更改;抗生素之争的整个论点是既有规则(吃完疗程)本身是错的。
三家各自的可清点对象都是成熟的,这一点对本章有实际用处。 滴定那一家有滴定误差、空白值、指示剂变色区间;序贯设计那一家有信息分数、查看次数、消耗的检验水平、效应量的早停膨胀比;抗生素那一家有疗程天数、复发率、耐药分离率。三组量纲互不相通,但三组都在回答同一个问题的三个侧面:这次停手,离“该停”差了多少。 本章第十节的读数正是要在课堂上找出一个同形状的量。
还有一处必须写明,因为它关系到本章能不能从这三家取到材料。 第一版稿把这三家的立场写成了“三条终止判据”,那是对的;但第一版稿没有注意到,三家在一件事上的处境完全不同——只有序贯设计那一家,其停止的触发量与被估计的量是同一个量。 滴定的指示剂响应的是化学计量关系,不是“我已经加了多少”;抗生素的症状响应的是炎症反应,不是“我已经吃了几天”。唯有序贯分析,中期看的是效应量本身,而停手的条件就是这个效应量越过一条界。这个结构上的独特性,决定了第六节那件推翻共同假定的材料只能从这一家取。
序贯设计预设边界,是为了不误判那个客观存在的真实效应;滴定校正指示剂,是为了逼近那个客观存在的等当点;抗生素那一家争论疗程,是为了对准那个客观存在的病原清除时刻。三者的技术不同,但三者都在做同一个动作:
三家共同假定:那个该停的时刻,由被判定过程之外的某个事实决定,因而停止判据的任务是尽量准确地反映它。
念给三家听,三家都会说“这还用说吗”——化学计量关系不因分析者何时停手而移动;真实治疗效应不因试验何时终止而改变;病原的清除进程不因医生何时停药而快慢。三家的判据都指向过程之外的一个量。
而在教学里,这个假定失效的方式与第一版稿所说的不同。第一版稿说失效是因为“停止改变了被测对象”——那一条是常识(第 3.4 节)。真正失效的地方更具体:教学的停止判据所读取的那个信号,不是来自过程之外,而是来自过程内部。 学生的点头、答对、不再提问,全部产生于这次介入之中,是这次介入的直接产物。滴定的指示剂虽然也在烧杯里,但它响应的是化学计量关系这个外部事实;而课堂上的点头,响应的是刚刚讲过的这段话。
这个差别可以用一句话把三家和课堂分开:在三家那里,停手之后,被判定的那个量仍然在那里——溶液里的化学计量关系不因分析者放下滴定管而改变,真实治疗效应不因试验终止而改变,病原不因停药而消失,因此判据错了还可以再测一次。而在课堂上,教师说完“好”之后,那个信号源就没有了:学生不再被问,不再作答,不再有机会显出他是不是真的会。判据与被判定量同源,加上停手即切断信号源,这两件合起来才是教学的特殊处境,而三家各自只碰到其中一件——滴定的指示剂同源但不切断,序贯设计切断但判据与被估计量在同一量纲上(这正是第六节那件材料能被测出来的原因),抗生素那一家两件都不沾。
这也是为什么第六节必须从序贯设计取材,而不是从滴定取材。 三家里只有序贯设计一家,其停止的触发量与被估计的量是同一个量;因而只有它的领域里,“判据同源会怎样”这件事被真正量出来过。
推翻一个共同假定,从外部搬理由来是没有用的。有用的材料必须是持有这个假定的某一家自己已经掌握、只是没往这个方向用的事实。
本章使用的那件来自临床试验方法学。二〇一〇年一项系统评价与元回归比较了九十一项因获益提前终止的随机对照试验与四百二十四项未提前终止的对照试验,结论句是:提前终止的试验与更大的效应量相关;这个差异独立于是否存在统计停止规则,并且在较小的研究中最大。
这句话里最要紧的不是“更大”,是“独立于是否存在统计停止规则”。
三家共有的那个假定说:判据的任务是准确反映过程之外的那个事实,所以只要把判据定得足够严格、足够预先、足够不受过程影响,偏差就该消失。而这一条读数说:把规则预先写死,偏差并不消失。 原因不在规则严不严,在于触发停止的那个量与被估计的那个量是同一个量——中期分析读的就是效应量本身,而停止的条件就是这个量越过某个界。规则再严,读的还是它自己。
必须同时写出这条材料的两处限制,否则本章就是在挑对自己有利的部分引用。 其一,“系统性高估”这个措辞出自该文摘要里对理论与模拟的转述,而它自己的结论句用的是“与更大的效应量相关”这样的关联性表述,不是因果断言。其二,这个差异集中在事件数少于五百的小样本,并非普遍恒定的常数;也就是说它随信息量增加而衰减。本章引用它时不得略去这两点。
这件材料在试验方法学自己的领域里回答的是另一个问题:早停试验的结果该如何解读与合并。没有人把它当作“停止判据与被判定量同源”的一般证据。但它恰好是这个证据——而且是这三家里唯一一家真正把判据与被判定量放在同一个量纲上、因而能测出这件事的。
教师在那个时刻停下,导致学生几天后无法独立复现:
不是 Y₁:他观察得不够仔细——判据的位置与辨别力正交,提高观察质量不移动判据(Green & Swets 1966;Soderstrom & Bjork 2015);
也不是 Y₂:他缺少延迟数据——延迟无提示复现早已被做过,四成到五成的失败率早已被报告,测出来了并没有改变任何人的停手方式(Nelson & Dunlosky 1991;Loewen 2005);
也不是 Y₃:停止本身改变了被测对象所以本来就无解——这是常识,而且不妨碍求解(Webb et al. 1966;Campbell 1979;Karpicke & Roediger 2008;Soderstrom et al. 2015);
而是 Z:教学的停止判据,其取值来自被它判定的那同一个过程内部——它是一个没有外部验证集的停止规则。
同名的那个“早停”正好给出对照。机器学习里的早停是好事,其操作是:每当验证集上的误差改善就保存一份参数,最终返回那一份。这里的关键不是“早”,是验证集与训练集分离——用来决定何时停的那个量,不参与被优化的那个过程。
课堂上的早停是坏事。不是因为它早,而是因为决定何时停的那个量,产生于被优化的那个过程内部:点头是刚讲完这段话的直接产物,答对是工作记忆里还留着例子时的直接产物,不再提问是这次互动的直接产物。
由此得到一个可以直接拿去判的同源性判别:
一个停止判据是外部的,当且仅当它同时满足三件事:(一)材料分离——据以判定的作答,其题目或情境不是这次介入里已经呈现或已经练过的那一份;(二)无提示——作答时手边没有介入中的提示物,且与介入之间隔着足以清空工作记忆的时间;(三)回接——作答结果被记到这次停手决策名下,用来调整下一次同类内容的停手时机。
统稿时重写了这条定义,第二版稿的写法是错的。 第二版稿写“外部判据的取值不因这次介入的进行而改变”。评审甲指出这句话不能成立:两天后的复现当然随教学如何进行而改变——若完全不变,它就测不出任何教学所得,也就不能用来判定这次停手停得对不对。机器学习里的留出验证同样不要求验证误差不随训练变化:训练改变模型,模型在验证集上的表现随之改变,早停正是看着这条变化的曲线选停点。分离的是数据与优化用法,不是“不受影响”。本章的同源性因此改为上面三条可分别核对的条件:材料是否分离、作答时有无提示、结果有无回接。
按这一条去看:即时检验题同源(它检的就是刚讲的那一段);把问题问得更细、多问几个学生、要求学生解释——全部同源,因为它们全部在介入之内取值。而在两天后、无提示条件下、题目不是介入里练过的那一份的一次独立复现不同源:它满足前两条;只要把它的结果记到这次停手名下,就满足第三条。
这一条同时解释了第三节那些先到者为什么都停在原地:他们测出了偏差(摄取效度、表现与学习之分、延迟测验的失败率),但没有一位把测出的那个量接回停手规则。在机器学习的语言里,他们都建了验证集,没有一位用它做早停。
本章提出的不是“信号不可靠”这个观察,而是一个动作:把延迟无提示复现的结果,按介入单元回接到停手规则上,并据此调整下一次同类内容的停手时机。
这也是本章唯一可以被证伪的地方。 前三条都是既有发现,推翻它们与本章无关;能推翻本章的只有一件事:做了闭环的教师,其学生的延迟复现表现并不优于只看到延迟数据而未做闭环的教师。 第十四节把它写成三条检验。
删掉本章这个动作之后,“判据同源”这件事照样存在,只是没有人把它接起来。因此本章做的是操作化。 它把一个在其他领域已成熟的结构判别(用于决定何时停的量必须与被优化的量分离)搬到一个此前没有被这样读过的场合,并给出一个可清点的读数与一套闭环规程。这件工作有价值,但它的价值上限由“搬运加一个闭环”这个性质决定。
第一根轴是介入结束时的即时信号(已出现/未出现),第二根轴是判定后的独立复现(成功/失败)。
| 判定后复现成功 | 判定后复现失败 | |
|---|---|---|
| 即时信号已出现 | ① 真到位 | ② 本章要打的那一格(全部形式审查通过) |
| 即时信号未出现 | ③ 迟到的成功(第一版稿漏掉的一格) | ④ 明显未到位(看得见) |
第二格的三个签名。 其一,它在短期指标上表现为改善:单位时间覆盖更多内容,进度更快,当堂正确率高。其二,它的失效不产生任何信号——按定义,这一格的信号已经出现了;失败要到几天后才显形,而那时它会被归因给别的东西(学生没复习、这个点本来就难)。其三,它自我加固:早停使进度更快,进度更快使每个点分到的时间更少,时间更少使教师更依赖快速信号,于是停得更早。
第三格必须单列,这是本章相对第一版稿的一处更正。 第一版稿把它一笔带过为“费时但无害”,那是错的,而且是一个采样错误:这一格是当场没有信号、几天后却会了——潜伏学习的方向。既有文献明确记录了这个方向的存在,而第一版稿只统计失败、不统计迟到的成功,会把一个双向的偏差报告成单向的。本章因此不再主张偏差“系统性偏早”,只主张它同源。 方向问题交给第十四节的第二条检验。
第一格与第二格在当场不可分:在介入结束的那一刻,两格的一切可观察指标完全相同。区分它们所需的信息在定义上位于停止之后。这不是教师的能力问题,是这个决策结构的性质——而这正是同源性判别所刻画的那件事。
这节课里,教师判断“可以往下走了”之后,有几次是让学生在无提示条件下重做一遍同一件事、并记录了结果的?
这句话里没有“充分”“恰当”“真正”“有效”。它问的是一个可以清点的数,且有三个明确限定:在判定推进之后(不是之前);无提示条件(不是再讲一遍再做);记录了结果(不是看一眼就过)。
把它放到五个场景里跑一遍:
常规的语法讲解课:通常是零。即时检验发生在判定之前,按同源性判别它属于介入内部,不计入。
配有课后作业的同一节课:仍然是零,但理由不同——作业确实是无提示条件下的复现,但它的结果通常在第二天才被看到,而且不会被回溯到具体的那一次停止决策上。这一条是查出来的,并且反过来改了本章的处方:校正信息其实已经存在,只是没有被回接到决策点。不必新增测量,只需把已有的作业结果按介入单元回连。
采用掌握学习的单元教学:可以较高——形成性测验正是判定之后的独立复现。但掌握学习的测验通常也紧跟教学,按同源性判别仍是同源的。这是本章与掌握学习分界的关键。
一对一辅导:通常最低。辅导的效率优势来自实时反馈的密度,而高密度反馈意味着几乎不存在“无提示条件”这一状态。这是本章最不愿意得出、但必须得出的推论。
间隔若干天后的复现检查:取决于教师是否有意安排。这一条给出一个尖锐的观察,也是查出来的:间隔复现在教学中通常被当作复习,而不是当作对上一次停止决策的校正。同一个动作,两种定位,而只有后一种定位能闭合回路。
五个场景跑完之后,有一件事是事先没有想到的,而且它改了本章的处方。 五个答案里有四个是零或接近零,而零的来源各不相同:常规课是因为检验发生在判定之前(时序问题);配作业的课是因为结果没有被回连(归档问题);掌握学习是因为测验紧跟教学(同源问题);一对一辅导是因为不存在无提示状态(密度问题)。四种零,四种不同的原因,而在任何现行的记录里它们长得一模一样——都是“这一栏没有数”。
这一条直接决定了本章的处方形状:如果四种零同形,那么任何以“提高这个数”为目标的干预都会打偏,因为它们需要的动作完全不同(前移改时序、回连改归档、外取改来源、留白改密度)。本章因此不主张“把这个数做上去”,只主张先把这四种零区分开。第十节的清点手册据此要求每一次缺测都标明原因,而不是记为零——把结构性不可采集记为零,会把制度问题读成教师问题。
第一版稿的读数是一个比率,并把它称为“空白值”,借自分析化学的空白试验。本章撤回这个命名,因为这个比喻借错了。 空白试验是在没有分析物的条件下测得的,它测的是零点漂移,其定义特征是与分析物浓度无关的常数。而延迟复现的失败率是在有学生、有学习的条件下测得的,它几乎必然随学生水平与内容难度变化。形式上它对应的是回收率或方法偏倚,不是空白。一个懂分析化学的读者会在这一处发现硬伤。
本章改用一个时刻型读数:
判定后存续期=从教师判定可以推进的那一刻起,到该目标首次在无提示条件下失败为止的间隔天数。
10.1 为什么是时刻而不是比率
比率回答“有多少比例失败了”,时刻回答“撑了多久”。后者有三个前者没有的好处。其一,它是一个生存量,可以按删失数据处理——到观察期结束仍未失败的记为删失,而不是记为成功,这比一个二元判定诚实得多。其二,它自然容纳第三格:迟到的成功在生存分析里就是一次延后的事件,不必被扭成“失败”。其三,它直接可比:不同教师、不同内容类型的存续期分布可以并排看。但这一条第二版稿写错了——第二版稿写“不需要先统一一个失败的定义”,评审甲指出这不能成立。统稿更正:存续期是一个区间删失的量,离散日期的复测只知道失败发生在两次复测之间;每一次复测本身又是一次提取练习,会延长后续的存续期。不同教师之间要可比,失败的定义(错到什么程度算失败)、复测的间隔与次数、删失的处理方式,必须在采集之前统一写死。第十五节第四小节的回溯方案已按此补写预注册项。
10.2 它的正交性
一个当堂正确率高达九成五、进度超前、课堂评价优秀的班级,其中位存续期可以很短;而一个当堂正确率只有七成、进度偏慢的班级,其中位存续期可以很长。两个读数方向系统性相反——因为提高当堂正确率最有效的手段正是在讲解之后立刻检验,而按同源性判别那正是不计入的那一类。
10.3 清点手册
定义:判定后存续期=在教师对某一介入单元判定可推进之后,到该目标首次在无提示条件下失败为止的自然日数;到观察窗结束仍未失败者记为删失,并记录删失时点。
介入单元的界定:针对同一个可命名的语言目标(一个语法点、一组搭配、一种语用策略)的连续教学处置,从首次呈现到教师明示或默示地转入下一目标为止。
无提示条件的界定:复现任务中不得包含该目标的规则陈述、例句、模板或提示词;不得在复现前重述该目标;教师不得在复现过程中给予针对该目标的反馈。允许存在的只有任务本身的语境。
失败的界定:在该目标上出现错误,或回避使用该目标而采用替代表达。回避计为失败,这一条必须写死,否则本读数会被回避行为系统性地拉长。
一个恰好在边界上的例子:学生在复现任务中正确使用了该目标,但明显是从上一次作业里照抄的原句。本手册规定:算失败,单列标记为“原句迁移”,理由是该目标尚未脱离首次语境。
观察窗:自判定之日起至少三十个自然日,期间至少三次无提示复现机会(建议第 2、第 7、第 21 日)。这个安排同时回应一个必须回应的问题:既有文献里同类偏差的延迟量级是分钟级(切断短时残留即可),而本章主张日级。三次取样正是为了区分这两者——若偏差在第 2 日已基本饱和,本章测的就是短时可及性污染,与既有程序无异;若存续期的分布在第 7 与第 21 日仍在显著下降,本章测的是另一种东西。
不适用:纯记忆性内容(其复现受纯遗忘支配);零起点阶段;单次介入短于三分钟的微小处置。
判定形式统一写成:若观察到某项,则本章对而该说法错;若观察到另一项,则反之。
与摄取效度之争(Mackey &** Philp 1998)。它报告的是双向脱耦。判定**:若延迟失败与即时信号的脱耦是双向的(有信号未学会、无信号却学会各占相当比例),则它对,本章不得声称方向;本章的主张不依赖方向,只依赖同源——因此这一条不能推翻本章,但能推翻第一版稿。
与表现和学习之分(Soderstrom &** Bjork 2015)。它是对称的。判定**:在高支架的介入里应见偏早,在交错或间隔设计的介入里应见偏晚。若本章报告全课型一律偏早,说明测的只是课堂默认高支架这一种条件。
与判据和辨别力之分(Green &** Swets 1966)。它不预测方向,也不含“停止”这个动作——在信号检测论里观察者说“是”并不会让刺激消失。判定:若课堂上的停止只改变读数而不切断信号源,它对;而教学的定义性特征恰恰是说“好”之后信号源被切断。本章与它的实质差别在此,而不在别处。**
与序贯检验的可选停止(Armitage, McPherson &** Rowe 1969)。这是本章形式上最贴近的一位:停止是内生的,停止规则确实改变估计量的分布,而且“查得越勤偏倚越重”在那里是可证明的定理。判定:偏倚是否随教师在一次介入中检查学生反应的次数单调增大。若是,序贯偏倚的解释充分,本章的同源性判别是它的一个特例;若不是,同源性是一个更宽的条件。这是本章最有可能拿到独立证据的地方,也是本章最可能被归并的地方。**
与延迟判断(Nelson &** Dunlosky 1991)。它的延迟量级是分钟。判定**:见第十节的三次取样。若偏差在第 2 日已饱和,本章归并入它。
与个体化延迟测验(Loewen 2005)。它把延迟测验当作效果的度量,本章把同一个数当作判据的输入。判定:本章必须证明这个数能反馈回停手决策并把后续失败压下去。没有这个干预结果,本章与它无实质分歧。
与掌握学习。它把标准当作一个可设定的固定阈值,而它的形成性测验通常紧跟教学,按同源性判别仍是同源的。判定:在掌握学习班级中,达标后一周做一次无提示复现。若失败率接近零,掌握标准已捕捉到位状态,本章无价值;若显著大于零,且与达标时的正确率无关(八成达标与九成五达标者一周后表现相当),则更严格的同源判据没有减少偏差,本章对。这是本章最便宜的一条检验。
与过度学习(Krueger 1929)。它的处方是按比例延长练习量,其变量是练习量,它不问那个“标准”本身是否同源。判定:比较“统一延长练习量”与“按同源性判别重新安排判据”。若两者效果相当,过度学习的简单处方充分。
与撤出后续提取(Karpicke &** Roediger 2008)。它把停手的坏处归为被剥夺的后续练习量。判定:停早但事后补练至等量。若成绩恢复,纯属剂量效应;若不恢复,停手的时点**留下不可补偿的印记。
与形成性评价。它的证据在过程中收集、用于调整当下的教学——按同源性判别,整条回路都在过程内部。判定:比较高频形成性评价班级与做闭环校正班级的存续期。若高频组同样延长存续期,形成性评价充分。
与教师判断准确性的元分析(Südkamp, Kaiser &** Möller 2012)。它报告中高相关而远非到位,且准确性受判断情境的结构条件调节而非受教师努力调节——这一条支持本章的第二个否定。但它同时给出一个坏消息:偏差方向在文献里不是单向的,且随学生水平可能反号。判定**:本章必须分层报告;若存续期与学生水平的交互与该文献一致,则“偏早”不可作为一般陈述。
与专家盲点(Nathan &** Petrosino 2003)。教师因自身内容专长而高估学生理解——这是“偏早方向”的一个已有的、有名字的机制**。本章若要谈方向,必须引它而不是重新发现它。
与掌握阈值的长期收益(Matayoshi, Cosyn &** Uzun 2022)。大样本自适应学习数据显示,高掌握阈值带来的保持优势在数周后基本消失。这一条直接威胁本章闭环的长期价值。判定**:闭环组的优势若在一学期后消失,本章的实践含义大幅收窄,只剩“短期内减少返工”。
与机器学习的早停。同名近反指。判定:见第 7.1 节的同源性判别——这不是一个需要实证裁决的分歧,是一个定义上的分野,必须在正文交代以免误读。
与“学得会但当场不表现”这一路(潜伏学习一类的经典发现)。它记录的方向与偏早相反:外显表现低估内部状态。判定:统计辨别格第三格(当场无信号、事后却会了)的比例。若该比例可观,任何单向的方向陈述都不成立;而本章的主张不依赖方向,这一条因此不能推翻本章,只能推翻第一版稿。把它列在这里,是因为第一版稿只统计失败、不统计迟到的成功,那是一个采样偏差,必须由本章补上。
与“重学覆盖”这一发现。一项研究操纵了初次学习的停止标准(成功回忆一次到七次不等),随后以一周为间隔做数轮重学,结果是:初次停得晚所买到的优势在数轮重学之后基本消失,作者称之为重学覆盖效应,并在一个月的保持间隔后复现。这一条直接反驳第一版稿写过的“早停之后怎样复习都救不回”,本章据此删去该句。判定:若闭环校正的优势同样被后续重学抹平,本章的实践含义只剩“减少返工成本”;若不被抹平,说明停手判据的来源影响的不只是初次的巩固量。这是本章与该发现之间唯一的分歧点,也是第十五节条件九的来路。
与前瞻偏差(Koriat &** Bjork 2005, 2006)——本书统稿时补请的一位。** 那一路的发现:学习判断是在测验时不在场、却被要求产出的信息在场的条件下做出的,因此系统性膨胀;延迟到答案不在场时再判断,膨胀消失。这占了本章“同源”这个词在学习者一侧的全部含义——判断与被判量取自同一处。本章第二版稿请了延迟判断(Nelson & Dunlosky 1991)而没有请这一路,是一处漏。本章的剩余只在两处:其一,判断者换成了教师,判断的后果换成了资源分配(讲不讲、讲多久、查不查);其二,那一路把延迟判断用于学习时间分配(二〇〇六年实验五),没有一位把它接回“何时停止讲解”这个教师决策——本章的定义第三条(回接)正是这一处。分离观察:让教师按前瞻偏差的纠正法(先让学生做一次延迟无提示判断,再决定是否停手)与按本章的闭环(把延迟复现结果回接到下一次同类内容的停手)各做一学期。若两者得到相同的存续期改善,本章是前瞻偏差在教师侧的应用,应并入第三节名单;若只有回接有效,本章成立。核验状态:本轮实搜坐实(两篇原文摘要)。
| 说法 | 把什么当作给定 | 因此看不见什么 |
|---|---|---|
| 掌握学习 | 存在可设定的客观掌握阈值 | 阈值的取值来自过程内部 |
| 形成性评价 | 读得更勤就判断得更准 | 读得更勤只是更密地读同一个内部量 |
| 延迟测验 | 延迟测验是更真实的测量 | 它还可以是判据的输入 |
| 摄取效度之争 | 问题是这个信号准不准 | 问题是这个信号从哪里取值 |
判据只有一条:一旦承认右栏那件事,左栏那个说法自己就塌了。掌握学习若承认阈值取值来自过程内部,“设定一个标准然后据以推进”这个纲领就失去前提;形成性评价若承认高频读取只是更密地读同一个内部量,“持续收集证据”的改进方向就指错了。
四行背后是同一块地:
学术界共同假定,改进一个判断的办法是改进测量——更频繁、更精细、更延迟、更多样;而“这个测量的取值来自哪里”不是一个被提出的问题。
这里必须诚实:本章并不认为这块地基是错的。在绝大多数用途下,改进测量是有效且必要的。本章主张的只是:当被改进的那个测量与被判定的过程同源时,改进它不改变它的同源性——而教学的终止决策恰好是这样一个场合。
与《调用半径》:同一次“检验报正常”——那一章判检验落在被检验者的收缩范围以内(场景距离),本章判检验的取值来自被判定过程内部(同源)。两者可同时为真而互不蕴含。分离观察:加远场任务能救那一章的案例,救不了本章的——因为一个远场任务若仍在介入之内进行,按同源性判别它仍是同源的。
与《填补即封闭》:同一次“帮助之后表现照旧”——那一章判这次帮助扣减了学生的替代路径余量,本章判这次帮助的成功本身就是停手的依据。两章合起来给出一个联合预测:存续期最短的那些介入,也应当是替代路径余量被扣减最多的那些;若二者不相关,两章的机制独立。
与《持有位》:同一位撤除支持后表现下降的学习者——那一章判由支持的类型决定,本章判由停手判据的同源性决定。可同时测。
与《判同清单》:同一句“这个讲过了”——那一章判这句话的判据依赖一份没写下来的属性清单,本章判停手那一刻的依据取自过程内部。两章是同一种病的两个部位:一个在“是不是同一件事”上没有外部判据,一个在“够不够了”上没有外部判据。
与《可问处》:同一堂发起权不轮换的课——那一章判发起权连续不换人,本章判没有留下可供校验的外部量。分离观察:增加异常密度,那一章预测最长连发段变短,本章预测存续期不变——因为学生发起的那一次仍在介入之内。
与《抽样框》:同一次课堂追问——那一章判候选集由观察条件生成,本章判追问无论换不换条件都在介入之内取值。同一份材料两章给出相反评价:一次高质量的换条件追问,按那一章判为信息量高,按本章仍判为同源、不计入。
与《代价落在哪里》:同一项“提高效率”的改进——那一章追代价的归宿与补偿轮次,本章追停手判据的取值来源。互补。
与《定性早于成熟》:同一位被判为“已经掌握”的学生——那一章判这个判定删除了他的成熟态,本章判这个判定的依据来自过程内部。两章最接近,必须分清:那一章的变量是判定的先后(成熟之前还是之后),本章的变量是取值来源。一个判定可以做得很晚(在成熟之后)而仍然同源。分离观察:把判定推迟而仍用即时信号,那一章预测删除不再发生,本章预测同源问题照旧。
与《离场之后》:同一位课程结束后不再使用目标语的学生——那一章判空档期里未完成的重启,本章判课程期间每一次停手都缺外部校验。分离观察:测毕业时的累计存续期是否预测离校后轨迹。
第一条 · 闭环有效。 向教师提供其按内容类型的存续期分布,并要求据此调整同类内容的停手时机;闭环组学生的中位存续期显著长于仅看到延迟数据而未做闭环的对照组。若不成立,本章与既有的延迟测验研究无实质分歧。这是本章的全部。
第二条 · 方向待定。 本章不主张偏早。第三格(当场无信号、事后却会了)必须被单独统计并报告其比例。若该比例可观,任何单向陈述都不成立。
第三条 · 同源性可分离。 在介入内部施加的任何改进(更频繁、更精细的即时检验),不显著延长存续期;而在介入之外取值的一次复现,显著延长之。若介入内部的改进同样有效,同源性判别不成立,本章的核心区分为伪。
这三条的次序不可换,理由要说清楚。 第三条是前提:同源性若不能被分离地检验,第一条的闭环就无从解释——闭环组即使更好,也可能只是因为多做了一次复现(多一次提取练习本身就有效),与判据的来源无关。因此第一条的设计必须让对照组做等量的延迟复现,只是不把结果接回停手规则。这一点是本章全部实验设计里最容易做错、也最容易被审稿人一击打穿的地方:只要对照组少做一次复现,整个结果就可以被“多练了一次”解释掉,而那正是既有文献早就知道的事。
第二条则是一道闸而非一条检验:它不判本章对错,只判本章能说多大的话。若第三格的比例可观,本章在任何场合都不得使用“偏早”二字——而第一版稿正是在这一点上说了大话。
这三条目前一条都没有数据。 这句话写在这里,不写在局限性一节。
15.1 最强的竞争解释
其实不就是遗忘吗?隔几天当然记不住,这和教师什么时候停没关系。
这句话之所以最强,是因为延迟失败在表面上完全可以由遗忘解释,而遗忘不需要引入任何新概念。本章的回应必须落在两处:遗忘预测存续期主要随间隔长度变化,本章预测它主要随教师与内容类型变化;遗忘不预测“介入内部的改进无效”这一条,而本章预测它。因此所有条件都必须包含间隔的控制。
15.2 九条
条件一(闭环):若闭环组与对照组的存续期无差异,本章为伪。
条件二(同源性):若增加介入内部检验的频率与精细度显著延长存续期,本章的核心区分为伪。
条件三(掌握标准):若在掌握学习班级中,达标后一周的复现失败率接近零,本章无价值。
条件四(阈值无关):若一周后的表现与达标时的正确率显著相关,则更严格的同源判据确实减少了偏差,第十一节的分界不成立。
条件五(间隔控制):控制复现间隔后,若存续期不再随教师与内容类型系统变化,遗忘是主要机制,本章为伪。
条件六(分钟级饱和):若偏差在判定后第 2 日已基本饱和、第 7 与第 21 日无进一步下降,本章归并入延迟判断学习那一路。
条件七(时点与剂量分离):若停早但事后补练至等量后成绩完全恢复,停手的时点没有独立贡献。
条件八(编码信度):若两位独立编码者按第十节手册对同一批复现任务编码,一致性低于零点七,本读数不具备可清点性。
条件九(长期性):若闭环组的优势在一学期后消失,本章的实践含义收窄为“短期减少返工”,独立价值大幅下调。
15.3 被证伪能学到什么
若条件二被触发,学到的是:同源性不是一个有效的判别,教师的判断偏差确实可以靠更好的当堂检验消除,而现行的形成性评价路线是充分的。这会同时推翻第七节与第十二节。
15.4 一份可以立刻做的回溯检验
本章最便宜的检验不需要任何新实验,因为已经有一份公开数据在结构上完全对应。
一个广泛使用的智能导学系统设有自动复评与重学机制:当学生在某个技能上连续答对三题即判定为掌握;系统随后在掌握后第 7 日安排一次复测,若通过,再在第 14、28、56 日各安排一次;若失败则给予重学机会。这正是“判定 → 间隔 → 无提示复测”的完整结构,而且“判定后首次失败的间隔天数”可以直接从中算出——那就是本章的读数。
回溯检验方案(在取数据之前写死):
题目:判定后存续期的分布,以及它随什么变化 数据:该系统公开的自动复评数据集(掌握判定 + 7/14/28/56 日复测记录) 读数:判定后存续期 = 从掌握判定到首次复测失败的间隔天数; 至第 56 日仍未失败者记为删失 主检验:存续期的变异中,有多少由技能(内容类型)解释、 有多少由学生解释——本章预测内容类型的份额可观 次检验:掌握判据的严格程度(连对 3 题 vs 更高)是否改变存续期分布; 本章预测同源判据加严不显著延长存续期 最强竞争解释:纯遗忘。控制手段:以练习总量与间隔入模 预注册项:删失处理方式、技能层级的聚合口径,均在看数据前写死 不利结果的处置(提前写死):若存续期几乎全部由学生解释、 内容类型份额接近零,则本读数测的是学生而非判据, 第十节的定位错误,正文须据实改写
这份检验有一个本章无法回避的限制:该系统的判定由算法而非教师做出,其判据(连对三题)比课堂上的点头严格得多。因此它能检验的是同源判据加严是否有用(条件四的一个版本),不能检验闭环(条件一)——因为该系统的复测结果并未反馈回掌握判据本身。这个限制恰好说明了本章的主张所指的空缺是真实的:一个已经在做延迟复测的系统,仍然没有把复测结果接回它的停止规则。
第十四节那三条检验所需的自变量是“这一次复现对应的是哪一次介入的终止决策”。困难不在于数据不存在——作业与测验结果普遍存在,延迟复现在日常教学中大量发生;困难在于它们没有被回连。
现行的作业与测验归档以时间或单元为组织单位:这一周的作业、这一单元的测验。没有任何现行的归档规范把一道题回连到“它检验的是哪一次课堂介入、那次介入是在什么条件下被终止的”。于是同一份作业结果既可能反映早停,也可能反映复习不足,也可能反映题目偏难,而归档里区分不出来。
由此得到本章的第三层主张,而且它是三层中最稳的一层:
现行的作业与测验归档不记录每道题所对应的课堂介入单元,因而无法把任何一次延迟表现回连到任何一次终止决策。 而上一节那份数据集说明了同一件事的另一面:即使延迟复测已经被系统化地安排,它的结果仍然没有被接回停止规则。 前者缺的是标签,后者缺的是回路。
这一层不依赖前两层,而且实现成本接近于零:教师在布置作业时给每道题标一个介入单元编号,用不了一分钟,而它把一堆无法归因的数据变成可归因的数据。
17.1 来自滴定:换更好的仪器救不了,但这也削掉了本章的处方
本章原本要写的一句更强的话是:只要把判据换成一个更客观的仪器化判据,问题就解决了。
这句话被滴定那一家自己削掉了。一篇一九七六年的文章专门提醒:关于电位滴定曲线的拐点与等当点重合,是一个常见的教科书错误——换成仪器检测并不把偏差归零,拐点与等当点重合只在对称反应下近似成立。
把这一笔搬回来:把课堂的即时检验换成更“客观”的形式(电子答题器、自动批改、即时正确率统计),并不改变它的同源性——它们仍然在介入之内取值。本章因此不能主张“换一个更好的即时判据”,只能主张“换一个不同源的判据”。 这个限制是硬的,而且它把大量看起来像改进的技术方案排除在外。
17.2 来自序贯设计:价值排序被推翻
本章原本要写的第二句更强的话是:停得越晚越好。
这句话被序贯设计削掉了。序贯边界的全部意义在于:在证据已经足够时及时停止是伦理上必需的,继续下去意味着让更多人承受本可避免的劣势处置。早停规则的存在不是不得已的妥协,它是一个正面的要求。
把这一笔搬回来:教学中过度延长一个已经到位的内容,同样有真实代价——它占用的是其他内容的时间,而学生的总时间固定。本章因此不能主张晚停优于早停,只能主张判据的取值来源应当被知道。 这一处削弱动的是价值排序,它使本章从一个“应当怎样”的主张退回到一个“应当先知道什么”的主张。
一旦判定后存续期被任何机构采纳为指标,最省事的实现方式不是改进停止判据,而是把复现任务出得容易一点。复现任务由教师自己设计,其难度不受任何外部约束,而存续期对任务难度极其敏感。把任务从“在新语境中使用该结构”改成“在给定框架中填入该结构”,中位存续期会立刻翻倍,而教学没有任何变化。
第二种更省事的实现方式是把三次取样的时点往前挪。手册规定的是第 2、7、21 日,而把三次全部安排在第 2 日附近,在字面上仍然合规。
更糟的一层:这两种做法都不会被任何形式审查发现,因为它们完全符合手册的字面规定。而它们一旦发生,这个读数就同时失去诊断价值与校正价值——教师看到的存续期是假的,据此做的调整也就是错的。这比不用这个读数更糟,因为它把一个“不知道”变成了一个“错误地以为知道”。
这个反噬还有一层本章必须自认的讽刺:坎贝尔定律恰恰预言了这件事——一个量化指标越是被用于决策,就越会被扭曲,并越会扭曲它本要监测的那个过程。而本章提出的正是把一个量接回决策。按坎贝尔定律,本章的闭环一旦制度化,它自己就会腐化。 本章看不到这个反噬的出口,也不认为它能靠更好的手册设计解决。这是本章坚持这个读数只能用于教师的自我校正与教研组内部非评价性讨论、不得进入任何考核或质量监测的理由。
如果这个读数只能以进入考核的方式传播,那么它不传播更好。
本章至少在以下七种情形下不适用。 其一,纯记忆性内容——其延迟复现主要受遗忘支配,判据的信号会被淹没。其二,零起点阶段——此时几乎一切内容的判定后复现都会失败,读数无区分力。其三,微小处置——单次介入短于三分钟的即时纠错不构成介入单元。其四,高利害的短期备考——此时进度覆盖的即期价值可能正当地压过判据校正。其五,班级异质性——同一次停止对不同学生的后果不同,而停止决策是面向全体的;本章的读数是班级层面的分布,它无法告诉教师该为哪一位学生多停一会儿,这是本章在实践上最大的空缺。其六,本章完全没有处理“停得太晚”——过度延长的介入会消耗其他内容的时间,而本章对此没有任何工具。其七,存续期不是越长越好,见第十七节。
伦理界限三条,缺一条本章的读数不得使用。 其一,这个读数指的是判据,不是人——它说的是“这类内容上这个停手判据平均撑了几天”,不是“这位教师不行”,更不是“这个学生不行”。其二,不得为了把这个数做好看而延迟必要的帮助——一个正在放弃的学生需要的是形式,不是存续期。其三,已按这个读数做出不利安排的机构,必须公开手册与取样时点,并给出复核通道——被评者有权按同一手册自行复算并申诉。
本章的自我定位不是“本章也有局限”,而是把同源性判别对准评价本章的那套体系。
任何一套学术评分体系都要在某个时刻停下来说“这篇够了”。而它据以停止的信号是什么?是稿子读起来是否通顺、论证是否有明显缺口、分界是否写满、引注是否齐备——全部产生于这篇稿子内部。评审读得再仔细,读到的仍然是这篇稿子在它自己的语域里的表现。按本章自己的判别,这是一个同源判据。
第一版稿正是这个判别的一个完整案例。 第一版稿在正文里明写“本轮写作未使用外部文献检索,全部引注出自作者知识库存”,然后据此声称四条主张,其中一条被称为“本章唯一的原创”。那一稿读起来通顺、结构完整、分界写满、自反诚恳——按一切内部信号,它都到位了。而本章补上的那一次外部检索表明:四条主张一条不剩,被称为原创的那一条是一九六六年就有专著的常识。
内部信号与外部检索之间的落差,就是本章所说的那件事,而它在本章自己身上量到了一个具体的值。
这个定位有三个后果。其一,本章的这份名单很可能仍然不完整——检索的边界仍然由检索者的问法决定,而作者不知道他还不知道什么。其二,本章提出的闭环无法用于本章自身:作者不可能在动笔之前对自己做一次外部校验,因为校验所需的视角正是他缺的那个;本章能做的只有把第十五节的方案写死,让一批不由作者控制的数据来决定本章改不改口。其三,也是最该记录的一条:本章是同一问题域下的第五次尝试,前四次分别从记账缺口、路径占位、启动条件、不确定分配进入。五次的结论形状完全相同:都以“应当先知道什么”而非“应当怎样”收尾,都在削弱处从价值主张退回描述主张,都把最稳的一层放在“某个字段在现行记录里不存在”上。这个五次重复的一致性本身是本章最该被怀疑的地方——它可能说明这个问题域的真实结构就是可诊断而不可处方,也可能说明作者的五次尝试共享同一个未被察觉的同源判据。本章无法区分这两种可能,而按本章自己的判别,这正是一个需要外部验证集、而作者无法自行提供的地方。
因此本章对自己最诚实的表述是:它做的是操作化,不是发现;而它最有价值的部分不是第七节的主张,是第三节那份名单与第十五节那份可以立刻跑的回溯方案。
外语教学的每一次介入都必须在某个时刻停下,而四本现行账里没有一个字段记录这次停止的依据。实际的终止由一组产生于介入内部的信号触发。
关于这组信号不可靠,本章不是第一个到场的——摄取效度之争、表现与学习之分、判据与辨别力之分、延迟判断与延迟测验、反应性测量,五路人马从五个方向到过这附近,最早的一本专著出版于一九六六年。本章因此不主张其中任何一件。本章主张的只有一条:这个判据没有外部验证集;而一个停止判据是外部的,当且仅当它满足材料分离、无提示、回接三件事。据此本章给出一句不含程度词的判据、一个时刻型读数、一条闭环校正方案与三条可以使本章倒下的检验。
本章的主张分三层,读者可以只取其中一层。
第一层(最强、最易倒):同源性判别,以及闭环校正的有效性。证伪见条件一、二。
第二层(分析工具):判定后存续期及其清点手册与三次取样安排。即使第一层被推翻,这个读数仍可作为教研组内部讨论具体课例的描述性工具。证伪见条件六、八。
第三层(最稳、最易检验):延迟结果与终止决策之间没有回连——作业归档缺标签,而已经做延迟复测的系统缺回路。补上标签的成本接近于零。这一层任何人取一批本地归档或那份公开数据核对即可。
这三层的可引用性并不相同,作者在此写明自己的判断。 第一层受第三节那份名单影响最大:若名单不完整(而它很可能不完整),第一层随时可能被某位作者尚未检索到的先到者吃掉。第二层的风险较小,因为它只是一个读数与一套手册,即使同源性判别不成立,“判定后存续期”仍然可测、仍然可用于教研讨论。第三层几乎无风险,因为它陈述的是一个可以在半小时内被本地核实的事实。
作者因此建议一个与常规相反的引用次序:先看第三层,若它在你的机构里成立(多半成立),再看第二层是否值得一试;第一层只在你打算做那个闭环实验时才需要接受。一篇文章的主张越强,越应当被放在越后面引用——这句话本身也是本章第二十节那个自我定位的一个推论。
若读者不接受第一层,可只引第三层。
在二〇三〇年十二月三十一日之前,将出现至少一项公开发表的研究,比较“把延迟复现结果反馈回停手规则”与“仅向教师展示延迟复现结果”两种条件,并报告前者在延迟表现上显著优于后者。
什么不算命中,一并写死。 其一,仅报告延迟测验低于即时测验的研究,不算命中——那是既有发现。其二,仅向教师展示延迟数据而无反馈回停手规则这一操纵的研究,不算命中。其三,未控制总介入时长的研究,不算命中——那无法把闭环与单纯延长区分开。其四,样本少于六位教师的研究,不算命中。其五,由本章作者参与的研究,不算命中。
若到期无此研究出现,本条按未兑现记,不按证伪记。但若到期出现的研究报告两条件无差异,本章第一层即被证伪,作者将公开撤回第一层与第二层,保留第三层。
其一,同源性是不是一个二分。 本章把判据分成同源与不同源两类,但真实的判据大概是一个连续谱:一次隔了十分钟的小测比即时提问更外部一些,一次隔了两天的作业更外部一些。本章说不出这个谱上有没有一个可用的分界,也说不出“多不同源才算够”。这是本章最大的缺口,而且它直接决定第十节那个三次取样安排是否合理。
其二,偏差的方向从何而来。 本章已撤回“系统性偏早”这一陈述,因为既有文献同时记录了两个方向,而教师判断偏差的方向可能随学生水平反号。若本章要谈方向,必须借助已有的机制(例如专家因自身内容专长而高估学生理解),而不是重新发现它。本章没有自己的方向机制。
其三,闭环的长期收益未知。 已有大样本数据显示,提高掌握阈值带来的保持优势在数周后基本消失。若闭环的收益也如此蒸发,本章的实践含义就只剩“短期减少返工”,而那个价值应当单独评估,不足以支撑一个独立构念。本章无法估计这个量级。
统稿修订说明(第二版 → 本书)。 ① 第七节第一小节与第二十一节:外部判据的定义由“取值不因介入的进行而改变”重写为材料分离、无提示、回接三条件(评审甲第二条硬问题)。② 第十节:撤回“不需要先统一失败的定义”,补区间删失与复测练习效应的处理要求(评审甲)。③ 第十一节末新增与前瞻偏差的交手(评审乙)。④ 第十三节:对《离场之后》《抽样框》的概括按第十一章对照表更新。⑤ 参考文献增补两条。
关于引注的四点说明。 其一,本章是对第一版稿的整体更正:第一版稿在正文中声明未使用外部检索、引注出自知识库存,本章补上了那次检索,第一版稿的四条主张据此全部撤回或降格。其二,Bassler 等(2010)的转述已按原文更正——其结论句用的是“与更大的效应量相关”,而“系统性高估”一语出自该文摘要中对理论与模拟的转述;该差异独立于是否存在统计停止规则,且集中在事件数较少的研究,本章在第六节已如实写出。其三,Llewelyn 等(2017)的引句取自可获取的作者接受稿,与刊出定本的逐字措辞未经比对。其四,Krueger(1929)的期号、Armitage 等(1969)的页码、Vaughn 等(2016)在本章中未直接引用的部分,均按通行著录,未逐页核对原刊;Kolthoff(1937)为该路奠基专著,早于“一九八〇年前后”这一表述,本章已相应改述。
本章引注已并入全书参考书目;统稿新增的引注一律标明核验状态。