← 专著首页目录专著栏目

附录六 检验的预注册与运行记录

英语教学的智慧 · 课堂上没人记下来的十件事 · 张丹丹 著 · 德麦国际专著第 119 号

本附录收本书五条检验的预注册文本。预注册的意思是:假设、变量、判定阈值、编码规则与作废条件,全部在看数据之前写死并存档;事后调阈值等于没有跑。

本版的运行状态必须先说清楚:五条已冻结,零条已跑。第一条另附一份十个工作日的执行细则,细则不改任何已冻结的参数。 本书不把“设计了检验”写成“做了检验”。附录末的运行记录表是空的,它留在这里,是为了让第一个跑的人有地方填。

总则

一、预注册在先。跑数之前把本附录对应条目的版本号与日期存档,事后不得改动;确需改动的,作为新版本另存,并在正文里写明改了什么、为什么。

二、数据须可复算。用学校既有档案、公开记录或可交出的原始编码表;只存在于研究者手上、别人无法复算的数据,不计入。

三、不利结果必须进正文,并写清它改了本书的什么——改了阈值、改了适用范围,还是把某一格判为空。只报有利结果,视同没有跑。

四、竞争解释先写。每条检验的预注册里必须有一句“其实不就是……吗”,并说明本设计怎样把它排除。

五、失败之后改概念,不改借口。不得把失败归因于样本不够、教师水平不齐、情境特殊、数据质量不好——除非这些条件事先已经写进作废规则。

六、跑不动也算跑过,前提是写清“这一条在现有记录里跑不动,因为哪个字段不存在”,并把“把这个字段补上”作为一条独立主张提出来。

第一条 回路清点(成本最低,建议先跑)

对应章:第七章。竞争解释:“其实不就是没人愿意走吗?”——本设计用“存在性与使用率分离”来排除它:若回路写明存在而三年零人走通,且清点到走通所需的手续步数与经办部门数,那么解释就从意愿转到成本。

数据来源:本校三年内的分层、分班、评语与调整档案。无需新增采集,无需接触学生与教师。

取数:一、逐条清点档案里写明的“可调整/可复评/可重新分班”条款,得回路存在性(二值,按条款计)。二、清点三年内实际走通的人次,得回路使用率(分母为受该条款影响的学生数)。三、清点每条回路的手续步数与经办部门数。

预注册的判定:若存在性为真的条款中,三年使用率低于百分之一的占比超过一半,第七章“路存在而无人走”成立;若使用率普遍高于百分之五,第七章的“删除”说法须降为“成本较高”,正文相应改写。

作废条件:档案缺年(三年中任一年不全);本校期间发生过分层政策整体变更。

为什么它排第一:它是五条里唯一不需要预注册周期、不需要招募、不需要等待的一条——档案已经在那里。它也是唯一一条能在两周内给出结果的。

第一条的修订(第23版):按非领取率口径重写判定

第一条原来给回路使用率写了两个阈值:低于百分之一算支持第七章,高于百分之五算否掉。第十二章第九节查出这两个数没有参照物,并给了参照——社会政策的非领取率研究,典型读数三成到六成。判定据此改成三档,取数口径也一并对齐那一路,以便本校读数能与既有文献并排。

取数口径(对齐非领取率):分子=三年内实际走通该条款的人数;分母=受该定性影响、且按条款文本符合援引条件的人数。分母的判定由两位清点者独立做,Kappa 不低于零点七;判不出符合条件与否的,计入未决,未决超过百分之十五本次作废。这一口径与上一版“受该条款影响的学生数”不同——上一版的分母把不符合援引条件的人也算了进去,会把使用率压低,方向恰好有利于第七章。

三档判定:

一、使用率低于百分之一——第七章成立,且它测到的不是普通的非领取,是一个低一到两个数量级的现象。

二、使用率落在百分之二十九到六十二这个带内——第七章测到的就是普通的非领取,教育版本没有任何特殊之处,第七章须并入非领取研究,本书不再单列。

三、使用率在百分之一与百分之二十九之间——两边都不胜,须报告具体数值,并说明本校条款与那些给付在申请门槛上的差别。

另记一个量作为竞争解释的控制量:每条回路需要的手续步数、经办部门数、审批次数与平均耗时。这四项合起来暂称回路摩擦,它只作控制量,不进入本书的理论,也不给它命名为一个新读数——本书本轮刚因为造名字过多而降过一次级。

本条的执行状态:预注册已按本节冻结,仍未执行。执行它需要本校三年档案的调阅权限,这不是写作能解决的事。

第一条的再修订(第24版b):补第四档与两处操作化

第23版把回路使用率的判定从两个阈值改成三档,是一次真修订。但三档只覆盖到百分之六十二:使用率高于六十二的情形,本条没有任何一档可以对。这是文本自己的缺口,不是执行时的疏忽。

按本附录总则一,缺口必须在取出任何数据之前作为新版本另存。事后补档与事后调阈值是同一件事——两者都是先看见读数落在哪里,再决定那里应该写什么。本次修订的冻结日期:二〇二六年九月十九日;本校三年档案尚未调阅,本条的分子与分母此刻均为空。

新增第四档。使用率高于百分之六十二——第七章的“删除”说法整个不成立。这一档不是把第七章降级,是把它撤回:路存在,而且常有人走通,第七章看见的那个现象必须另找解释,该章须重写或删去。

写下这一档的时候必须把它的分量说清楚,否则它会被读成一句客气话。原有三档里最不利于本书的那一档是并入非领取研究——并入仍然保住了一件事:这是一个真现象,只是不特殊。第四档没有保住任何东西。一份判定表若最坏的一档也还剩点什么,它就不是判定表,是一张保险单。本条到本版为止才第一次有了那一档。

操作化一(作废条件)。原文的作废条件之二是“本校期间发生过分层政策整体变更”,而“整体”没有判据。本版写死:任一年度内,援引条件或结果变更被修订过的回路条款超过全部条款的三分之一,即为整体变更,本次作废。三分之一这个数没有外部参照,本书据实说明它是本书自定的,并把它列为本条最先该被别人换掉的参数。

操作化二(“走通”的判定)。分子只认档案里可查证的结果变更——分层记录已改、评语已更新、复评结论已入档。提出申请不算,口头同意不算,会议记录写了“同意调整”而档案未改也不算。这一条要写死,因为它是整条检验最容易被好意稀释的地方:清点者但凡想帮一把,就会从“改了没有”滑到“有没有在办”。

其余参数一律不动:分母口径仍为“受该定性影响、且按条款文本符合援引条件的人数”,编码一致性仍要求 Kappa 不低于零点七、未决不超过百分之十五,回路摩擦四项仍只作控制量、不进入本书理论、不给它命名为读数。

第一条的执行细则(十个工作日)

本节不改任何已冻结的参数,只写怎样把它跑完。写它的理由很具体:本条是五条里唯一不需要预注册周期、不需要招募、不需要等待的一条,它迟迟未跑,原因不是难,是从来没有人拿到过一份可以照着做的清单。

一 执行前必须先解决的两件事

调阅权限。需要本校连续三年的分层、分班、评语、复评与调整档案。这不是研究者自己能拿的,须由教务处出面。申请时把事情说成一句话就够:清点本校已写明的可调整条款有几条,三年里有几个学生实际走通了。本条不接触任何学生与教师,不新增采集。

去标识。分母与分子都只要人数,不要姓名。建议教务处在交出档案前把学生标识换成序号,两位清点者拿到同一套序号表。这样既守住隐私,也守住总则二——将来别人拿同一套序号表,应当能算出同一个数。

二 人手与日程

三个人:清点者甲、清点者乙、仲裁一名。仲裁只在甲乙判不一致时出场,不参与前期编码,也不看甲乙的判定过程。

工作日 做什么 产出
一至二 条款普查 回路存在性清单
三 编码手册定稿并封存 手册 v1,此后不得改
四至六 甲乙各自独立判分母 两份分母判定表
七 算 Kappa,仲裁未决项 Kappa 值与未决占比
八 清点分子 走通人次表
九 清点回路摩擦四项 摩擦表
十 出数、对档、写报告 一页读数与全部原始表

三 什么算一条回路

逐份翻档案,找出所有写明“可调整/可复评/可重新分班/可申请重测”的条款。一条回路的成立要件有三件,三件全齐才算一条:一、写明了谁可以援引(哪一类学生、哪一种情形);二、写明了向谁提出、经哪几步;三、写明了通过之后改变什么(分层变更、评语更新、记录覆盖)。

只写“如有特殊情况可另行处理”一类兜底句的,不算一条回路——它缺第二件与第三件。这个判定要写在清单上,注明“因缺第几件不计入”。漏掉了哪些条款,本身就是一个读数:一所学校的兜底句越多、成形条款越少,第七章说的那件事在它那里就越不可见。

判重规则。援引条件与结果变更都相同、只是在不同文件里重复表述的,算一条,以最早成文的那份为准。把同一条回路数成两条,会同时抬高存在性并稀释使用率,方向对本书有利,所以必须先写死。

四 分母

冻结的口径是:分母等于受该定性影响、且按条款文本符合援引条件的人数。注意那个“且”。上一版的分母是“受该条款影响的学生数”,把不符合援引条件的人也算了进去,会把使用率压低,而压低的方向恰好有利于第七章。这次换口径是本书自己捅破的,执行时不得为省事退回旧口径。

编码手册须在看数据之前写死,至少含三件:一、逐条回路的援引条件判定树——条款说“经两次以上测评低于某线”,就写成“档案中该生测评记录不少于两次且均低于该线,判符合”,每一个条件都要能只看档案取值,不许靠印象;二、判不出来怎么办——档案缺该字段、或条款表述含混到无法取值的,一律记未决,不许猜;三、边界情形的预先裁定——中途转学、跨年级、条款在期间被修订过的个案,各归哪一类,事先写好。

甲乙独立编码,互不通气。第七日算 Cohen’s Kappa。Kappa 低于零点七,本次作废,先改手册再重跑,不许“讨论到一致”——讨论出来的一致不是信度。未决超过百分之十五,本次作废,并在报告里写清是哪个字段不存在;按总则六,这种跑不动也算跑过一次,而且它本身是一条独立主张:把这个字段补上。Kappa 与未决占比这两个数要写进报告正文,不管好看不好看。

五 分子

按本节上文的操作化二执行:只认可查证的结果变更。清点单位是人次,同一学生在三年内两次走通同一条款,计两次;走通两条不同条款,分别计入各自条款的分子。

六 回路摩擦

四项:手续步数、经办部门数、审批次数、平均耗时。它只作控制量,用途唯一——排除那句竞争解释:“其实不就是没人愿意走吗?”若一条回路白纸黑字写着存在、三年零人走通,而走通它要跑四个部门、三次审批、平均六周,解释就从意愿转到成本,这四个数就是那次转移的凭据。反过来,若手续只有一步一个部门而仍然零人走通,第七章就欠一个说法,这一点也要照实写。

七 对档与出数

使用率 判定
低于百分之一 第七章成立,且它测到的不是普通非领取,是低一到两个数量级的现象
百分之一至二十九 两边都不胜。须报具体数值,并说明本校条款与社会给付在申请门槛上的差别
百分之二十九至六十二 第七章测到的就是普通非领取,教育版本无特殊之处,第七章并入非领取研究,本书不再单列
高于百分之六十二 第七章的“删除”说法不成立,该章撤回,须重写或删去

对档之后写一页读数:使用率、落在哪一档、据此本书改了什么。第三项按总则三执行——不利结果必须进正文,并写清它改了本书的什么。落在第三档就并章,落在第四档就撤章,执行时不许找补。

八 交付物

缺一项即不算跑过:一、回路存在性清单,含不计入的条款与理由;二、编码手册 v1 与封存日期;三、甲乙两份独立分母判定表,附 Kappa 值与未决占比;四、分子走通人次表;五、回路摩擦四项表;六、一页读数;七、去标识序号表,供他人复算。

第七项是本条能不能被别人重做的全部依据。一次不能被别人重算的清点,在本书的记法里与没有清点没有区别。

第二条 判同漂移试验(原“用途分离实验”的重新设计)

对应章:第一章。本条与上一版的设计不同,改的理由写在第十三章第六节第七处。

样本:同一教研组六位以上教师,同校、同学段、同教材(关键混淆变量同质)。语言点四十个以上,由第三方从本学期已授内容中抽取。

设计:二乘二。用途两水平——为近期课堂练习判定“讲过没讲过”,为延迟评估判定“讲过没讲过”。时点两水平——第一次,与两周后的第二次;两次之间教师不得查阅自己第一次的判定(由清点者封存)。

两家的预测在这里分开:

迁移适配加工预测:用途的主效应显著(同一语言点在两种用途下判定不同),时点的主效应为零——同一用途下,两次判定一致。

第一章预测:用途的主效应同样显著(这一格本书不与它争),并且时点的主效应也显著——同一用途下判定会漂移,因为没有校准源;而且漂移的方向系统性偏向“讲过”,因为判“讲过”不产生任何成本,判“没讲过”要付出重讲的代价。

预注册的判定形式:若同一用途下两个时点的判同一致率不低于零点九,迁移适配加工胜,第一章的“无对账方”这一构件不承重,第一章须降为“判同随用途而变”的一个课堂例证;若一致率低于零点九,且不一致项中由“没讲过”转为“讲过”的占比高于零点六,第一章胜;若一致率低于零点九而方向对称,两家都不胜,漂移另有来路。

作废条件:教师查阅了第一次的判定;语言点在两次之间被课间重讲;参与教师不足六位。

一致性校验:两位清点者对判定记录的编码一致性 Kappa 不低于零点八。

第三条 新候选两栏记录

对应章:第二章。竞争解释:“其实不就是任务新颖性吗?”——本设计用同一教师、同一单元、同一学生群,只在观察条件上分两栏来排除它。

设计:一位教师、一个单元,两栏并记。第一栏,同条件重复观察;第二栏,换条件观察(条件维在开始前列成清单并冻结)。两栏的观察次数相等。

取数:每一次观察记录结果是否落在事前名单外;落在名单外的,记新候选一行。得两栏各自的新候选观察比。

预注册的判定:换条件栏的新候选观察比显著高于同条件栏,第二章成立;两栏无差异,第二章“候选集由条件生成”为伪,退回“重复观察同样能生成新候选”。

作废条件:事前名单在开始后被修改;两栏的观察次数相差超过两成。

第四条 两层符号密封预测

对应章:第八章。竞争解释:“其实不就是事后找理由吗?”——本设计用密封与时间戳排除它。

设计:在一项改进正式实施之前,由教师或教研组写下一层与两层的效应符号预测,密封、加时间戳,交第三方保管。两周后开封核对。

事先冻结三件:通路枚举规则(哪些链接算一条通路);权重口径(等权筛查还是带权加总,二选一并写死);什么算变号链接。

预注册的判定:单通路场合,奇偶预测的命中率显著高于随机;多通路场合,带权加总的命中率显著高于等权占比。若等权占比不劣于带权加总,第八章第十三章第一处的修正方向错了,须再改。

作废条件:改进方案在两周内变更;密封在开封前被打开。

第五条 入账试验

对应章:书级(第十四章第六节)。这是五条里最贵的一条,也是唯一一条其结果无论正反都直接改写本书类主张的一条。全文设计见第十四章第六节,此处只记预注册要点。

主判定量:替代路径覆盖率与十八个月后延迟响应的相关系数,在账外期(r₁)与入账期(r₂)各取一次。

判定形式:r₂ 与 r₁ 同号且差值绝对值不超过零点一五 —— 既有各家胜,第十四章作废;r₂ 反号,或衰减且差值绝对值超过零点一五,同时形式化多路径清点数上升 —— 次间字段模型胜;衰减而形式化清点数不升 —— 两家都不胜。

作废条件:两学期间教师流动超过两成;课程标准或教材更换;清点者更换且未做一致性校验。

伦理前置:入账期把读数写入教研组例行记录并进入学期评议,属于对教师有后果的安排,须事先取得参与教师的书面同意,并公开第十四章第五节那份清点手册;任何依据本读数做出的不利安排,须按第十四章第七节第三条提供复核通道。不满足这两条,本条检验不得执行——检验本身不能是它所批评的那种安排。

运行记录表(空表)

每跑一条,按下列十二项各记一行,连同原始编码表一并归档。

项 内容
1 日期
2 条目与版本号
3 样本
4 数据来源
5 预注册存档位置
6 变量定义(引本书何处)
7 阈值
8 编码规则与一致性读数
9 竞争解释与排除方式
10 原始结果
11 不利结果,及它改了本书的什么
12 是否触发作废条件

本版状态:五条已冻结,零条已跑,本表无内容。第23版把第一条的取数口径与判定改写了一次(见本附录“第一条的修订”),改的是设计不是数据——运行记录仍然是空的。下一版若本表仍然为空,本书在“已经被现实咬过一次”这件事上仍然是零。

© 德麦国际出版社 · 张丹丹《英语教学的智慧》· 德麦国际专著第 119 号 · ISBN 979-8-90690-078-4