德麦国际出版社 · 专著第55号 · 专著精读

第十五章 账本的反噬

王德生 著 · 《课堂学习发生学》 · 本书新写 · 第四编 · 约 3千字

第十五章 账本的反噬

判断卡片:本书批评账本只为“可以事前写下的东西”设字段,而本书正在提供一批可以事前写下的字段。这不是一个可以靠谨慎绕开的矛盾,只能靠一条失效期来管住。

一、九章各自的反噬预言

每一章都写过自己被采用之后会出什么问题。合起来是一份相当整齐的清单:

第四章:一旦换位率进入考核,会出现“安排好的换位”——教案上写着某一段由学生的方案来检验上周定的标准,课堂上照本宣科地走一遍,而终点从未真的易主。

第五章:一旦倒推档位进入考核,五位教师会在应答前先对一次口径,档位分布随即变得整齐——而这个读数的全部信息恰恰在分歧里

第六章:一旦自建存量进入考核,教师做的模板会被登记为班级自造;更糟的一种是刻意撤走本该提供的资源,把学生扔进“荒地”格,以制造缺口。

第七章:一旦对窗率进入考核,“上一节打开了什么”会被写成一句永远能对上的空话(如“提高了学习兴趣”),对窗率随即接近满分。

第八章:一旦脱悬率进入考核,会出现形式化的拆解动作——单元末尾加一句“现在我们把之前说过以后再讲的那个补上”,而没有要求学生把它和当时学的那一处重新接一次。

第九章:一旦双向翻转率进入考核,最简单的对策是不再做四周后的复测——一个不采集的读数永远不会难看。

第一至三章:一旦再生水平、接力率、持位可换度进入考核,会出现“接力表演”:半成品被安排给指定的人接手,版本链被补写,判断场被做成一次课堂展示。第二章已经明写:后续应用者若只制作量表、要求教师打分,而不保存版本链与环境改写,恰好会成为本章批评的对象

九条预言有一个共同的形状:造假比改进便宜。这不是道德问题,是成本问题——只要造假更便宜,它就会发生,无论使用者的动机多好。

二、三种反噬形态

九条可以归成三类,三类的严重程度递增。

其一,表演化。读数上升而所指的事情没有发生。这一类最显眼,也最容易防——第十二章第六节的四条对策(触发源、外来占比、原始计数、可交接性)针对的都是它。表演化的特征是留不下痕迹:一次真的换位有一个可指认的触发事件,一件真的自建条件可以交给新来的人直接用,而表演出来的没有。要求成对采集(比率必须同时报分子分母、事件必须同时报触发源),造假的成本立刻高于改进的成本。

其二,挤压。为了抬高某一个读数而牺牲更要紧的东西。最危险的是对窗率:一位教师若被要求把对窗率做到 0.8,最直接的办法是打乱课程表去追上一轮打开的每一个口子——而第七章从未主张对窗率越高越好,它明写了“有些窗口的正确处置是让它关上”,只主张对窗率应当被知道。同类的还有为提高持位可换度而在安全关键任务中强制轮换角色,这一条第三章已明确禁止。挤压比表演化难防,因为它不是造假:读数确实上去了,代价落在读数之外。

其三,代理化,最深的一层。读数本身成为字段,而字段一旦存在就会被填满——这是本书自己的论证。于是六个读数变成六栏新账,被填、被比较、被排名、被写进检查表;而它们所指的那些不产生事件的东西,重新退回到字段之外。本书最终成为它所批评的那本账的第七到十二栏。

前两类可以用技术手段压住。第三类不能,因为它不是使用不当,它是使用本身。

三、自反悖论

把第三类推到底,得到一个必须正面说出来的矛盾。

本书的母题是:账本只为可以事前写下的、先在的、外来的东西设字段;而课堂里决定后果的那些,恰恰是这个过程正在产出的,因此在原理上写不进任何一栏。

而本书交出了什么?六个读数、九句问法、一份问卷、一份采集手册、一套编码规程、若干档界。这些全部是可以事前写下的东西。如果它们不可以事前写下,它们就不可能被交给一个不懂本书理论的编码者去采——而“可以被不懂理论的人采集”是本书对自己读数的核心要求(第十二章第四节)。

于是本书处在一个真实的两难里:

- 要让那些东西被看见,就必须为它们造字段;

- 而一旦造成字段,被填进去的就只是它们当中可以事前写下的那一部分。

这个两难不能靠“我们的字段设计得更好”来化解。第六章的式子已经给出了它的形式:c → 1 时 A∗ → 0。本书提供的每一个新字段,都在把它自己要测的那个量往下压一点。这不是修辞上的对仗,是同一个机制作用在本书自己身上。

我不打算把它写成一句谦辞。它是一条可检验的预测:若本书的六个读数被广泛采用为常规记录,那么在采用之后的第二个到第三个年头,这些读数与外部效标之间的关联应当显著下降。关联下降不是测量退化,是被测之物退到字段之外。这条预测本书没有办法自己检验,因为它需要本书先被采用。

四、为什么“提高度量品质”不是解药

到这里可以把导论第八节那条最要紧的分界写完。

指标腐蚀那一支(一个指标一旦成为目标就不再是好的指标)给出的处方,最终都落在提高度量的品质与降低作弊的收益上:多用几个指标、加入不易操纵的客观数据、把评价与奖惩脱钩、随机抽查。这些做法都对,本书第十二章第六节的四条对策就属于这一类。

但它们只处理前两种反噬。对第三种,它们无效——因为第三种不是度量被腐蚀,是能成为字段的东西被结算规则挑出来了。

结算规则要求两样东西:一个持有人,一个时点。成绩册的每一栏都是“某人在某时的某项”。而本书第一编那句地基说的是:可再入生成体无人持有,也没有结算时点。只要结算规则不变,任何新字段被填进去的时候都会被迫先补上一个持有人和一个时点——于是“这个班手里多了什么”被填成“张三做了一个模板”,“上一轮打开了什么”被填成“本单元学生兴趣提升”。字段是被结算规则的形状挤出来的,不是被度量者的品质决定的。

因此本书的处方在结算规则一侧,不在度量品质一侧:不结算个人在某一时点的所得,改为清点这个班在这一段留下了什么、其中多少可以交给下一届直接用。这个改动很小——它不要求取消任何现有考核,只要求在现有考核之外多留一栏不归任何人名下的账。而它在制度上很难,因为一栏不归任何人名下的账,没有人有动机去填。

这就是本书能走到的最远处:它能说清那栏账为什么必须存在,说不清谁会去填它。

五、治理三条

在结算规则改变之前,能做的只有三条,全部是防守性的。

其一,读数归采集者持有,不归机构。六个读数的第一用途是一位教师自己看自己这一段哪里最低。制度上只核查是否采集是否保留原始记录,不核查数值高低,也不跨班比较。这一条一旦被突破,后面两条都失效。

其二,全部读数成对采集。比率必须同时报分子与分母的原始计数;事件必须同时报触发源;物件必须同时报外来占比与可交接性。第十二章第六节已给出四条具体形式。其作用不是防止造假,是使造假的成本高于改进的成本——这是能给出的最强技术保证,也仅止于此。

其三,任何不利安排必须开放复核。编码规则、原始证据、复核通道三样缺一不可。这一条来自第九章:一次判定的危险不在它可能错,而在错了也不会被发现。

六、失效期

三条治理都挡不住代理化。对它,本书只能给一条听起来不像办法的办法:

任一读数一旦进入任何形式的考核,两年后自动作废,须重新设计。

理由是本书自己的论证:字段会被填满,而被填满的字段与它原本要测的东西之间的距离随时间单调增大。与其假装能设计出一个不被腐蚀的字段,不如承认字段有寿命,并把寿命写进制度。

这条设计有三个明显的代价,写在这里以免它被当成聪明话:其一,读数每两年一换,纵向比较就没有了,而纵向比较正是评估最想要的东西;其二,重新设计需要人,而愿意做这件事的人比愿意填表的人少得多;其三,它无法阻止一个机构在两年内把该做的坏事做完。

这三条代价我抵不掉。本章因此不是一份解决方案,是一份定价单——它把采用本书要付的代价列清楚,让人在采用之前就看见。

七、如果本书成功

最后一层,必须由作者自己说。

如果本书成功,它就会被采用;而被采用就会产生它所描述的病。这不是谦虚,是从本书自己的机制里推出来的结论:一个提供了六个可采集读数的框架,其最可能的命运是那六个读数被抽出来做成量表,而九章的论证——包括本章——被跳过。第二章已经预先写下了这件事:若后续应用者只制作量表、要求教师打分,却不保存版本链与环境改写,恰好会成为本章批评的对象。

对此,本书能做的只有三件,都已经做了:把反噬写进正文而不是附录;把失效期写进制度建议;把“它会被怎样填坏”写在给出问卷的同一章里。

还有第四件,只有读者能做:当你看见这六个读数出现在一张检查表上,而那张表没有要求同时报分母、触发源与可交接性时,请指出那不是本书的东西。

八、全书的可推翻条件

各章的证伪条件在附录三汇总。此处只列判定本书整体成败的五条。

第一条(最可能被触发)。六个读数在同一门真实课上采齐后,其中三个以上两两相关系数持续高于 0.6 → 九个对象是虚高的,本书应按第十一章第六节的规则合并,并公开承认这是一次过度切分。

第二条。自建条件存量与教学资源完备度实测为正相关 → 第六章的式子方向错误,导论第七节、第二编小结第四节与第十三章第五节全部作废。这是全书最集中的一次单点检验。

第三条。阶梯楔形设计中三项增量与进入次序无关 → 相乘假设失败,第三编小结与第十四章作废,本书从一个结构性判断降格为一份诊断清单。

第四条。两名只拿手册的编码者一致性持续过低 → 九句判据“不含判断词”的承诺不成立,第十二章作废,而全书“可以被不懂理论的人采集”这条自我要求随之落空。

第五条,只有外人能做。若本书的异源汇聚(第一编)被证明共用了同一个隐蔽前提,或本书的框架被用来回应一条关于读数的技术意见——“你没有理解本书的框架”——而无人指出,那么本书正在演示它自己批评的那件事。第一重锁的定义特征就是被锁住的人察觉不到它。

---

本页为《课堂学习发生学》全书精读三章之一。 回到专著页 · 在线翻阅全书 · 下载 PDF