← 专著首页目录专著栏目

第十编 后果与更长的观察

第八十三章 若倒向造成论·教育与评估


一、现行评估测的是什么

先在论下的教育有一个理所当然的做法:把结果当作评估对象。学生是否掌握了那个本来就在那里的东西——掌握了多少,掌握得多牢,能不能在新题上用出来。

这个做法的合理性完全依赖于一个前提:存在一个”那个东西”,而所有学会了的人学到的是同一个。

若判决倒向造成论,这个前提就要加一个限定。学生所到达的东西的规定本身依赖于他走过的路径,于是:

两个分数相同的学生,可能持有结构上不同的知识。

而现行评估在设计上看不见这一差别。

看不见的原因不是技术不够好,是结构性的:它测的是结果在判准上的投影。

这正是第五十五章第一条硬规定所禁止的那个量。那一条说:不得用任务分数作结果距离,因为分数是判准的投影,用它当结果等于事先规定”凡是判准看不出来的差别都不算差别”。第七十二章把同一条论证用在了缩放律上。本章是它在教育上的第三次出现。

三处是同一件事:一个被设计来压平差异的量,不能用来测量差异。 考试正是被设计来压平差异的——它要让同等掌握的人得同等分数,这是它的目的,不是它的缺陷。

二、一条可立刻执行的检验

这一栏与前一章不同:它有一条不需要等判决、也不需要缩尺系统就能做的检验。

做法是与条款一同构的:

这条设计的每一步都照搬第六编:不得用总分(第五十五章第一条);迁移任务必须事先冻结(第五十五章第三条);必须有噪声基线(第八十章第二节);不得把两类观测合成一个数(第五十五章第四条)。

本书认为这是一条被长期空着的经验战线。 教育研究里关于”次序”的工作不少,但它们几乎全部以总分或学习效率为因变量——问的是哪种次序学得更快更好,而不是哪种次序学到的是不同的东西。这与第七十四章第八节那个观察是同一个形状:一个领域的实践关切,决定了哪些问题被提出来。 教育实践关心的是效果,于是”次序会不会造成结构不同的知识”这个问题没有被提上日程。

三、“两个同分的人”这句话的三种读法

这句话是本章最容易被传播、也最容易被读歪的一句,因此先把三种读法分开,写明本书指的是哪一种。

读法一·最弱:两个同分的人,掌握程度其实不同,只是考试没测准。

这是一个测量精度问题。它完全在先在论之内——存在一个”那个东西”,两人掌握得不一样多,而考试分辨率不够。改进的办法是出更好的题。本书说的不是这一种。

读法二·中等:两个同分的人,掌握的内容不同——甲会这几块,乙会那几块,加起来分一样。

这也在先在论之内:那个东西有若干部分,两人各掌握了一部分。它对应的是一份内容清单上的不同勾选。改进的办法是报告分项成绩而不是总分。本书说的也不是这一种,虽然这一种与本书要说的容易混。

读法三·本书指的那一种:两个同分的人,所掌握的东西组织方式不同——不是会的块不一样,是同样的那些块之间的连接、优先次序、触发条件不一样。于是在清单上他们勾选相同,在遇到新情形时他们的行为系统地不同。

三种读法的区别可以用一个判据分开:能不能靠加细清单来消掉。

读法一靠出更好的题消掉;读法二靠分项报告消掉;读法三消不掉——因为无论清单加得多细,它记录的仍然是”会什么”,而不是”怎么连起来的”。

这正是第五十五章第一条硬规定在教育上的形态:清单是判准的投影,而结构不在投影上。把读法三误读成读法一或二,会让人以为这件事靠改进考试就能解决,于是本章第五节那一栏就显得多余了。

必须补一句对本书不利的:读法三比前两种难测得多,而且它与前两种在实际数据里很难分开。一份显示”同分而迁移不同”的读数,完全可能是读法二造成的——两人会的块不同,而迁移任务恰好偏向其中一块。要把读法三单独逼出来,需要在分项成绩也相同的子样本上看迁移差异,而那个子样本通常很小。这是本章第二节那条检验在设计上最难的一处,比第三节那四条困难更靠里。

四、这条检验的四处困难,逐条写明

上一节读起来太顺,必须把困难写足,否则它会被当作一个已经准备好的方案。

困难一:噪声基线在人身上极难取。 第八十章第二节说噪声基线应当是”同一条路径重跑”。在模型上这意味着同种子重训;在人身上,没有”同一个学生重学一遍”这回事。可用的替代是组内个体差异——同一次序组内不同学生之间的差别——但那个量里混杂了资质、动机、既往知识,它比模型上的数值非确定性大得多,也脏得多。分母一脏,整条比值就不牢,这正是首跑栽过的地方。

困难二:材料与次序无法真正分离。 在模型实验里,“同一个语料的两种次序”可以做到逐位对齐。在课堂上做不到:换了次序,讲法就会变,例子就会变,学生的提问也会变。严格的次序反转对在教育现场几乎不可能构造。

困难三:判准在教育中不固定,而且它的不固定是被追求的。 好的教学会随着学生的反应调整目标。第七十七章第五节那一记在这里再次复现。

困难四:迁移任务的选择是最脆弱的自由参数。 与第五十五章第三条所说的探针配比完全同类,且在教育测量里这个问题更严重——迁移任务的难度、形式、与教学内容的距离,每一项都会改变结论。

四条加起来意味着:这条检验可以做,但它的一次结果不构成判决。 这与首跑的处境完全一样,理由也一样:在基线与探针两处未定之前,任何单次读数都不足以判案(第五十五章末尾)。

五、若它成立,评估要增设的那一栏

假设上一节的困难被逐步解决,且读数指向差异存在。那么评估要改的是什么?

不是把现行评估推翻。是增设一栏。

现行评估回答的是:到达了多高。 这一栏继续有效,本书不主张它没有意义——它测的东西是真实的,只是不完整。

要增设的一栏回答的是:到达的是哪一种。

这一栏在今天的全部主流评估里都是空的。而按本案的推论,它才是路径差异唯一会显形的地方。

它具体要测什么?至少三样:

其一,迁移的形状。 不是迁移得好不好,而是往哪些方向迁移得动、往哪些方向迁移不动。两个同分的人可能在完全不同的方向上卡住。

其二,失效的模式。 出错时错在哪里,是同一类错还是不同类错。错误模式比正确答案携带更多关于结构的信息,这一点在诊断性评价里早有共识,只是没有被用在这个问题上。

其三,重组的代价。 当已有的理解需要被修改时,需要改动多少。这一条最难测,也最接近”结构”这个词的实质。

六、这一栏最容易被误用的地方

本节是本章必须写的,因为这一栏的后果会最快地被拿去用在人身上。

误用一:把”结构不同”读成”各有各的道理”。 第七十九章已经拆过:路径进入规定不蕴含任意性,可比较性不需要唯一性。两个结构不同的知识可以被严格比较——预测力、可干预性、遇到反例时的修改代价。本章第五节那三样要测的东西,恰恰是为比较服务的,不是为取消比较服务的。

误用二:把它当成反对统一考试的论据。 本书不提出任何教育政策主张。统一考试所服务的功能——大规模、可复核、程序上的公平——不在本案的讨论范围内,而且那些功能的正当性不依赖于”所有人学到的是同一个东西”。指出一个工具有它看不见的东西,不等于主张废掉它。

误用三:把它当成已经成立的结论去改课程。 本章全部以三条条款通过为前提,而条款一在首跑中未能分辨。按第八十一章第四条,本书不主张已经完成判决。

误用四,最隐蔽的一条:把它当成一件好消息。 第八十一章第五条写过,本书不主张路径依赖是好事。若两个同分的人真的持有结构不同的知识,那么一切依赖分数的选拔与认证都会遇到一个结构性的麻烦——不是可以靠改进题目解决的麻烦。这是坏消息,而不是解放。

下一章处理一栏最直接、却最少被提的后果。


《可判性的到来——发现还是发生?》· 王德生 著 · 德麦国际专著第 124 号 · ISBN 979-8-90690-092-0