← 专著首页目录专著栏目

第四章 提分命题:把它写成可以判负的形式,以及单位错位

把问题接住:一条被当作前提的命题

“AI 赋能学习、提高考试分数”这句话在今天几乎不被质疑。它出现在产品页、政策文本、学校采购说明和家长会上,出现的方式是作为前提而不是作为结论——也就是说,它已经退到了不再被论证的位置。一个命题退到那个位置,通常不是因为它被证明了,而是因为它变得太顺口,以至于没有人再问它说的究竟是什么。

本书要做的事是把它请回被论证的位置,然后判它。

需要先说清楚本书不做什么。本书不主张 AI 无益于学习,不主张应当禁止学生使用 AI,也不主张对话式学习是一种劣质的学习。这三条主张都比本书的结论强得多,而且本书的论证不支持它们。本书只做一件窄得多的事:证明”AI 赋能”与”考试分数提高”这两件事之间的联系,不是一条有待改进的弱相关,而是一处结构性的互斥;因此把提分作为 AI 教学产品的验收指标,在设计上就是错的——不是指标定低了或测得不准,是这个指标测不到被干预的那个东西。

本书的论证有三层,强度递增。

第一层是测量层:干预加在”学生—AI”这个复合体上,读数取在自然人身上。两端不是同一个单位。这一层只要承认”评估对象必须与干预对象同一”这条最起码的方法论要求,就足以成立,不需要任何关于学习本质的假设。

第二层是结构层,即本书的承重:可被考试测量的思考与可被 AI 代走的思考,由同一个条件决定。这一层不依赖任何心理学理论,只依赖”考试必须可判分”与”代走必须有可复用的已判定存量”这两条各自领域内的常识,它们合起来产生一个非平凡的后果。

第三层是机制层:对话式学习中学生所观察到的,是判定完成之后留下的成品路径,而判定本身发生在被否决的分支里,那些分支从不显示。这一层解释了为什么自评”懂了”与实测能力会系统性地脱钩,也解释了为什么撤机后的失败不表现为”想不起来”,而表现为”看不出这里有个岔口”。

第三层最有解释力,也最需要实测。本书为它设计了三项可预注册的实验,并预先写死判负条件。如果第三层被实测推翻,第一、二层仍然成立,但本书关于”该怎么办”的部分将全部作废——那时正确的结论是闭卷考试已无依据,教育应当整体迁往新的评估单位。本书不回避这个可能性,第三十九章专门处理它。

把命题写成可以判负的形式

“AI 赋能学习提高考试分数”在目前的形态下不可证伪,因为三处关键位置空着:

一、赋能加给谁。 是加给自然人学生,还是加给”学生—AI”这个在对话中实际运转的复合体? 二、分数取在谁身上。 考试时 AI 在不在场? 三、什么时候取。 是练习当场、当天,还是若干周之后?

三处各有取值,交叉之后得到的不是一条命题,而是一族。其中有实质区别的是四条:

四条命题的地位完全不同。

P1 近乎平凡为真:把一个能解题的系统接进解题过程,产出当然变好。它测的是工具可用性,不是学习。任何以 P1 为证据支持”赋能学习”的论证,等于用”有计算器的时候算得快”来证明”计算器提高了算术能力”。

P2 与 P1 只差一层包装。只要测验允许 AI 在场,读数对象仍是复合体。

P3 是暧昧地带。时间差为零时,工作记忆里还留着刚才那一遍的痕迹,读数会被短时保持污染,这是学习研究里早已知道的事——即时后测与延迟后测经常给出方向相反的结论。

P4 才是人们真正想说的那一条:学生因为用了 AI,而在一场没有 AI 的、隔了一段时间的正式考试上考得更好。教育系统所有的高利害考试都取这个读数。家长掏钱买的是这个。政策文件里写的也是这个。

于是本书的对象被锁定:证伪 P4。 P1、P2 不必证伪(它们真,但不是原命题);P3 存疑但不承担论证负荷。

这一步分拆本身已经有一个重要后果:它使整个文献的证据结构发生位移。后文第三十六章将逐条检查支持”AI 提升学习”的最强证据,会发现它们几乎全部落在 P1/P2,而所有把读数取在 P4 位置并预先注册的研究,给出的结果是零或负。这不是文献之间在打架,是它们在回答不同的问题。

单位错位与反比律

P4 的毛病,在做任何实验之前就可以看出来:它的干预端与读数端不是同一个单位。

这句话需要一点铺陈才不至于被当成修辞。评估一个厨师的手艺,评估对象从来不是”这个人本身”,而是”这个人加上他的刀、他的炉灶、他的食材”。换一套设备,读数就变。之所以我们仍然觉得自己评的是”人”,是因为在比较场景里,那套设备在所有被比较的人之间是同一的——设备项在比较中被消去了,剩下的差值就被记在人头上。

我把这条前提叫做工具项的可消去性。它成立需要三个条件:

  1. 配置同一:被比较的人所用的工具配置相同;
  2. 时间稳定:同一个人在不同时刻所用的配置不变;
  3. 工具不判定:工具端不产生随自身而变的判断——工具改变执行的效率,不改变”下一步做什么”的选择。

三条都满足时,把复合体的读数当作人的读数,是框架内为真的:在给定配置下,按复合体产出排序,等价于按人的能力排序。两万年来教育评估之所以没有出事,靠的就是这一条。铅笔、计算尺、课本,全都满足三条。

AI 一次破三条。配置不同一(提示语、模型版本、使用习惯人人不同,且不可见);时间不稳定(同一学生每一轮对话面对的都是不同的系统状态);最要命的是第三条——AI 产生判断,而且产生的恰好是”下一步做什么”这一类判断。

于是:

旧的分数读数有效,当且仅当工具项可消去。AI 之后工具项已不可消去,而账本仍然按可消去在记。

这是 P4 的第一重毛病,纯测量学的毛病,不需要涉及任何关于学习的理论。

第二重毛病是成本侧的。定义

$$R = \frac{\Delta u}{C}$$

其中 Δu 是自然人读数(撤机延迟考)的增量,C 是复合体一侧投入的总成本(时间、订阅费、算力、教师调度)。P4 若为真,R 应当至少不随投入下降。但若第一编的同构定理成立,Δu 在结构上被封顶,而 C 随使用深度单调上升,于是 R 单调下降。

这不是回报递减。回报递减说的是同一条曲线越走越平;这里说的是分子与分母压根不在同一条曲线上:分母买的是复合体的能力,分子测的是自然人的能力,两者之间没有兑换通道。一个系统在这种状态下持续加码,就是内卷的定义——投入持续增长,可结算的读数不增长,而退出的人在现行账本上仍然算输。

本编到此已经足以让 P4 站不住,但它只证明了”读数无效”,没有证明”干预无效”。如果只停在这里,反驳是现成的:那就换一种考法,把读数也取在复合体上,问题不就解决了?

下面几章说明,事情没有这么容易。


© 德麦国际出版社 · 王德生《AI 时代教育的认知变革》· ISBN 979-8-90690-096-8