← 专著首页目录专著栏目

第三十七章 定向证据审查与研究路径

定向证据审查:正面与负面结果分别证明了什么

接口说明 第五十四、五十五章已经清点过撤机读数与正方证据,本章补的是另外三件它们没有处理的事:作品改善与学习改善为何不是同一证据、批判投入与技能形成的关系、以及大脑活动差异为什么不能直接译成大脑能力变化。三件事共用一条推论规则,写在本章开头。

7.1 证据选择与推论规则

本书选择能够区分任务绩效、学习结果、批判活动或创造性产出的原始研究,并补充与神经解释直接相关的方法论讨论。选择的目的,是检查自动增益推理中的关键环节,不是估计全部AI教育研究的平均效果。由于没有实施预注册的数据库穷尽检索、双人筛选与偏倚评估,本书不使用”系统综述”或”元分析”来描述这一部分。

对每项研究,本书采用同一阅读顺序:先明确人群与任务,再明确处理与对照,随后判断测量发生在使用中还是使用后,最后限定可以推广的结论。统计结果不能跨越未经测量的能力类别。故事创作不能直接代表哲学创造,数学考试不能直接代表一般批判力,工作者自我报告不能直接代表学生长期能力。不同证据可以相互提出问题,但不能相互冒充。

7.2 作品改善与学习改善并非同一证据

Doshi与Hauser的短篇故事实验发现,获得生成式AI建议的参与者,其作品在创意评价上有改善;同时,AI辅助作品之间更相似。〔乙8〕 该结果支持指定任务中的作品增益,也提醒研究者另测群体多样性。它没有通过延迟、撤用与新任务设计,证明作者形成了稳定的一般创造能力。不能因后一问题未被测量而否定前一结果,也不能把前一结果提升为后一结论。

Bastani等的高中数学现场实验比较普通AI接口、带教师设计保护的AI导师与对照条件。作者报告,普通接口组练习成绩相对对照提高约48%,随后无辅助考试相对低约17%;带保护导师显著缓解了这种负向学习结果。〔乙9〕 这些是相对差异,不是一般能力的百分比变化。研究的无辅助测量属于短期数学学习,不直接测量思想创造力或批判力。它的直接意义是:工具在场时的提升,不能保证其后个人表现提高。

Kestin等在大学物理课程中采用交叉安排比较经过教学设计的AI导师与课堂主动学习,发现AI条件下课后知识测验表现更好。〔乙10〕 这构成正向学习证据,不能被”AI只会代劳”的立场排除。但任务主要针对特定内容的理解、应用和分析,作者也明确限制对复杂综合与高阶批判情境的推广。它说明精心设计的AI教学可能有效,而不是任何AI对话都会提高一切思想能力。

这三项研究并不构成简单矛盾。它们的任务、处理、比较条件和结局不同。把其中一项宣布为AI教育的总判决,恰恰犯了本书要求学生避免的错误:忽略前提而跨范围推论。更合理的读法是,AI教育的结果对设计与评价单位敏感,因而必须把”怎样使用”和”提高了什么”写进命题本身。

7.3 批判投入、认知干预与技能形成

Lee等调查319名知识工作者,收集936个生成式AI使用实例,发现对AI的较高信心与较少的批判思考活动相关,并描述批判活动向信息核实、结果整合与任务管理转移。〔乙11〕 该研究依据自我报告,不是AI导致长期批判能力下降的随机证据。它支持区分批判任务类型与投入方式,但不能单独判定能力究竟增长还是退化。

Buçinca等在AI辅助决策实验中发现,促使参与者进行分析的认知干预,相对于简单展示解释的方式,能够降低对错误建议的过度依赖,但伴随主观体验上的代价。〔乙12〕 这说明”给出解释”与”形成可靠判断”并不相同,也为改变互动安排提供依据。不过,该研究不是生成式AI教育中的长期创造力训练,不能直接验证本书全部课程主张。

Shen与Tamkin于2026年发布的预印本研究开发者学习陌生异步编程库的过程,报告AI条件下某些概念理解、代码阅读与调试测量较差,同时发现不同互动方式具有不同学习表现。〔乙13〕 本书按预印本使用该材料,不把其互动模式的事后分类当成已随机验证的原因,也不把编程学习结果等同于一般思想能力。其作用是进一步提示技能形成不能由任务完成推定。

这些研究共同支持一个值得检验的方向:关键可能不只是系统提供什么,而是人在什么位置进行何种认知操作。然而,“有意识参与”若没有明确操作定义,也会成为不可失败的解释。任何好结果都说参与了,坏结果都说没有参与,理论就失去了检验价值。本书后续因此以预定任务、行为编码与随机安排约束这一解释。

7.4 大脑活动差异不能直接译成大脑能力变化

Kosmyna等的写作研究预印本报告,不同工具条件下存在脑电连接、回忆与作品归属感的差异;前三次任务有54名参与者,第四次转换条件有18名完成者。〔乙14〕 这些观察值得研究,但任务期连接指标不是创造力的同义词。Stankovic等的评论预印本对样本、分析可复现性、脑电方法与报告一致性提出了方法论质疑。〔乙15〕 两者均不能被简化为”大脑已经被AI损坏”的定论。

Poldrack关于神经影像反向推断的讨论提醒研究者,从某种神经活动模式推论特定认知过程,需要额外的选择性和推断条件。〔乙16〕 本书据此坚持更窄的解释:某项脑电指标较低,不能单独证明思考质量较差;指标较高,也不能单独证明学习更好。困难、熟练程度、策略和任务完成方式都需要通过具体设计区分。

对于本书的教育问题,行为上的理由响应、迁移与纠错应是主要结局,神经指标可以作为独立探索证据。若将来实施神经研究,应有专门样本量、分析预注册与多重比较控制。本书没有取得任何新神经数据,也不把SDE的”显露变化”当作脑结构改变的观测替代物。

7.5 证据审查的有限结论

以上证据支持对自动增益推理保持否定:作品更好、学习更好、批判活动重组及特定学习受损,可以在不同条件下分别出现。它们尚不足以给出”AI总体提高”或”AI总体降低”人的一般思想能力这一总量结论。本书也不把这种不确定性当成停止改革的理由,而将其转化为需要更精确教学处理和测量的研究议程。

尤其应区分两种研究空缺:一是某种效果实际上不存在,二是效果可能存在但现有设计无法辨认。本书后续的能力归属论证主要处理第二种情形。教育评价若无法区分作品来源、协作机制和个人保持,就可能在相同成品面前给出相反的成长判断,而双方都缺少决定性证据。

研究路径与改革边界

一、承接:本书所依据的实证读数

关于现有实证证据能说明什么、不能说明什么,第二十六章与第二十六章已作逐条清点:凡是把读数取在撤走 AI 之后并预先注册的研究,增量落在零附近或为负;支持性证据则几乎全部取在带机环节。这些读数共同要求改变提问方式——不是抽象地问 AI 究竟好不好,而是问什么人,在什么任务和设计下,获得了哪一种变化。本章在此基础上给出研究设计与改革边界。

二、一个可以区分技术与教学的研究设计

研究可以采用”AI是否可用”与”是否实施认知层级教学”的二乘二设计。第一组不使用生成式AI,采用常规步骤教学;第二组使用AI,但不增加专门的认知块判断训练;第三组不使用生成式AI,使用教师提供的认知块材料进行判断训练;第四组同时使用AI与认知层级教学。

各组应尽量保持教学目标、必要基础、总课时与教师支持相当,并明确材料供给与工具条件。这样的设计可以区分AI接入的效果、教学重构的效果,以及两者是否出现额外的交互作用。如果只有第四组优于第一组,仍不能自动说明差异来自哪一个因素,需要比较全部相关组别。

班级间容易相互影响时,可以按班级分组,并在分析中处理同班学生的相关性。样本规模应依照主要指标、预期效应、组内相关和退出情况进行功效设计,而不是先选一个看起来整齐的人数。工具版本、使用限制与干预执行情况也应记录,以便解释结果。

三、主要结果不能只看当堂成品

研究至少要区分即时任务表现、延迟保持、近迁移与较远迁移。较远迁移尤其不能用换几个词的原题替代,而应改变材料表面或应用环境,同时保留需要识别的核心关系。没有检测到远迁移,也不必否认局部学习价值;但结论必须限定在实际检测的范围内。

可选的主要指标包括:错误方案接受率、正确方案误拒率、关键前提识别、验证点选择及条件变化后的修订。两种错误率应同时考察,因为一个逢AI必反对的学生,也可能表面上拒绝了许多错误答案,却并不具备更好判断。

问题发生则可以从新问题是否改变变量、对象、边界或证据需求,以及是否能够提出可执行检验来评价。不同评分者应依据盲化材料进行判断,并检验一致性。不能让评分者因为认同本书理论,就把带有本书术语的答案评得更高。

四、撤用测量应当服务学习,而不是制造失能

撤去生成式AI的目的,是区分暂时可达性与能力内化,不是要求学生失去所有外部资源。测量条件应说明是否允许纸笔、教材、必要辅助工具以及无障碍支持。尤其不能把正常的辅助条件一并撤走,再把表现下降解释为AI依赖。

Roediger与Karpicke关于测试促进学习的实验,在其研究材料和条件下显示了主动提取对延迟保持的价值。[11] 这为设置独立提取与延迟测量提供了一项相关依据,但本书不把记忆保持的发现直接当作复杂问题迁移的证明。后者仍需单独测量。

合理的撤用任务应聚焦本课程宣称形成的核心能力。若目标是前提判断,就检查前提;若目标是研究设计,就检查是否能组织区分性证据。要求学生重新生产AI曾经生成的全部材料,既不经济,也可能测错对象。

五、哪些结果会使理论受到挑战

如果学生的高层表达增多,却没有提高有效判断与迁移,本书关于层级发生的主张就没有获得支持。如果认知块教学只对已有高水平学生有效,就必须重新讨论基础门槛和公平条件。如果增加核查要求显著挤压核心概念学习,也需要缩小封装范围或改变教学顺序。

若无AI的认知块教学与有AI的版本效果相同,则更准确的结论可能是教学组织方式有效,而AI在所测条件下没有额外学习收益。如果有AI组只提高生产效率而没有提高撤用表现,也可以报告协作增益,但不能宣称学习者内部能力已同步增长。

如果所有组都没有明显差异,还需要检查任务是否足以辨别能力、干预是否真正执行、样本是否足够。严谨的研究既不能遇到无效结果就宣布理论无价值,也不能用无穷无尽的解释保护理论永远不受反驳。

六、大脑研究可以进入,但不能越级解释

将来可以结合行为任务考察注意分配、记忆编码与认知控制等机制,但任何神经指标都必须与明确任务及行为结果相连。某个指标升高或降低,不天然等于更聪明、更懒惰或主体性更强。研究设计应防止把技术新奇感、难度差异和熟悉程度误当成层级变化。

尤其需要区分一次对话中的状态改变,与长期训练形成的稳定改变。要讨论后者,就应设计较长追踪、适当对照与多种任务,而不能仅凭一次写作活动作出”大脑已经永久改变”的结论。本书的理论不依赖这种越级断言成立。

真正有价值的证据链应从可观察的能力变化开始,再考察可能机制。神经研究能够补充解释,但不替代课程结果;行为表现得到改善,也不意味着已经证明某个特定神经机制。

七、试行应当允许暂停和修订

学校可以从一个学科单元开始:明确目标,准备基础诊断与错误案例,设置有AI任务、关键展开任务和迁移任务,再比较结果。试行之前就应写明何种情况需要暂停,例如学生持续接受明显错误,核心基础明显受损,或教师无法对材料实施必要审查。

涉及未成年学习者时,应特别保护个人信息、减少无关数据收集,说明研究与教学的区别,并提供不因拒绝额外数据使用而受损的学习安排。这些是本书提出的教育伦理原则,不是对某一地区具体制度的法律说明。

成熟改革不是一开始就在全校宣告旧教育终结,而是通过可解释的成功与失败逐步扩大适用范围。改革者也要接受自己倡导的高层判断:不仅检查课堂是否产出新形式,还要检查改革究竟到达了什么地方。

© 德麦国际出版社 · 王德生《AI 时代教育的认知变革》· ISBN 979-8-90690-096-8