第四十八章 三个关键比较 意义位置 AI支持与控制条件
一、同一未知不同意义位置
未知材料相近,为什么有时成为新入口,有时只是被查明,有时合理地留在运行之外?要使这一问题超出解释性的叙述,需要把意义位置放到结果之前辨认。本章提出三组尚未实施的优先设计,目的不是用复杂条件保证本模型胜出,而是让不同解释在相近材料上提出可以失败的预期。每组设计均须分别记录前发生、试探、兴趣进入与后续维持,不预设转向越多越好。
第一组设计从三种事前位置切入:已有兴趣充分运行,已有运行遭遇不能照常承接的阻滞,以及尚未进入目标通路。这三种描述并非天然互斥:一个人可以在原兴趣中受阻,同时尚未进入由此显露的旁支。因此应分别记录参照通路是否运行及其承接状况、目标通路是否已经进入,再依据事前规定的组合建立比较组;不能让同一事件因描述重叠被重复计入独立组。位置不能依据后来是否探索倒推,可根据前一阶段的操作、反馈与自述独立编码,并保留证据不足者。给参与者一句“请假装自己对此有兴趣”的指令,不能替代真实运行位置;如果只操弄任务说明,结论也只能针对这种说明的作用。
作为设计设例,可以招募正在进行不同阅读活动的参与者,使他们接触一组相近的文本来源差异。其中有人已能沿自己的解释问题持续比较,有人的原方法正在遇到不能承接的材料,还有人尚未进入相关研究。未知是否真的相近,需要检查各人既有知识与实际理解,不能因为屏幕显示相同文字便认定心理位置和信息条件都相同。
为了减少个体差异的混入,还可以让同一参与者在不同活动时段接受材料,但不能把第一次出现的未知原封不动再当作未知。后续材料须另行匹配,并改变出现次序。即使如此,前次经验仍可能影响后次,研究应记录这种影响,而不是假定所有条件可以任意重置。跨人的比较与同一人的比较各有边界,可以相互补充,不能互相冒充。
首先检验分类能否被独立研究者可靠使用。目标差异仍由既有兴趣承接,就不凭查询增加判为前发生;比较单位失效并出现尚未运行的方向,才登记候选转向。这是在检验边界判据,尚不构成双三角的机制证据。支持安排是否改善试探是另一问题,冲突关系能否增加对独立后续的预测又是第三个问题,三种成绩应分别报告。
可以事前提出一项方向性假说:知识、感知缺口、奖惩与解决机会相近时,若独立编码已发现来源单位与比较规范不相容,运行受阻者相对于兴趣仍能充分运行者,在有限预算下更倾向选择原始来源对照,而非追加同类概括。若对照显示只是标注错误且不影响原解释,候选转向应更易取消或返回原活动。这些行为须在编码之后记录。只使用感知缺口、知识与成本的较简约解释也应读取同样材料、提出预测;若它同样准确,就没有证明双三角的增量。没有区分性预期时,研究只能限称概念或支持方案检验。
对于未转向的事件,研究应另问旧活动是否得到良好维持。读者没有去查外部问题,却继续修正解释、承接反例,可以作为适切不发生的候选;读者因无法取得材料而放弃全部活动,则是不同情形。适切性依据当时的目标、代价、权限与可用证据判断,不能等几周后获得好成绩才给不转向补上合理性。
三种意义位置并非总能被随机分配,因而自然形成的组间差异不能直接证明意义位置造成了一切结果。研究可以报告在这些条件中观察到怎样的关系,再安排有限条件变化检验其中一部分。尤其不能把已有兴趣者经验较多、受阻者压力较强等差异全部归给模型。设计的解释范围,应由实际能控制和能观察的条件共同限定。
二、同等AI不同发生支持
第二组设计关注同一类回答能力怎样被安排。可以比较直接提供答案、加入一般追问提示,以及支持观察、操作与反馈的共同工作。这里同等AI并不意味着只写下同一个产品名称,而应尽量固定基础模型、可访问资料、功能范围和任务预算,并保存会影响结果的配置。若某组获得更可靠的答案,其优势就不能全部解释为发生支持方式不同。
设例仍可使用图书馆记录问题。直接答案组得到针对当前提问的说明;一般提示组得到相同说明,并被邀请提出尚不明白之处;操作支持组得到相同核心信息,还可把候选解释变成有限比较,读取实际反馈并决定是否继续。各组均可提出必要澄清,不能故意把第一组做成错误、冷淡或无法完成任务的工具,再宣布另一组更有效。
若操作支持组同时拥有更多材料、更多时间和更多指导,研究只能评价这一整套安排。为进一步定位贡献,可以让各组具有相同的材料与操作权限,只改变工具是否帮助建立解释到试探的连接。还可安排具有相近交互次数的支持条件,处理额外被关注的影响。每增加一种比较,都应服务于一个明确的剩余解释,不能为追求全面把研究扩成无法实施的组合。
参与者可以按预先规定的办法分配到各条件,尽可能让既有经验与原有运行位置得到平衡。研究者须记录是否真正接受了分配的支持。有的人得到操作建议仍只读取答案,有的人在直接答案条件下自行组织了试探。总体比较应保留所有被分配者,另行描述实际使用过程;不能只挑选认真使用新方式的人,去比较另一组的全部成员。
前发生的判定应在同等观察窗口内进行,不以研究者主动追问造成的字数增加作为主要结果。实际试探要能指出接触了什么可纠正判断的材料;兴趣进入要有持续意义承接;延迟维持则需在约定时间观察是否重新进入同一运行。几个结果可能不同向:某种支持增加试探,却未增加新入口;另一种支持迅速消除局部亏缺,使任务顺利继续。二者都有独立价值。
为了区别入口支持与进入支持,可以预先安排两个阶段。第一阶段面向全部参与者观察候选前发生;第二阶段按共同规则汇集已登记候选,保留第一阶段条件和原意义位置的分层,再重新随机分配后续支持,不能直接沿用原组比较筛选后的成员。也可另取在共同条件中形成候选的样本。第二阶段结论只适用于相应候选人群,不能与第一阶段合并声称对所有人有效。
若研究精度足以排除预定的重要差异,而一般追问与操作支持仍无可辨认区别,或直接答案同样稳定地支持新方向,就削弱了操作支持具有相对优势的假说,并不自动否定整个双三角。研究者应检查实施情况,承认具体预期未获支持,不能把“真正支持”改定义为只存在于成功事件。快速回答可能使好奇合理结束,也可能释放条件供另一通路形成,各分岔仍按原规则保留。
这组设计也不以延长不适为目标。参与者已经取得足够信息时,不需要故意扣住答案;已有兴趣能顺利运行时,不需要持续制造旁支。评价支持方式,应同时看它有没有帮助适切取消、恢复原工作和进入新方向。若增加新入口的代价是不断打断深耕,这项代价属于结果本身,不能被排除在成功定义之外。
三、同等信息不同操作与迁移条件
第三组设计把信息可见与条件可用分开。两个人读到相同说明,一个能够操作材料并获得反馈,另一个只能观看;即便文本完全一致,他们拥有的发生条件也不相同。这里不是宣称操作天然优越,而是检验在什么任务中,实际反馈对于形成可进入方向不可替代,又在什么任务中,既有资料已经足够。
作为设例,可以让参与者依据相同说明搭建纸质结构。一种条件能够折叠、承重并修改,另一种先观看与其任务相称的操作记录。两者都可查询同样的解释。需要注意,实际操作会生成观看者未必得到的新信息,所以不能把最终差异称为纯粹的身体作用。研究应保存新增反馈,并在进一步比较中让观看者获得相同反馈,逐步检查仍有哪些区别。
另一项比较关注发生史。参与者完成一轮任务后,可保留问题版本、被取消的解释、关键操作与核验理由;对照条件可拥有同样篇幅的最终结论。两种档案均作基本整理,避免把凌乱原文与精美摘要的差别误作发生史优势。这里的同等信息指起始材料,同样篇幅不保证诊断信息相同,整包档案比较不能独证检索结构或接口的作用。后续任务还须需要重新辨认原有条件,否则无法判断档案是否支持迁移。
档案比较还需要记录使用行为。参与者是否打开旧版本,是否发现旧结论依赖特定材料,是否因此改变当前试探,都比文件存在本身更接近机制。若保留发生史者表现较好,却完全没有接触档案,也可能是此前整理过程已改变其理解。此时可研究整理活动的作用,但不能把未经使用的迁移接口直接宣布为优势来源。
工具迁移应与档案保存分别安排。可以在工具保持不变时比较两类档案,再在资料可带走的条件下更换工具;最后研究不能自动继承接口时如何重新组织。若同时换工具、删历史并加难任务,表现下降虽然真实,却无法说明哪项条件造成了多少损失。一次研究可以聚焦一个断点,留下其余比较给下一轮完成。
陌生任务也应说明陌生在哪里。更换表面材料但保持问题结构,主要考察是否识别可复用关系;改变反馈方式或评价标准,则可能要求重新组织。这两类迁移不能合报为一个成绩。任务难度及工具熟悉程度应先作独立检查,并提供相称的基本练习,避免把不会打开新界面的困难全部解释为没有发生力。
这组研究允许一种重要结果:人在原复合体中显著改善,换工具后暂时下降,经重新连接后恢复。下降不自动证明此前只有虚假能力,恢复也不自动证明全部能力已经内化。需要看哪些判断保留、哪些功能依赖接口、重新组织付出了多少代价。实际复合能力的稳定范围,应通过条件变化逐步描出,而不是用有无工具的一刀切成绩判定。
与前两组一样,所有比较都应保留中断与未决。材料不适用而主动取消旧方案,可能优于机械复用;没有条件执行的候选,不能与已执行后被否定的方案混为一谈。操作、档案与迁移的研究最终要回答,哪些关系被保留并在新情境中重新成立,而不仅是哪个组交出了更多作品。
四、替代解释
三个设计都不能只与一个被简化的对手比较。知识基础、注意分配、被感知的缺口、奖励预期、学习进展、任务服从、评价焦虑和工具熟练度,都可能解释部分差异。研究者应在实施前写出各解释需要的材料与相应预期。例如,若转向主要来自额外奖励,那么奖励取消后的选择应具有特定变化;若主要来自新意义方向,模型须提出不同的、可被观察的后续。
替代解释不必全部互相排斥。奖励可能使材料进入注意,操作机会可能使缺口变得可处理,意义方向又可能改变之后的选择。本书模型若要增加解释,应说明这些关系怎样组合才产生它独有的预期,而不能把所有有效因素收入九项后宣布已经包容一切。能够容纳事实与能够解释事实,是不同的理论成绩。
比较既有理论时,应采用其原有研究单位与充分版本,不能把信息缺口解释改造成“不知道就必然探索”。如果一个较简约的模型凭感知缺口、知识与代价已经准确区分主要分岔,SDE须说明意义位置和双三角还增加了哪项独立判断。概念更加细致可以有描述价值,但这种价值不能替代对新增机制的检验。
预测可以在部分材料上形成,在另一部分尚未分析的材料上检验。两种模型须接触相称的信息,接受相同的边界规则与失败后果。不能让SDE读取整个发生史,却只给另一种解释一张简短问卷,再将差异归为理论优越。若研究比较的是材料丰富程度,结论就应明说这一点。
研究规模与分析方法也应随问题确定。少量密集案例能够检查机制是否可辨认,却不能独自支持广泛发生比例;较大条件比较可以评估差异是否稳定,却可能遗漏入口形成的细部。实施前应说明希望排除多大范围的不确定性,并据此安排材料,而不事后把任何方向正确的小差别都称为重要支持。
最终报告应同时展示预期成立、预期落空、适切未发生和资料不足的情形。三个设计的价值,是使本书可以失去某些原先相信的解释:意义位置也许只在部分任务有效,操作支持也许主要改善任务完成,发生史也许只有经过整理才可迁移。这样的结论比一个无条件的成功总分更接近可检验的发生学,并为长期竞争力研究规定真实起点。