第四十七章 模型操作化 九项 冲突和权重如何辨认

一、九项指标

操作化的任务,是使一个不了解结局的研究者能够依据公开规则辨认关系,并让不同判断有可讨论的依据。它不是为九个术语各找一个数字。本章提出的指标、类别和编码程序均为待验证方案;即使一份表格填写完整,也不表示双三角模型已经得到支持。首先需要检查的是,每项判断是否有所指,是否允许证据不足,以及是否把理论定义与实际观察分开。

S1关注差异怎样被显露。对比可以从被并置的对象及比较依据辨认;变化按variation记录所允许的种类、具相与范围;分布则记录各项材料、位置和参与者怎样获得不同作用。不能把发生先后直接编码为S1的变化。若参与者只是等待下一次记录,研究者还需说明新的变体范围是否改变,而不是见到时间流逝就填写该项。

S2关注对象作为粒子、波或场怎样成立。操作上可以检查,当前判断将什么当作独立单位,是否保留过程承接,是否需要整体关系才能解释局部。三种模态不是三类固定物体。同一照片在一次任务中是待命名的单位,在另一次任务中可能进入连续观察。编码必须指出实际判断依赖哪种组织,不能见到大量材料就直接认定形成了场。

S3的真、善、美需要通过关系要求辨认。什么证据可以迫使判断修正,哪些后果与参与者需要被成全,何种关系组织产生持续吸引,可以分别提供线索。说出“真实”“有意义”“很好看”只是材料之一。研究者尤其要保存言语与选择的差异:参与者宣称重视准确,却删除不利材料,此时应记录不一致,而非用口号替行动作证。

D1关注创造或特征、自由、幸福的意义运行。在前发生阶段,记录的是新方向怎样取得可辨认的形状、可行路径怎样开始显露、张力转换怎样成为可能;在兴趣阶段,则记录这些关系是否已经承接连续参与。不能因为出现候选方向就填写“意义已运行”,也不能因未取得成品便认定意义尚未成立。两种时间位置应使用不同记录栏。

D2记录实际推进,而非参与者是否背得出步骤。本书工作口径为猜想、执行、评估、反馈、修正、迭代;九步追加分化、重组、升维。已有文本存在另一种步骤划分,不能把本书选择说成其他版本已经废止。研究时应注明所用版本,并记录缺失、往返与并行;如果每个动作无论怎样都能被归入任一步骤,编码就没有区分价值。

D3要求说明误差相对于什么参照,冗余相对于什么必要操作,亏损由谁在何种范围承担。速度提高不必然表示三种优化同时改善。设例中,删去重复记录减少填表时间,却可能失去辨认持续使用所需的比较。编码应保留优化对象、约束与代价承担者,随后才能判断它与新的试探有无不相容。

E1以理念、现实、自我三界的承接为观察重点;E2以符号、逻辑、数学的信息组织为重点;E3以内能、动能、势能所指的维持、激发与吸引组织为重点。三项均属于特征纠缠,不能缩写成外部条件清单。E2不与What、How、Why机械对应,E3也不凭工作时长获得物理量值。每项编码应附上材料位置、判断理由和缺失证据,保留未识别比强行填满更有研究价值。

二、冲突的独立判据

双三角模型最需要防止的循环是:先看见好奇,再把先前任何困难命名为冲突,最后用冲突解释好奇。因此,冲突编码与前发生判定应使用分开的程序。前一程序检查当前要求及可行推进之间的不相容,后一程序检查信息亏缺、意义方向与吸引是否形成前发生。前者不能以“参与者后来追问”为判据,后者也不能因为“已经发现冲突”就自动给出肯定。

本书建议每个候选冲突至少附有一对明确要求与一项承接障碍。一项要求来自当前的模态、优化或三界安排,另一项来自比较规范、推进步骤或能量组织;障碍说明为何二者在已记录条件下不能同时满足。单独的错误、困难或意见不同都不够。若无法说明不能相容的具体位置,只能暂列一般阻滞,不算双三角冲突的正面证据。

以图书馆为设例,事前把一次小组记录活动固定为主要单位,登记任务范围与已经运行的通路。若只要求瞬时计数,补足漏记后按旧标准提交,可编码为任务修补;出现独立于交付的新信息要求,会削弱这一判断。若此前已经持续研究阅读关系,新记录由原比较标准承接,可编码为兴趣深化;原标准不能继续组织参与,才需检查新入口。若原本只做瞬时计数,随后主动将时间过程纳入比较,开始追问统计怎样解释持续使用,而相关研究尚未运行,可登记前发生候选;若只是照抄新题目,材料组织与参与均未改变,则不能据此确认。三种判例依赖事前范围,不靠结局切换粒度。冲突则另行检查:只有现有要求确实需要过程推断而记录无法承接,才有模态与规范不相称的独立证据。

还应分开材料中存在的不相容与参与者已经接触的不相容。前者可以由规则、样本与操作限制辨认;后者需要当时的比较、复查、陈述或选择作为证据。一个从未向参与者开放的差异不能直接解释他的转向。反过来,参与者觉得说不通而研究者尚未找到外部判据,可以记录被感知的冲突候选,但不能宣称两套三角的结构已经独立确认。

实施时,可以由第一组编码者仅接触事前规则和截止某时点的材料,填写冲突类型、证据与不确定性;另一组处理之后的入口变化,第三组再处理兴趣与成果。对早期材料中偶然泄露结局的内容,采用预先规定的遮蔽办法,并保留未经遮蔽的审计版本。不能为了保持盲态删掉不利于理论的必要信息,遮蔽造成的判断限制也须报告。

比较材料须包括有冲突而未发生、无可识别冲突却发生,以及有冲突并发生的候选。模型不主张冲突一出现便必然引起好奇,所以第一种情形主要检验转换条件;第二种情形则直接触及所提出机制的覆盖范围。不能对第二种情况无限追问,直到任何细微不一致都被收编成冲突,同时对正面案例只作简短确认。

若研究希望提出因果判断,还须预先说明改变哪种冲突条件应使哪些后续关系改变。例如只补足时间记录,是否使原有不相容消失,参与者又是否转而面对别的问题。这类条件变化可以支持或削弱机制解释,却仍需同时记录理解难度、资源可用性和任务要求的变化。一次干预若改动了许多关系,其结果就不能独归某条连线。

三、权重与交互

权重首先表示某项关系在特定阶段怎样约束方向选择,而不是参与者心中存有多少真、善或美。当前研究可以尝试“主导”“约束”“协同”“尚未识别”等定性标记,但这些也只是待验证类别。主导须说明它对转换方向提出了什么限制,约束须说明触及何种条件便应停止,协同须说明它怎样改变其他关系的可承接性,不能只凭叙述篇幅分配名称。

判断权重可从真实选择开始。参与者获得更快的答案后仍坚持保留一组反例,说明什么没有被速度补偿;他愿意取消一个吸引人的方向,因为材料无法支持,说明什么构成了边界。然而同一选择仍可能由外部考核或声誉压力解释。编码者应把这些解释并列,并寻找后续能够区别它们的反馈,不把一次姿态直接升级为稳定价值结构。

更强的检验来自事前条件比较。设例中若认为主要约束是无法检验持续使用,就预期提供可追踪离开与返回的记录机会,比仅加长相同解释,更能促成区分候选、实施比较与据反馈修正。若较长解释同样有效,或操作机会实际可用却不改变这些关系,便削弱操作承接主导的判断。不能把未奏效者降为协同,再把唯一奏效者事后命名为真正主导,使权重永远正确。

权重也可能表现为不可替代条件。假如关键材料失真,即使活动极具吸引也应被参与者暂停,此时真实性更像约束而非可由美感补偿的分数。另一些情况下,有限的操作改善只有在方向具有吸引时才会带来持续试探,显示关系之间的交互。上述均是研究假设,须通过各条件的材料检查,而非仅凭一个生动故事认定已经成立。

为了辨认交互,可以把两个支持条件分别设置为有与无,并同时保留二者共同存在和共同缺少的情况。例如,可比较的材料与可执行的反馈通路是否需要相互承接。若只比较完整支持和完全缺少支持,无法知道哪项贡献较大,也无法区别组合与单项作用。研究不必一次检验所有关系,但每次应明确自己能够辨认到哪一层。

一个重要限制是预测材料与判定材料不能完全相同。若用“愿意继续探索”给美的权重打分,又用同一句话确认好奇,所得关联只是重复编码。权重判断应尽可能落在较早的选择及其约束,后续判定则检查新的问题组织、试探和意义位置。共享材料无法避免时,须公开说明,不能把语言上的重合说成两类独立证据互相支持。

只有在定性类别能被不同研究者稳定辨认之后,才有理由讨论数值尺度。届时仍需另行规定单位、等级差异、跨任务可比性及缺失处理。不能先令所有权重相加为一,再把没有根据的总分当作实测机制。本书目前的关系表达只是提出分析位置;九项之间是否适合线性加总、是否存在阈值,都属于待研究问题。

四、事件边界及编码一致性

编码手册应先写事件的边界规则,再写九项细目。主要单位可以由一条预定目标通路及其原有运行确定,并说明哪些改变只算深化,哪些改变足以登记新的候选。兴趣中的每次局部问答不能自行开立一个事件。若研究者认为确有新入口,应提供与事前粒度相称的比较单位、评价方式或参与位置变化,而非仅以出现未知为依据。

结果分类宜使用几个彼此分开的判断。首先辨认前发生成立、未成立或证据不足;其次记录是否及何时试探,再记录截至窗口是未决、暂存、取消还是进入兴趣。试探不是与这些状态互斥的终局,暂存之后也可恢复。最后另行评价选择是否符合当时可知的条件。适切不发生属于未发生中的评价,发生后未进入兴趣属于后续分岔;不能把两者排成由差到好的序列,使合理停止被误记为低能力。

在正式研究之前,可用一批先导材料修订手册,让编码者说明分歧来自哪些词义、边界或证据缺失。修订完成后固定版本,再用于未参与修订的新材料。训练过程中的一致不能直接代表面对陌生事件仍然有效。如果看到新结果后继续修改手册,应保存改版时间,并将这一批作为探索材料,另行保留新的检验机会。

一致性至少要让读者看到原始分歧发生在哪里。仅给一个总体百分比,可能掩盖所有人都把大量时段判为没有发生,而对少量关键事件完全无法一致的情况。本书建议分别列出各类别之间的相互误判、边界区间的重叠程度及证据不足的比例。这里提出报告办法,不预先规定一个通用于所有研究的合格数字。

分歧处理也要避免制造虚假一致。两位编码者先独立留下判断,再讨论;若由第三位裁决,应保留最初结果与裁决依据。讨论后形成一致可以用于组织案例解释,但不能替换独立阶段的记录。理论提出者不应凭身份获得最终解释权,尤其当分歧涉及未发现冲突的前发生,反对意见本身就是模型应面对的材料。

还可以在主要分析之外检查结论对边界的依赖。把不确定区间按较早和较晚的可能位置分别处理,或将未决事件保持未决,看看核心判断是否改变。这不是允许随意挑选最有利结果,而是公开模型对合理差异是否脆弱。若一种微小切分就使全部支持消失,应降低论断强度,进一步研究概念是否需要重划。

操作化因此有自己的失败标准:编码长期依赖结局,关键类别只能由少数解释者辨认,或者九项映射无法排除任何事件,都意味着当前程序尚不足以检验模型。此时增加量表项目并不能解决问题。需要返回材料,缩小主张,修改关系判据,再把修订后的方案交给新的比较。下一章将把这些规则用于三组具体研究设计。

五 通路位置的统一编码规则

“跨通路好奇”与“兴趣内追问”之间的那条线,是本书最常用、也最容易被各章各画一遍的线。第三章用通路相对性画它,第二十二章用亏缺单位改写画它,第二十四章在与四阶段模型的对撞中画它。一条线若有几套判据,读者就无法知道一次具体事件落在哪边。本节给出唯一的一套;各章的日常例子都按这里的条目与门槛编码,不再另设门槛。

编码分两步。第一步是事前登记参照通路。在观察开始之前,至迟在答案到来之前,写下当事人正在运行的活动、它使用的比较单位和评价标准,例如“养月季:按品种比较,以开不开花、开得好不好评价”。对每一个出现的问题,登记者只依据答案到来之前的材料判断一件事:寻找和判定这个问题的答案,是否需要改换已登记的比较单位或评价标准。需要的登记为“跨通路候选”,不需要的登记为“通路内”,材料不足的登记为“未定”。登记不使用工具与时间安排,因为它们在后面是结果变量。

第二步是在事先约定的窗口内,对答案到来之后的行为编四项标记。

第一项,比较单位改换:实际被并置的对象或比较所用的单位,换成了参照通路登记之外的一种。老李把花按盆土而不按品种分组,孩子把三道错题摆在一起,小周把同一包豆子按不同参数对比,都属于这一项。证据必须是留下来的材料,如照片分组、记录表、摆在一起的作业本;口头说“我想换个角度”不算。

第二项,评价标准暂停或改换:已登记的评价标准在一段时间内不再被用来判断成败,或出现另一个标准。老李一段时间不以开花论成败,小周从“好不好喝”换成“哪个变量带来哪种味道”。

第三项,新工具或新时间的单独分配:为这个问题留出原安排之外的时间,或使用参照通路中没有的工具。在原有安排里多花十分钟不算。

第四项,无提示的重新接触:没有外部提醒,当事人回到这份材料,例如回去看杯子、翻出写在本子边上的问题。

门槛是:第一项或第二项至少一项成立,并有留存材料为证,即记为跨通路;两项都成立的记为强跨通路。第三、第四项不参与分类,只作后续行为:只有它们成立而第一、二项都不成立的,记为“投入增加”,不记跨通路,因为兴趣内的深入同样会让人多花时间、多回来看。这样安排的理由是避免循环——第十四章与第二十四章的预测恰好以第四项、第三项为结果变量,若它们同时参与分类,预测就会拿自己的结果去判定自己的对象。第三章提到的“参与位置”的改变作为附注记录,不计入门槛,它在目前的材料中最难被陌生编码者稳定辨认。

第二十二章的“亏缺单位改写”,是第一项的一个特例:比较单位的改换不只发生在被并置的对象上,也发生在“缺的是哪一种东西”上,例如孩子要的答案从一个数变成一类题的规律。它按第一项编码,另在附注中标明答案类型的改变;只有问句形式变了、却没有实际并置材料的,不记为改写。

盲编码的安排是:参照通路的登记者不参与四项标记的编码;四项标记由两名不知道参与者分组和长期结果的编码者独立完成;理论提出者不担任任何一步的编码者。一致性按下一节的门槛,对事前登记、每一项标记和最终归类分别计算,不合并成一个总数。

这套规则同时规定了主要预测的主结果变量。三条主要预测各取一项,互不重叠:第十四章“没有缺口的好奇”以第四项,即窗口内无提示重新接触的次数为主结果;第三章通路相对性以第一项,即比较对象的改换为主结果;第二十四章四阶段对撞以第三项,即新工具或新时间的单独分配为主结果。每条预测只以自己的主结果判定成败,其余各项作次要指标,用来描述后续的形态。第三章的预测在登记时问“是否需要改换比较单位”,在结果中又看“是否实际改换了比较对象”,两者并不重复:前者是答案到来之前对需要的判断,后者是答案到来之后留下的材料,由不同的人在不同时段完成。次要指标为几条预测所共享时怎样处理,见第五十章“三种具体的本书错了”一节。

六 先登记的数字 一致性 样本与停止条件

本章第四节说,本书不预先规定一个通用于所有研究的合格数字。这一点保留:不同材料、不同领域的编码难度不同,一个数字不能适用于所有研究。但“不通用”不能变成“不登记”。没有事先写下的数字,每一项研究都可以在看到结果之后再决定什么算一致、多少样本够用、何时停止,失败标准也就随之消失。因此本书要求:每一项研究在开始收集或打开数据之前,登记自己的数字。本书同时给出一组建议的默认值,供没有更好依据的研究采用。

第一组数字是一致性。冲突编码的评分者一致性以Cohen's κ计,建议至少达到0.61,才可以进入机制分析。按Landis与Koch的分档,0.41至0.60为中等,0.61至0.80为高[35];本书把门槛放在“高”档的下限,而不是中等档的上限。前发生判定、通路位置的事前登记与四项标记(本章“通路位置的统一编码规则”一节)和“该开、不该开”的情境判定(第二十七章的适切判别)分别计算一致性,各自适用同一门槛,不合并成一个总数。达不到门槛时,可以修订一次编码手册,再用新的材料重测;修订后仍达不到,就不进入机制分析,只报告分歧在哪里,并把这一结果计入本章第四节所说的操作化失败。

第二组数字是先导研究的规模。建议先导研究至少包括二十个候选事件,由两名独立编码者分别编码,编码者不知道参与者的长期结果。二十个事件不足以支持任何机制结论,它的用途是检查手册能否被陌生人使用、分歧集中在哪些类别、证据不足的比例有多大。对于第十四章的二乘二设计,先导阶段建议每格不少于二十人,同样只用于估计变异和检查程序;正式研究每格的样本量,应根据登记的最小差值事先计算,不在看到数据后追加。

第三组数字是覆盖范围的收缩条件。双三角模型主张,它所说的冲突参与了好奇前发生。若在独立辨认出的好奇前发生事件中,超过三成编码不出模型所需的不相容——也就是找不到本章第二节意义上的一对明确要求和一项承接障碍——就应收缩双三角的覆盖范围,把它改述为好奇发生的一条路径,而不是普遍机制。三成给“未识别不等于不存在”留出了合理余地,又不让这个余地无限扩大。补查沿用第五十章第二节的原则:事先规定补查的时间窗口,不追溯到窗口之外。

最小差值也需要事先给出。对于第十四章的二乘二设计,主结果是窗口内无提示重新接触的次数,本书建议把丁格与甲格之差至少达到甲格标准差的0.4倍作为有意义的最小差值;若改用“至少有一次无提示重新接触的人数比例”这一二分口径,最小差值为十五个百分点,两种口径在登记时择一。第十四章E1与E3的交互预测,建议把交互对照(阳台相对实验室的增量在两种时间条件下之差)同样以0.4倍标准差为最小差值;对于第三章的通路相对性预测与第二十七章的适切判别预测,建议在缺口大小或开启频率之外,通路位置或判别指标对后续行为的预测至少有一个事先写明的增益,例如在同一模型中加入后,对应结果(第三章为比较对象的改换,第二十七章为已有兴趣的持续与跨通路后的兴趣形成)的预测正确率提高五个百分点以上。这些数字同样是建议,目的在于防止事后把任何方向正确的小差别都称为支持。

第五编另有几条预测,这里一并说明。第二十四章“四阶段模型把好奇问题放在兴趣之内”一节的预测,以新工具或新时间单独分配的比例为主结果,最小差值建议为两类问题之间至少十五个百分点。第二十二章关于亏缺单位改写的两条预测、第二十四章关于转折时刻与现实承接的两条预测、第二十五章关于通路编码与事前统计的预测,暂不登记数字,仅作探索性检验:这几条所依赖的事件还没有经过一致性检验,基础比率也不清楚,现在写下的数字只会是猜测。它们的结果用来修订设计,在下一轮研究为它们登记数字之前,不单独据此宣布本书成立或被推翻;它们的收回条件仍列在第五十章的清单中,一旦下一轮研究为它们登记了数字,便转为正式判据。

第四组是停止条件。研究应事先写明在什么情况下停止:一致性两次未达门槛;先导事件中证据不足的比例超过事先登记的上限,建议默认为四成;二乘二设计中某一格的操纵检查失败,例如“无缺口”格中多数参与者没有通过理解检查,或报告事前列出的问题仍未得到回答。答案呈现之后新提出的问题不计入操纵检查,按第十四章的规定作为结果记录。停止不是放弃,它说明程序还不足以检验模型,下一步应回到概念和材料。

登记的内容不止这几个数字。一份可用的事前登记至少应包括:所用编码手册的版本与附录A的口径差异;每个类别的两到三个锚定例子,用来训练编码者;预期的方向与最小差值;主要分析与次要分析的区分;缺失与失访的处理办法;以及上面四组数字。κ值单独报告还不够,应同时附上第四节建议的类别间误判表,因为一个可接受的κ可能来自大量容易判定的“未发生”时段,而少数关键事件仍然分歧很大。为此,建议对编码为前发生候选的事件另算一次一致性,同样适用0.61的门槛。

编码者的盲态也需要具体安排。冲突编码者只接触截至某一时点的材料,不知道参与者被分在哪一格,也不知道后来是否进入兴趣;判定前发生的编码者不接触冲突编码的结果。理论提出者不担任任何一组的编码者。这些安排在第二节已有原则性说明,这里要求把它们写进登记,并在报告中说明是否实际做到。

以上都是建议口径。具体研究可以在登记时调整,例如材料特别难编码的领域可以放宽κ门槛,并说明理由;但一切调整必须在看数据之前完成,并保留带日期的登记版本。看过数据之后改动的任何数字,都只能把这一批材料降为探索材料,不能再用作检验。

回到页首