突破 · 网页版全书

第十二章 一份共同的研究

九章其实设计了同一项研究。而这项研究最可能的结局不是被证伪,是差异被研究本身的副作用抹平。

一、九章其实设计了同一项研究

前九章各自给出了一份经验研究方案:第四章十二周追踪认知再发生,第五章从二十一天测量开发到十二周随机竞争,第六章四臂十二周与支架撤除,第七章二十四个月追踪未发生者的制度命运,第八章十二周微随机匹配,第九章一项已经执行的文本检验。它们分散在九章里,看起来是九项研究。

本章的主张是:它们应当是一项研究。理由不是省钱,而是第十章那条主张只能这样检验——九个读数是不是三层,必须在同一份数据上同时计算九个读数才能判定。分头做九项研究,无论每一项做得多好,都回答不了这个问题。

二、四臂

设计四臂,而不是九臂。三个干预臂各自只动三层中的一层,互为对照。

A 臂 · 知识对照:提供本书全部概念、术语与案例,进行同等时长的讲授与讨论,不改变任何程序。这一臂的作用是排除「读了这本书就会好」这一解释。它是本书最需要的对照——若 A 臂与其余三臂效果相同,本书的全部机制主张作废,剩下的只是一套有启发性的说法。

B 臂 · 入口层:只改变谁有资格发起。具体动作:把举证责任写死并公开(对应 R4);为分歧设立隔离期,期内分支的判断不进入中心汇总(对应 R6);为「系统里没有这一项」单设登记项并按月公布计数(对应 R7)。不提供任何执行支持,不改变任何环境条件,不改变任何评价规则。

C 臂 · 承载层:只改变发起之后能否维持。具体动作:清除目标转场的材料与时间阻力;建立异常档案制度;为可逆行动提供低成本试验位。不改变谁能发起,不改变谁的判定算数。

D 臂 · 署名层:只改变最终由谁的判定算数。具体动作:受影响者的证词进入正式记录并须逐条答复(对应 R3);变化之后核对成功标准本身是否被改过(对应 R1);对不可逆承诺写明改写口(对应 R9)。不改变发起资格,不改变环境条件。

三个干预臂的接触时长、材料数量与参与者工作量必须等同,且保真度须在揭盲前独立评定并报告。若三臂的接触量不等,一切结果都可以由接触量解释。

三、九个读数由同一批人在同一份数据上全算

四臂之上,还有一条更要紧的纪律:九个读数由同一批盲编码者,在同一份数据上,对四臂全部计算。不是每臂只算自己那一层的三个读数——那样就回到了分头做研究,第十章的问题仍然无解。

编码手册(附录二)中不出现任何章名与构念名。编码者不知道哪个读数属于哪一层,也不知道研究者的假设。第十一章第七节记过一处教训:编码者一旦知道构念名,就会按构念的意思去看材料,整段数据因此报废。

材料共八类:

一、事件日志(时间、发起者、内容、处置结果);二、异常与反例记录(含未被处理者);三、正式记录与档案格式的变更史;四、争议材料原句(不接受整理后的摘要);五、撤除期的行为记录;六、受影响者的独立访谈(不由执行者转述);七、不可逆承诺的文本及其修订条款;八、四臂共有的一份基线普查。

四、剂量、时长与撤除期

十二个月:四周基线,八个月干预,三个月撤除期

撤除期不是收尾,而是本设计中最重要的一段。第五章的自续率、第八章的行动谱、第十一章第四节的例外三,全部只能在撤除期取值。没有撤除期的研究不能检验本书的任何一条主张,因为九格与其健康对照格在干预期内的表现是一样的——这正是它们被称为「最像突破」的原因。

同理,须在干预期内安排至少一次真实扰动(不是研究者制造的模拟扰动),并在扰动后追踪恢复过程。第十一章第四节的例外一要求三签名只在该安排经历过一次真实冲击之后使用,这一条在设计上落实为此。

五、看数据前写死的三种处置

结果甲:四臂在九个读数上同涨同落,臂间差异不显著。处置:本书退为一套教育理念,九项机制主张作废,第十章规则一触发。且不得以「实施不到位」解释——保真度评定已在揭盲前完成,若保真度合格而效果无差,就是无差。

结果乙:三个干预臂各自只抬起自己那一层的三个读数,跨层不动。处置:三层成立,第十章规则二触发,本书编次应按层重排,现行三编不予保留。这一结果对本书的核心主张最有利,对本书的目录最不利。

结果丙:B 臂同时抬起三层,而 C、D 两臂只抬自己那一层。处置:本书第十章第四节那条顺序主张成立,且是全书唯一被支持的强主张。此时本书的实践建议收缩为一句话——先看入口层——其余全部内容降为该句的注释。

本书在此声明:丙是作者押的结果,也是三种结果中最容易被证伪的一种。若 C 臂或 D 臂同样能带动另外两层,丙即被推翻。

六、最小可行版

上述设计需要四个组、十二个月、八类材料与一支独立编码队伍。多数人做不到。因此写下最小可行版:

只跑 A 与 B 两臂,只算 R4、R7、R5 三个读数,六个月(四周基线、四个月干预、六周撤除期)。

选 B 而不选 C 或 D 的理由在第十章第四节:若顺序主张成立,B 是唯一可能带动另外两层的一臂;若跑 C 或 D 而未见跨层效应,无法区分「顺序主张成立」与「本设计无效」。选这三个读数的理由是:R4 与 R7 分属入口层中最易取值的两项,R5 是承载层中唯一可在撤除期直接观察的一项——三者构成检验顺序主张的最短链条。

最小可行版能回答的问题只有一个:只改发起资格,能不能带动承载层。它回答不了三层是否可分,也回答不了九个读数是否可分。这两点须写进任何据此发表的报告的限制条款。

七、伦理六道

一、参与者可单独撤回其材料,且撤回不影响其在所属组织中的任何权益;二、不得为了观察机制而延误必要的保护或帮助;三、材料的解释权不归研究者独占,受影响者有权对涉及自己的编码提出异议并记录在案;四、研究结束前不得向参与组织反馈任何读数——读数一旦反馈即成为管理工具,第十一章第九节所拒绝的自查表就是这样产生的;五、结果告知与材料销毁的时间表事先约定;六、本研究产出的任何读数不得用于任何资格判定、绩效评价或人事决定,此条须写入知情同意书正文而非附件。

八、研究本身就是一次干预

本设计有四种副作用,其中第一种可能足以吞掉全部效应。

其一,记录即干预。本研究要求记录异常、保存原句、登记「系统里没有这一项」——而这三件事恰是第十一章第八节列出的最小动作。四臂全都在记录,因此四臂全都在被干预。A 臂不是真正的空白对照。

其二,被观察者会调整。知道有人在数「谁最先提出」的场合,提出行为本身会变化。

其三,研究者成为第三方权威。在一项关于「谁的判定算数」的研究中,研究者的在场本身改变了这个答案。

其四,自愿参与者不是一般组织。愿意接受这样一项研究的组织,多半已经在入口层上比一般组织宽松。

因此本书写下一条对自己不利的预判:本设计最可能的结局不是被证伪,而是四臂差异被副作用抹平,落入结果甲。而结果甲与「本书是对的但设计不够灵敏」在数据上不可分。区分二者的唯一线索是保真度与基线偏移:若 A 臂的基线在四周内已经上移,说明记录本身在起作用,此时结果甲不能被读成本书失败,而应读成本设计失效,须重做。这一条必须写在分析计划里,不能等看到结果再说。

九、样本量与最小可察觉差异

主要结果只设一项:R4 撤权成功率。设为主要结果的理由是它在入口层中最易取值、编码者一致性最可能达标,且是丙结果链条的起点。其余八个读数全部为次要结果,不做多重比较校正,只作描述性报告——本设计不打算靠它们中的任何一个作出判断。

实践门槛:R4 提高 15 至 20 个百分点方主张实践意义;低于 10 个百分点,即使统计上显著,本书也不主张其实践价值。

但必须承认一件事:本书对 R4 的方差没有任何已有数据。九个读数中,没有一个曾在任何真实样本中取过值。因此上述门槛是从相邻领域的效应量类比而来,不是估算。跳过可行性研究直接进入正式研究,是本方案最可能的失败方式——不是因为假设错,而是因为样本量算错。任何据此设计执行的团队,应先做一项二十至三十个单位的可行性研究,专用于估计 R4 的组内相关与方差,不用于检验任何假设。

十、为什么不做九臂

有人会问:既然有九个机制,为何不做九臂各验其一?三条理由。

其一,统计上不可行——九臂加对照需要十个组,且要检验跨层效应还需交互项,样本量以数百个单位计。

其二,九臂问错了问题。九臂检验的是「九个机制各自是否存在」,而本书真正没把握的不是这个,是它们是不是九个。这个问题只能通过在同一份数据上同时计算九个读数来回答,与分几臂无关。

其三,也是最要紧的一条:三层才是真正的假设。九章是九个名字,三层是一条结构主张,而一条结构主张只需要三个干预臂加一个对照就能检验。若三层被证伪,九臂做得再精细也没有意义;若三层成立,九臂中的大部分对照本来就是冗余的。

← 第十一章 九种最像突破的固化第十三章 这套理论共同的对手 →