每卡四行:问什么 · 从哪取数 · 什么算异常 · 最容易的作弊。可脱离本书使用。
卡一 复推率 ρ(第一章)问:换一个表面不同、结构相同的情境,他会不会推出同一条?至少测两次。取数:一次带教或教研,一小时。异常:说得清楚而推不出来。注意——说得清楚是复述的证据,不是复推的证据。作弊:只测一次;一次推对可能只是记住了。
卡二 内外表述落差(第二章)问:这个领域对同行说的,与对使用者说的,是不是同一件事?取数:专业文献一份,使用手册或对外说明一份。异常:专业内部承认某样东西是构造的,使用现场当作给定的。作弊:把对外说明也写得很专业,落差消失在文本上而非事实上。
卡三 影子正本占比(第三章)问:分头问持有者两句——「这几份应该一样吗」「如果不一样,哪一份算数」。取数:四五个人,分开问,半小时。记原话,不要归纳。异常:第一句多数答应该,第二句答案分歧,或出现「应该都一样吧」这种反问。作弊:当众问。当众问会收敛到一个答案,而分歧本身才是读数。
卡四 借清率 b(第四章)问:目标处清晰度上升的同时,相邻处下降了多少?取数:相邻题域的配对测试;「近」的口径必须先声明。异常:只测到上升,没有人去测下降——多数场合的实际状况。作弊:把「近」定义得足够远,坑就落在测量范围之外。
卡五 剥夺落差 Δ(第五章)问:临时封掉替代路径,结果跌多少、多久回得来?取数:需要停机,全表中成本最高。应在可及性还低时先测一次留基线。异常:跌幅大且恢复慢。注意第五章实测:恢复不是更快,是更慢。作弊:封路时间太短,只测到一次性适应,测不到路径退化。
卡六 带责分叉数(第六章)问:单位工时内,有几处满足三条——路真的分开、他知道并被允许走、选错的后果落在他本人身上且不至于将他废掉?取数:岗位描述数据库现成可算;O\*NET 一类公开库即可。异常:工作量与步骤数不变或上升,而分叉数下降。作弊:把「可以提意见」算作分叉。意见不被采纳且无后果的,不算。
卡七 类内距(第七章)问:合格样本在使用者关心的维度上有多离散?取数:返工率、胶合代码量、上手时间、排练次数——多数已有记录,只是从未放在同一张表上。异常:规范条款数上升而适配工作量不降。作弊:把「使用者关心的维度」改成规范里已经写了的维度。
卡八 记零位(第八章)问:「发现了一个错误」在正式记录里记在谁名下、算多少?三追问:能跟人走吗、进晋升材料吗、能被第三方核对吗?取数:一份晋升材料模板即可判。异常:三追问全否。作弊:给「发现」记功。记录的将不再是核验,而是关于核验的声称——去给「报告」记账。
卡九 静息变异率 v(第九章)问:无任务、无考核、无故障的时段里,自发做出的与默认做法不同的事占多少?取数:事后清点,无法预约。异常:为零。注意为零通常被记作可靠性良好。作弊:划出两小时叫自由探索,有场地、有交付物、有考核——按定义,那两小时里测到的一条也不算数。
卡十 鉴别独立性(第十章)问:我凭什么认为他在这件事上靠得住——而这个理由,一个完全不具备该领域判断力的人能不能用?取数:一次自问,零成本。粗筛更快:这个领域里,有没有人因为判断错了而承担过可被外人读出的后果?异常:理由落在第二层(「大家都说他判断力好」)。这一层最危险,因为它在形式上模仿了第一层。作弊:无。这一项没有可作弊之处,只有「对自己所处领域的独立性判断几乎总比实际乐观一格」这一条系统偏差。