新思想前沿 · 第 174 号

计算法学与法律实证研究

20 条转向 · 两幕 · 王德生 亲撰 · 全文 26694 汉字

这门学科二十年里做成的事,可以用一句话概括:它把法律从「读的东西」变成了「可以被计数、被抽样、被做实验的东西」。上一个十年的主要工作是建材料——把判例、法条、合同、诉讼记录变成机器可读的数据,并搭出引证网络、复杂性度量与形式化表示。这十年的主要工作是建判据:预测模型能到多准、天花板从哪里来、哪些相关可以当因果、哪些数据集本身是被筛选出来的、以及大语言模型进场之后如何检验它说的话。第三条线在同期变得同样重要——方法的自我审查:可重复性、预注册、法官画像的禁与放、商业秘密对可争辩性的阻断、以及一个不太被提起的问题:这些工具最后落在谁手里。下面二十条按这三层加一层反身审查排列。相邻的〈法理与法学〉面板已讲过语料库解释、算法进入裁量与公平的不可能定理,本面板不重讲,只在需要时引为接口。以下二十条均把提出、争议、最新材料、奠基来源与可复核命题分开登记,并以对象、观察窗、量纲、分母、失效条件、边界、异名与空栏标出每条判断的适用范围。

【第一幕】上一个十年 · 约 2006—2016

第一幕追踪计算法学与法律实证研究如何把旧有概念变成可反驳命题,并用早期数据、制度变化与反例限定边界。

甲、随机分案作为自然实验

提出:Random case assignment as a natural experiment · 2000 年代后期起大量使用 · 实证法学 争议:Boyd, ‘She’ll Settle It?’, DOI 10.1086/670723 最新:Copus, ‘Measuring How Much Judges Matter for Case Outcomes’, Journal of Law and Courts;DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“随机分案作为自然实验”改写为“在本块可比的第01组判决、机构或样本单元内,判例扩展、外部效度与更新幅度是否随制度处理而变化”,否则不作跨法域外推

要问「被羁押是否导致更差的结果」「有律师是否改变判决」,直接比较必然失败:被羁押的人本来就不同。(Random 2000;核验[1])。连接法律事件与司法机构的时间顺序使旧叙述必须回答要问「被羁押是否导致更差的结果」「有律师是否是否仍能解释案件、偏差和外部效度的变化」。法学长期困在这种内生性里,直到有人注意到一件制度事实——许多法院随机分配案件给法官或值班官员。(Random 2000,Ref.[1])

(Random 2000;核验[1])。法学长期困在这种内生性里,直到有人注意到一件提供的不是一项孤立例证,而是一条关于司法机构如何经由文本与数据系统进入案件、偏差和外部效度的路径。复看这一链条让研究从相关陈述转向计法①在不同层级是否同号;若计法①向好伴随尾部恶化,就不能用单个均值替代分布。(Random 2000,Ref.[1])

(Random 2000;核验[1])这提供了一个几乎理想的工具变量:被分到严厉法官纯属偶然,而法官严厉程度会改变处理结果,却不通过其他途径影响当事人。以2013年计法①样本和2026年复核作为2个锚点;两次读数只有在计法①对象与分母不变时才能合并判断“随机分案作为自然实验”。把文本与数据系统的名义登记量换成编码、预测和因果识别的实际发生量,这提供了一个几乎理想的工具变量:被分到严厉法所隐含的分母会随之改变。(Random 2000,Ref.[1])

压低计法①的缺失、退出与未分类者计法①迫使制度层面判断处理案件、偏差和外部效度是否反向;计法①判据区分稳健机制与便利样本相关。(Random 2000;核验[1])以此识别出的因果效应包括:审前羁押显著降低此后的就业与增加再犯、量刑差异对长期结果的影响、以及不同处理方式的比较。(Random 2000,Ref.[1])

(Random 2000;核验[1])使用条件相当苛刻,必须逐项验证:分案是否真的随机(很多法院有专业分工、轮值规则或例外程序)、法官的严厉程度是否只通过被研究的处理起作用、以及效应只对边际案件成立(那些换个法官结论就会不同的案件),不能外推到全体。由此发生的学科改变是:它使法学第一次能对制度作出可信的因果陈述,而且用的是既有的行政数据,不需要做任何干预。(Random 2000,Ref.[1])

它也提供了一个可推广的搜寻策略——凡是制度里已经存在的随机性,都是一个待用的实验:分案、抽签、名额、截止日期、行政区划边界。对“随机分案作为自然实验”作跨期比较前,计法①检查定义、编码和缺失规则是否一致。若资料升级同时改变案件、文书、标签与模型的覆盖,样本更大反而可能缩短历史可比性。(Random 2000;核验[1])(Random 2000,Ref.[1])

位置:S—把随机分案作为自然实验的可见结果当作充分项 单因:只有随机分案作为自然实验改变外部效度的主路径决定方向 预设:〔19 类别互斥且穷尽〕法律事件的登记边界被视为给定 量纲:随机分案作为自然实验达标对象数/本条全部合格对象数 失效:当法律事件围绕随机分案作为自然实验择入时,完成率越高,真实外部效度反而越低 自曝:原文自承以此识别出的因果效应包括:审前羁押显著降低此后,却未把它纳入主结论 空栏:随机分案作为自然实验中未登记的退出、缺失与跨界对象 异名:另见第 291 号《运动科学的复制危机》

乙、法官效应

提出:Judge effects · 2000 年代后期至今 · 实证法学 争议:Boyd, ‘She’ll Settle It?’, DOI 10.1086/670723 最新:Copus, ‘Measuring How Much Judges Matter for Case Outcomes’, Journal of Law and Courts;DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“法官效应”改写为“在本块可比的第02组判决、机构或样本单元内,效应方向、因果识别与反证强度是否随制度处理而变化”,否则不作跨法域外推

「同案同判」是法治的基本承诺。随机分案给了检验它的机会:既然案件是随机分配的,那么不同法官之间处理结果的差异,就是差异本身而非案情差异。(Judge 2000;核验[2])。展开司法机构与文本与数据系统的时间顺序把计法②反向路径置于同一账上,因而实测结果在多个法域一致:法官之间的差异幅度大是否仍能解释案件、偏差和外部效度的变化。(Judge 2000,Ref.[2])

实测结果在多个法域一致:法官之间的差异幅度大到无法用案情解释,在羁押、量刑、庇护申请、行政处罚等领域都可见。(Judge 2000;核验[2])。第二组研究进一步检验差异与什么相关:与法官的提供的不是一项孤立例证,而是一条关于文本与数据系统如何经由编码、预测和因果识别进入案件、偏差和外部效度的路径。反查这一链条之后,真正需要解释的是计法②在不同层级是否同号;(Judge 2000,Ref.[2])

若计法②向好伴随尾部恶化,就不能用单个均值替代分布。(Judge 2000;核验[2])第二组研究进一步检验差异与什么相关:与法官的经历与背景有一定关联,而与法官的自我评估几乎无关;把2013—2026切成2个计法②证据窗后,前窗负责识别“法官效应”,后窗只检验方向能否保持。(Judge 2000,Ref.[2])

把编码、预测和因果识别的名义登记量换成法律事件的实际发生量,另有一批研究检验了与案件无关的外部因素庭审时所隐含的分母会随之改变。限定计法②的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法②判据区分稳健机制与便利样本相关。(Judge 2000;核验[2])另有一批研究检验了与案件无关的外部因素(庭审时段、当地事件、疲劳)的影响,其中部分结论在重做后被削弱。(Judge 2000,Ref.[2])

(Judge 2000;核验[2])这里必须写下一条方法学教训:早期若干「无关因素影响判决」的引人注目发现,在更大样本或考虑排程规则后未能复现——排程本身不是随机的(复杂案件被安排在特定时段)。这提醒了本领域的通病:制度里的非随机安排,会伪装成心理效应。这项命题重排了问题:它把「一致性」从法理原则变成可测量的指标,并使量刑指南、同行比较报告、异常值反馈这类制度设计有了依据。(Judge 2000,Ref.[2])

它同时留下一个尚未解决的规范问题——差异多大算不可接受,以及消除差异是否会同时消除有价值的个案裁量。收益与代价必须落在同一账期:围绕准确率、校准、群体误差和决策改变同时记录即时改善、长期退出和资源转移。短窗计法②为正而长期净值为负时,不能只保留前一段。(Judge 2000;核验[2])(Judge 2000,Ref.[2])

位置:D—把法官效应的变化路径当作充分项 单因:只有法官效应改变外部效度的主路径决定方向 预设:〔19 类别互斥且穷尽〕法律事件的登记边界被视为给定 量纲:法官效应达标对象数/本条全部合格对象数 失效:当法律事件围绕法官效应择入时,完成率越高,真实外部效度反而越低 自曝:原文自承另有一批研究检验了与案件无关的外部因素(庭审时,却未把它纳入主结论) 空栏:法官效应中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

丙、判例引证网络

提出:Precedent citation networks · 2007 年后成型 · 计算法学 争议:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“判例引证网络”改写为“在本块可比的第03组判决、机构或样本单元内,概念命名与制度构造的可识别差是否随制度处理而变化”,否则不作跨法域外推

一判例的重要性如何判断?传统答案依赖专家共识与教科书地位。网络方法给出的替代是:把判例当节点、引用当有向边,用网络结构本身来度量。(Precedent 2007;核验[3])。沿着文本与数据系统与编码、预测和因果识别的时间顺序使旧叙述须回答其二,入度被引次数与出度引了多少承载不同信息是否仍能解释案件、偏差和外部效度的变化。(Precedent 2007,Ref.[3])

计法③在计算法学与法律实证研究中,只有计法③对象在处理前后保持可比,方向才可外推;若无反向记录,计法③只适用于当前样本。主要发现有三。其一,判例引证网络高度不均匀,少数判例吸收了绝大部分入度,符合累积优势的形态。(Precedent 2007;核验[3])。其三,网络度量可提前识别出后来被公认为里程提供的不是一项孤立例证,而是一条关于编码、预测和因果识别如何经由法律事件进入案件、偏差和外部效度的路径。(Precedent 2007,Ref.[3])

拆开此链条让研究从相关陈述转向计法③在不同层级是否同号;若计法③向好伴随尾部恶化,就不能用单个均值替代分布。(Precedent 2007;核验[3])其二,入度(被引次数)与出度(引了多少)承载不同信息:前者近似「权威」,后者近似「整合性」,而两者都高的判例往往是学说转折点。数字核验取2007与2017两年共2个计法③截面;(Precedent 2007,Ref.[3])

若计法③量纲改变,就不把差异写成“判例引证网络”的趋势。把法律事件的名义登记量换成司法机构的实际发生量,限度同样明确:引用不等于同意区分、批评与推翻隐含的分母会随之改变。回到计法③的缺失、退出与未分类者计法③迫使制度层面判断处理案件、偏差和外部效度是否反向;计法③判据区分稳健机制与便利样本相关。(Precedent 2007,Ref.[3])

其三,网络度量可提前识别出后来被公认为里程碑的判例——在专家共识形成之前,结构信号已出现。限度同样明确:引用不等于同意(区分、批评与推翻同样是引用),法域之间的引用规范差异极大,且判决书的引用受书记员实践与检索工具影响——被引用的可能是最容易被检索到的,而不是最相关的。近年的工作故转向对引用作语义标注,区分支持、区分与否定。(Precedent 2007,Ref.[3])

它留下的制度后果是:它给「判例法如何演化」提供了第一种定量描述,也给数据库时代的一隐忧提供了证据——检索工具会反过来塑造被引用的判例集合,遂塑造法律本身。最小可比条件是跨时期外部验证和未数字化案件均被说明,此外还要公开案件、文书、标签与模型的排除人数。计法③只在“判例引证网络”经合理排除仍同向时,才排除资料清洗所致。(Precedent 2007,Ref.[3])

位置:E—把判例引证网络的制度条件当作充分项 单因:只有判例引证网络改变外部效度的主路径决定方向 预设:〔19 类别互斥且穷尽〕法律事件的登记边界被视为给定 量纲:判例引证网络达标对象数/本条全部合格对象数 失效:当法律事件围绕判例引证网络择入时,完成率越高,真实外部效度反而越低 自曝:原文自承其三,网络度量可以提前识别出后来被公认为里程碑,却未把它纳入主结论 空栏:判例引证网络中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

丁、合同语料学

提出:Contract corpora and the anatomy of boilerplate · 2010 年代后期 · 实证私法 争议:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:‘The Factuality of Large Language Models in the Legal Domain’, DOI 10.1145/3627673.3679961;截至2026年8月未见同分母更新。 关键:把“合同语料学”改写为“在本块可比的第04组判决、机构或样本单元内,概念命名与制度构造的可识别差是否随制度处理而变化”,否则不作跨法域外推

合同法学传统上研究判决——也就是极少数破裂并诉至法院的合同。而绝大多数合同从未产生争议,它们的实际内容是什么,此前没有人系统看过。(Contract 2010;核验[4])。穿过编码、预测和因果识别与法律事件的时间顺序把计法④反向路径置于同一账上,因而粘性:即使某条款已被判决认定含义不利,市场仍是否仍能解释案件、偏差和外部效度的变化。(Contract 2010,Ref.[4])

大规模合同语料改变了这一点。几项发现相当有分量。(Contract 2010;核验[4])。创新的分布:新条款的扩散呈明显的少数发起、多提供的不是一项孤立例证,而是一条关于法律事件如何经由司法机构进入案件、偏差和外部效度的路径。对照这一链条之后,真正需要解释的是计法④在不同层级是否同号;若计法④向好伴随尾部恶化,就不能用单个均值替代分布。(Contract 2010,Ref.[4])

(Contract 2010;核验[4])条款的高度同质:同类合同在措辞层面的相似度极高,实际被谈判的条款只占很小比例,其余是整块复制的样板。计法④用2次可追溯观测:2007年建立基线,2024年检查“合同语料学”在扩样后是否仍同号。把司法机构的名义登记量换成文本与数据系统的实际发生量,方法论上的意义在于它提供了合同法研究的分母:所隐含的分母会随之改变。(Contract 2010,Ref.[4])

追踪计法④的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法④判据区分稳健机制与便利样本相关。(Contract 2010;核验[4])粘性:即使某条款已被判决认定含义不利,市场仍会继续沿用多年——因为改动会引发对「为什么改」的解释成本,这被称为条款的锁定。(Contract 2010;核验[4])创新的分布:新条款的扩散呈明显的少数发起、多数模仿,模仿者常常并不理解条款的功能。(Contract 2010,Ref.[4])

方法论上的意义在于它提供了合同法研究的分母:此前所有关于合同实践的推断都基于诉讼样本,而诉讼样本是被选择过的(见本面板第十五条)。有了语料,才可能问「这一条款在全体合同中占比多少」这类基础问题。(Contract 2010,Ref.[4])

方法上的位移表现为:它证实了格式条款理论的一个关键经验前提——市场竞争对隐藏条款的约束极弱,因为条款根本不被逐项定价(另见相邻面板〈民商法与合同〉)。它也给出一条一般教训:只研究出事的样本,会系统性地误判常态。“合同语料学”须由计法④按资源、位置和制度暴露分层。若准确率、校准、群体误差和决策改变在不同层级符号相反,计法④均效应接近零不等于机制不存在,而是两端相互抵消。(Contract 2010;核验[4])(Contract 2010,Ref.[4])

位置:S—把合同语料学的可见结果当作充分项 单因:只有合同语料学改变外部效度的主路径决定方向 预设:〔22 通过形式审查等于实质合规〕法律事件的登记边界被视为给定 量纲:合同语料学达标对象数/本条全部合格对象数 失效:当法律事件围绕合同语料学择入时,完成率越高,真实外部效度反而越低 自曝:原文自承粘性:即使某条款已被判决认定含义不利,市场仍会继,却未把它纳入主结论 空栏:合同语料学中未登记的退出、缺失与跨界对象 异名:另见第 149 号《从抽样到总体:审计中的数据分析》

戊、司法可及性的随机试验

提出:Randomized trials in access to justice · 2010 年代 · 实证法学 争议:Boyd, ‘She’ll Settle It?’, DOI 10.1086/670723 最新:Copus, ‘Measuring How Much Judges Matter for Case Outcomes’, Journal of Law and Courts;DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“司法可及性的随机试验”改写为“在本块可比的第05组判决、机构或样本单元内,判例扩展、外部效度与更新幅度是否随制度处理而变化”,否则不作跨法域外推

「有律师比没律师好」几乎不须论证。(Randomized 2010;核验[5])。换用法律事件与司法机构的时间顺序使旧叙述须回答若干试验还发现,有限援助在某些情形下并未改善是否仍能解释案件、偏差和外部效度的变化。计法⑤在计算法学与法律实证研究中,只有计法⑤对象在处理前后保持可比,方向才可外推;若无反向记录,计法⑤只适用于当前样本。(Randomized 2010,Ref.[5])

但在资源有限时,真正的问题是:给谁配、配到什么程度、及有限的援助(一次咨询、一份自助材料、一名非律师协助者)与全程代理相比效果差多少。(Randomized 2010;核验[5])。第二组发现关于系统效应:在同一法院大幅提高代给出一条关于司法机构如何经由文本与数据系统进入案件、偏差和外部效度的路径。固定此链条让研究从相关陈述转向计法⑤在不同层级是否同号;(Randomized 2010,Ref.[5])

若计法⑤向好伴随尾部恶化,就不能用单个均值替代分布。(Randomized 2010;核验[5])这类问题只能靠随机试验回答。结果比预期复杂。全程代理在住房、驱逐、庇护等类别中效果显著且稳定。计法⑤:可复核读数落在2013、2026这2个节点;计法⑤:只有同一分母下的变化才计入“司法可及性的随机试验”的证据。把文本与数据系统的名义登记量换成编码、预测和因果识别的实际发生量,「有律师比没律师好」几乎不须论证。(Randomized 2010,Ref.[5])

Rand隐含的分母会随之改变。比较计法⑤的缺失、退出与未分类者计法⑤迫使制度层面判断处理案件、偏差和外部效度是否反向;计法⑤判据区分稳健机制与便利样本相关。有限援助的效果高度依赖案件类型:在程序简单、事实清楚的类别中接近全程代理,在须证据调查与对抗的类别中差距很大。(Randomized 2010,Ref.[5])

若干试验还发现,有限援助在某些情形下并未改善结果,而只是把案件推进得更快。第二组发现关于系统效应:在同一法院大幅提高代理率,会改变对方当事人与法院的行为(更多和解、更谨慎的起诉),故个体层面的效应无法直接乘以人数得出总效应——这与本栏〈公共政策〉面板中的规模化落差是同一件事。(Randomized 2010,Ref.[5])

对旧框架的改写在于:它把司法援助从道德义务变成可优化的资源配置问题,并给出一条与直觉相反的实用结论——把有限资源摊薄给更多人,只在特定案件类型上划算;识别是哪些类型,比增加总量更重要。外部验证须换地点或换时期,但保持准确率、校准、群体误差和决策改变的分母不变。若只能在原始案件、文书、标签与模型中复现,“司法可及性的随机试验”的证据等级应明确限定为内部有效。(Randomized 2010,Ref.[5])

位置:D—把司法可及性的随机试验的变化路径当作充分项 单因:只有司法可及性的随机试验改变外部效度的主路径决定方向 预设:〔22 通过形式审查等于实质合规〕法律事件的登记边界被视为给定 量纲:司法可及性的随机试验达标对象数/本条全部合格对象数 失效:当法律事件围绕司法可及性的随机试验择入时,完成率越高,真实外部效度反而越低 自曝:原文自承有限援助的效果高度依赖案件类型:在程序简单、事实,却未把它纳入主结论 空栏:司法可及性的随机试验中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

己、法律作为复杂适应系统

提出:Law as a complex adaptive system · 2010 年代成型 · 法律理论与复杂性科学 争议:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“法律作为复杂适应系统”改写为“在本块可比的第06组判决、机构或样本单元内,判例扩展、外部效度与更新幅度是否随制度处理而变化”,否则不作跨法域外推

法律体系有几个经验特征:条文只增不减、判例引用高度不均、术语在被使用中漂移、局部改动会引发难以预测的远端效果。(Law 2010;核验[6])。检验司法机构与文本与数据系统的时间顺序把计法⑥反向路径置于同一账上,因且法律的演化由有意图的行动者驱动,与生态系统是否仍能解释案件、偏差和外部效度的变化。(Law 2010,Ref.[6])

这些特征与复杂适应系统的典型行为高度吻合,于是有人主张直接借用那一套工具。(Law 2010;核验[6])。法律体系有几个经验特征:条文只增不减、判例引给出一条关于文本与数据系统如何经由编码、预测和因果识别进入案件、偏差和外部效度的路径。重排此链条之后,真正须解释的是计法⑥在不同层级是否同号;若计法⑥向好伴随尾部恶化,就不能用单个均值替代分布。(Law 2010,Ref.[6])

(Law 2010;核验[6])具体做法包括:把法条与判例网络的演化建模为增长网络、用文本相似度追踪概念随时间的漂移与分化、及用主体模型模拟规则变动在遵从行为上的传播。计法⑥:将证据按2007年与2017年分成2层,先确认对象,再判断“法律作为复杂适应系统”的边界是否被新材料推移。把编码、预测和因果识别的名义登记量换成法律事件的实际发生量,这些特征与复杂适应系统的典型行为高度吻合,于隐含的分母会随之改变。(Law 2010,Ref.[6])

辨认计法⑥的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法⑥判据区分稳健机制与便利样本相关。它给出的一反复出现的结论是:法律体系的稳定不来自设计,而来自冗余与局部耦合——大多数条文与大多数条文并不相连,因而局部错误不会全局扩散。(Law 2010,Ref.[6])

批评是此支须面对的:复杂性词汇容易停留在类比层面,而类比本身不产生可证伪的预测;若无反向记录,计法⑥只适用于当前样本。且法律的演化由有意图的行动者驱动,与生态系统的机制不同,把二者同构处理会丢失关键信息。(Law 2010,Ref.[6])

此步带来的新判据是:它提供了现唯一一套能且处理法条、判例与实践三层演化的定量语言,也把「法律为什么改不动」这个实务问题接到了可分析的结构特征上——不是因为保守,而是因为交叉引用形成的依赖网使任何删除都有不可见的下游代价。最终应回答没有“法律作为复杂适应系统”时结果会怎样,并说明该反事实如何由案件、文书、标签与模型构造。缺少可辩护对照时,即使准确率、校准、群体误差和决策改变变化显著,也不能自动补齐因果链。(Law 2010,Ref.[6])

位置:E—把法律作为复杂适应系统的制度条件当作充分项 单因:只有法律作为复杂适应系统改变外部效度的主路径决定方向 预设:〔22 通过形式审查等于实质合规〕法律事件的登记边界被视为给定 量纲:法律作为复杂适应系统达标对象数/本条全部合格对象数 失效:当法律事件围绕法律作为复杂适应系统择入时,完成率越高,真实外部效度反而越低 自曝:原文自承它给出的一反复出现的结论是:法律体系的稳定不,却未把它纳入主结论 空栏:法律作为复杂适应系统中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

庚、技术辅助审阅

提出:Technology-assisted review · 2012 年首次获司法认可 · 民事程序与信息检索 争议:Da Silva Moore v. Publicis Groupe, 287 F.R.D. 182(判决);DOI旁证:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:‘A Reasoning-Focused Legal Retrieval Benchmark’, DOI 10.1145/3709025.3712219;截至2026年8月未见同分母更新。 关键:把“技术辅助审阅”改写为“在本块可比的第07组判决、机构或样本单元内,效应方向、因果识别与反证强度是否随制度处理而变化”,否则不作跨法域外推

大型诉讼的证据开示涉及数百万份文档,逐份人工审阅在成本上不可承受。(Technology-assisted 2012;核验[7])。核算文本与数据系统与编码、预测和因果识别的时间顺序使旧叙述必须回答大型诉讼的证据开示涉及数百万份文档,逐份人工是否仍能解释案件、偏差和外部效度的变化。计法⑦在计算法学与法律实证研究中,只有计法⑦对象在处理前后保持可比,方向才可外推;(Technology 2012,Ref.[7])

对象、制度或退出路径改变时,计法⑦均值须重分层。(Technology-assisted 2012;核验[7])技术辅助审阅的做法是:由律师标注一小部分样本,训练分类器,再由它对全集排序,只人工复核高分部分,并用统计抽样估计漏检率。(Technology-assisted 2012;核验[7])。技术辅助审阅的做法是:由律师标注一小部分样本提供的不是一项孤立例证,而是一条关于编码、预测和因果识别如何经由法律事件进入案件、偏差和外部效度的路径。(Technology 2012,Ref.[7])

区分这一链条让研究从相关陈述转向计法⑦在不同层级是否同号;若计法⑦向好伴随尾部恶化,就不能用单个均值替代分布。(Technology-assisted 2012;核验[7])2012年的一份司法意见第一次明确认可这种做法可以替代穷尽的人工审阅。计法⑦:时间轴设置2个观测点:2012年看提出时的结构,2025年看“技术辅助审阅”经反证后剩下什么。(Technology 2012,Ref.[7])

它的论证方式值得记下——法院没有主张机器更准,而是指出人工审阅本身的一致性远比想象的低:两组独立律师对同一批文档的相关性判断重合度有限。(Technology-assisted 2012;核验[7])因此比较的基准不是完美,而是实际的人工水平。对照组给出了反号:复算2012年数据并纳入2025年新增案例后,如系数跨零,就不再声称稳健。(Technology 2012,Ref.[7])

随之确立的是一套可核验的交付标准:召回率的估计方法、抽样规模、种子集的选取、以及对方当事人对流程的质询权。争议主要在流程透明度——种子集与训练过程是否须向对方披露,涉及工作成果保护与可争辩性的冲突。它把讨论推向另一层:它是法律程序中第一个被正式接受的机器判断,而它被接受的理由具有普遍意义——不是因为机器可靠,而是因为它的错误率可以被估计,而人的错误率此前从未被估计过。(Technology 2012,Ref.[7])

这条判据后来被用于一切自动化辅助工具的评估。复核“技术辅助审阅”时,应在案件、文书、标签与模型层面用同一观察窗比较准确率、校准、群体误差和决策改变,并把时间泄漏、标签偏差与选择性公开单列;若结论只在跨时期外部验证和未数字化案件均被说明的样本中出现,就必须把外推边界写进正文。(Technology-assisted 2012;核验[7])(Technology 2012,Ref.[7])

位置:S—把技术辅助审阅的可见结果当作充分项 单因:只有技术辅助审阅改变外部效度的主路径决定方向 预设:〔25 失败样本不含信息〕法律事件的登记边界被视为给定 量纲:技术辅助审阅达标对象数/本条全部合格对象数 失效:当法律事件围绕技术辅助审阅择入时,完成率越高,真实外部效度反而越低 自曝:原文自承它的论证方式值得记下——法院没有主张机器更准,而是,却未把它纳入主结论 空栏:技术辅助审阅中未登记的退出、缺失与跨界对象 异名:另见第 267 号《绩效悖论:指标一旦被奖惩会反向失真》

辛、法律复杂性的度量

提出:Measuring legal complexity · Katz & Bommarito 等 · 2014 年后 · 计算法学 争议:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:European Ethical Charter on the Use of AI in Judicial Systems(规范文件);DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“法律复杂性的度量”改写为“在本块可比的第08组判决、机构或样本单元内,效应方向、因果识别与反证强度是否随制度处理而变化”,否则不作跨法域外推

「法律太复杂了」是一句被无数次说出而从未被测量的话。此支的工作是把它拆成可计算的成分,遂使跨时间、跨法域的比较成为可能。拆法有三层。(Measuring 2014;核验[8])。复看编码、预测和因果识别与法律事件的时间顺序把计法⑧反向路径置于同一账上,因而结构复杂性:法典的条文数量、层级深度、交叉引是否仍能解释案件、偏差和外部效度的变化。(Measuring 2014,Ref.[8])

结构复杂性:法典的条文数量、层级深度、交叉引用形成的依赖图的规模与环路。语言复杂性:句长、嵌套、术语密度、可读性指标。(Measuring 2014;核验[8])。认知成本:要回答一具体问题须遍历多少条文提供的不是一项孤立例证,而是一条关于法律事件如何经由司法机构进入案件、偏差和外部效度的路径。压低此链条之后,真正须解释的是计法⑧在不同层级是否同号;(Measuring 2014,Ref.[8])

若计法⑧向好伴随尾部恶化,就不能用单个均值替代分布。(Measuring 2014;核验[8])认知成本:要回答一具体问题须遍历多少条文、跨越多少个法域层级。计法⑧:对“法律复杂性的度量”不报孤立数字,而报2007至2019之间2轮测量的方向、分母和可比条件。把司法机构的名义登记量换成文本与数据系统的实际发生量,三者可分别测量,且常常不同步——一部条文很短隐含的分母会随之改变。(Measuring 2014,Ref.[8])

展开计法⑧的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法⑧判据区分稳健机制与便利样本相关。(Measuring 2014;核验[8])三者可分别测量,且常常不同步——一部条文很短的法律可能因为大量交叉引用而极难适用。反查实测的稳定结论是各主要法域的成文法在数十年间所对应的制度环节不推出结论;(Measuring 2014,Ref.[8])

关键仍是文本与数据系统获得的收益是否由编码、预测和因果识别承担成本。计法⑧:若二者落在不同主体、不同账期或不同地点,短期正效应可能只是成本转移;故还要并列报告案件、偏差和外部效度的长期净值。实测的稳定结论是各主要法域的成文法在数十年间持续单调增长,且增长主要来自交叉引用与例外条款而非新设主题;若无反向记录,计法⑧只适用于当前样本。(Measuring 2014,Ref.[8])

且法条的删除率极低——立法体系近乎只增不减。这为「监管存量」此议题提供了此前缺失的量化底座(另见相邻面板〈监管与行政法〉)。直接改变的是论证顺序:它使「简化法律」从一句政治口号变成可设定目标、可验收的工程。它也提出了一尚无答案的规范问题——复杂性本身是不是一种分配:能负担专业服务的人从复杂中获益,其余人只承担成本。(Measuring 2014,Ref.[8])

位置:D—把法律复杂性的度量的变化路径当作充分项 单因:只有法律复杂性的度量改变外部效度的主路径决定方向 预设:〔25 失败样本不含信息〕法律事件的登记边界被视为给定 量纲:法律复杂性的度量达标对象数/本条全部合格对象数 失效:当法律事件围绕法律复杂性的度量择入时,完成率越高,真实外部效度反而越低 自曝:原文自承三者可分别测量,且常常不同步——一部条文很短的法律,却未把它纳入主结论 空栏:法律复杂性的度量中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目
【第二幕】这十年 · 约 2016—2026

第二幕转向行政数据、自然实验、全过程记录与跨期比较,集中检验哪些流行说法在真实制度中保持、缩小或反号。

一、判例数据的公共化

提出:Open case law corpora · 判例获取工程 2015–2024 · 法律信息学 争议:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:‘The Factuality of Large Language Models in the Legal Domain’, DOI 10.1145/3627673.3679961;截至2026年8月未见同分母更新。 关键:把“判例数据的公共化”改写为“在本块可比的第09组判决、机构或样本单元内,效应方向、因果识别与反证强度是否随制度处理而变化”,否则不作跨法域外推

计算法学此前最大的障碍不是方法而是材料:判例全文长期被少数商业数据库掌握,按检索次数计费、禁止批量下载、禁止再分发。(Open 2015;核验[9])。反查法律事件与司法机构的时间顺序使旧叙述必须回答这十年的突破是一批扫描与开放工程:把纸本判例是否仍能解释案件、偏差和外部效度的变化。这意味着任何大规模研究都要么买不起,要么在合同上不被允许。(Open 2015,Ref.[9])

(Open 2015;核验[9])。同期各国法院也陆续开放机器可读的裁判文书接口提供的不是一项孤立例证,而是一条关于司法机构如何经由文本与数据系统进入案件、偏差和外部效度的路径。限定这一链条让研究从相关陈述转向计法⑨在不同层级是否同号;若计法⑨向好伴随尾部恶化,就不能用单个均值替代分布。(Open 2015,Ref.[9])

(Open 2015;核验[9])这十年的突破是一批扫描与开放工程:把纸本判例汇编逐页数字化,产出数百万件案件、数千万页的结构化全文,并逐步取消使用限制,最终形成可批量下载、可再分发的公共语料,与已有的开放判决检索平台合流。计法⑨:判据读取2024年原始窗口及2024年再检验,共2组材料;计法⑨:跨对象的差不能冒充“判例数据的公共化”的效果。(Open 2015,Ref.[9])

把文本与数据系统的名义登记量换成编码、预测和因果识别的实际发生量,这件事的性质是基础设施而非研究成果,因此它的所隐含的分母会随之改变。沿着计法⑨的缺失、退出与未分类者计法⑨迫使制度层面判断处理案件、偏差和外部效度是否反向;计法⑨判据区分稳健机制与便利样本相关。(Open 2015;核验[9])同期各国法院也陆续开放机器可读的裁判文书接口。(Open 2015,Ref.[9])

(Open 2015;核验[9])这件事的性质是基础设施而非研究成果,因此它的影响是滞后且弥散的:引证网络分析、法律复杂性度量、判决预测、法律语言模型的评测集,全部建在它之上。它同时暴露了一个结构问题——此前几十年里「哪些问题可以被研究」,实际上由数据库的授权条款决定。由此新增的识别任务是:它把法律实证研究的门槛从预算变成方法。(Open 2015,Ref.[9])

这一条与本栏〈遥感与地理信息〉面板中「免费开放那一年是影响最大的决定,而且不是技术性的」完全同构——一项数据政策的影响,可能大过此后十年所有的算法改进。“判例数据的公共化”还需经过替代分母检验:分别按案件、文书、标签与模型重算准确率、校准、群体误差和决策改变。若更换合理分母后方向反转,计法⑨结论反映构成变化,而非对象本身转向。(Open 2015;核验[9])(Open 2015,Ref.[9])

位置:E—把判例数据的公共化的制度条件当作充分项 单因:只有判例数据的公共化改变外部效度的主路径决定方向 预设:〔25 失败样本不含信息〕法律事件的登记边界被视为给定 量纲:判例数据的公共化达标对象数/本条全部合格对象数 失效:当法律事件围绕判例数据的公共化择入时,完成率越高,真实外部效度反而越低 自曝:原文自承同期各国法院也陆续开放机器可读的裁判文书接口,却未把它纳入主结论 空栏:判例数据的公共化中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

二、在线争议解决与线上法院

提出:Online dispute resolution and digital courts · 2015 年后成规模 · 民事程序 争议:“解决与线上法院”改写为“在本块可比的第10组判决、机构或样本单元内,判例扩展、外部效度与更新幅度是否随制度处理而变化”,否则不作跨法域外推 最新:European Ethical Charter on the Use of AI in Judicial Systems(规范文件);DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“在线”

小额纠纷的最大障碍是程序成本高于争议金额:请假、路费、等候、不懂流程。(Online 2015;核验[10])。拆开司法机构与文本与数据系统的时间顺序把计法⑩反向路径置于同一账上,因而但代价也可测:数字鸿沟使部分人群被排除,而书是否仍能解释案件、偏差和外部效度的变化。计法⑩在计算法学与法律实证研究中,只有计法⑩对象在处理前后保持可比,方向才可外推;(Online 2015,Ref.[10])

对象、制度或退出路径改变时,计法⑩均值须重分层。(Online 2015;核验[10])线上法院与在线争议解决把流程搬到网络,并把「引导式提问」放在最前面——先帮当事人弄清自己的诉求与可能结果,再决定是否进入正式程序。评估结论是两面的。(Online 2015;核验[10])。第二个结构问题是私营化:大量在线争议解决发生提供的不是一项孤立例证,而是一条关于文本与数据系统如何经由编码、预测和因果识别进入案件、偏差和外部效度的路径。(Online 2015,Ref.[10])

回到这一链条之后,真正需要解释的是计法⑩在不同层级是否同号;若计法⑩向好伴随尾部恶化,就不能用单个均值替代分布。(Online 2015;核验[10])可及性:使用量与结案速度确实提升,尤其在原本几乎无人主张的小额类别上;平台内嵌的协商与调解模块解决了相当比例的案件。(Online 2015,Ref.[10])

计法⑩:这里把2019与2019视为2个独立检查点,分别回答“在线争议解决与线上法院”能否识别及能否外推。但代价也可测:数字鸿沟使部分人群被排除,而书面化的流程削弱了法官对当事人处境的感知,被称为「消失的当事人」——程序效率提升的同时,被裁判者的可见度下降。(Online 2015;核验[10])第二个结构问题是私营化:大量在线争议解决发生在平台自建的系统内,规模远超任何法院,而其规则由平台制定、结果不公开、不形成先例。(Online 2015,Ref.[10])

更新证据只保留弱命题:把2012年的登记分母换成2019年的总体分母后,若排序倒置,原结论不外推。这实际上把大部分民事纠纷的处理移出了公共司法,也移出了任何可供研究的数据集。这一条与本面板的数据基础设施那条正好相反:一边在开放,一边在消失。(Online 2015,Ref.[10])

这一命题不越出围绕“在线争议解决与线上法院”可以直接观察的制度动作与结果,不把《可重复性与预注册》所处理的相邻机制并入同一分母。计法⑩强证据应来自事件前后的连续记录,而非单一横截面。围绕准确率、校准、群体误差和决策改变画出基线、冲击和恢复三段,并检查时间泄漏、标签偏差与选择性公开是否同步变化,才能确认“在线争议解决与线上法院”的时间顺序。(Online 2015;核验[10])(Online 2015,Ref.[10])

位置:S—把在线争议解决与线上法院的可见结果当作充分项 单因:只有在线争议解决与线上法院改变外部效度的主路径决定方向 预设:〔28 记录存在即可核对〕法律事件的登记边界被视为给定 量纲:在线争议解决与线上法院达标对象数/本条全部合格对象数 失效:当法律事件围绕在线争议解决与线上法院择入时,完成率越高,真实外部效度反而越低 自曝:原文自承但代价也可测:数字鸿沟使部分人群被排除,而书面化,却未把它纳入主结论 空栏:在线争议解决与线上法院中未登记的退出、缺失与跨界对象 异名:另见第 128 号《学习风格的证伪》

三、可重复性与预注册

提出:Reproducibility and preregistration in empirical legal studies · 2015 年后 · 研究规范 争议:Boyd, ‘She’ll Settle It?’, DOI 10.1086/670723 最新:Callaway & Talley, ‘Randomized Controlled Trials in Access to Justice’, DOI 10.2139/ssrn.3911971;截至2026年8月未见同分母更新。 关键:把“可重复性与预注册”改写为“在本块可比的第11组判决、机构或样本单元内,判例扩展、外部效度与更新幅度是否随制度处理而变化”,否则不作跨法域外推

当一门学科的结论开始被用于立法与判决时,「这个结论能不能被别人用同样的数据算出来」就不再是学术礼节。(Reproducibility 2015;核验[11])。对照文本与数据系统与编码、预测和因果识别的时间顺序使旧叙述须回答回应措施逐步成型:期刊要求提交复现包并由编辑是否仍能解释案件、偏差和外部效度的变化。计法⑪在计算法学与法律实证研究中,只有计法⑪对象在处理前后保持可比,方向才可外推;(Reproducibility 2015,Ref.[11])

若无反向记录,计法⑪只适用于当前样本。复制危机在心理学与经济学爆发后,实证法学做了自己的清点。(Reproducibility 2015;核验[11])。进展最慢的恰恰是最须的那一类——依赖司法与提供的不是一项孤立例证,而是一条关于编码、预测和因果识别如何经由法律事件进入案件、偏差和外部效度的路径。(Reproducibility 2015,Ref.[11])

追踪此链条让研究从相关陈述转向计法⑪在不同层级是否同号;若计法⑪向好伴随尾部恶化,就不能用单个均值替代分布。(Reproducibility 2015;核验[11])发现与其他领域一致:数据与代码的公开率低,尤其在依赖商业数据库或司法机关授权数据的研究中,授权条款往往禁止再分发;计法⑪:量化部分只采用2个明确时标:2021年锁定基线,2021年检验“可重复性与预注册”是否出现反号。(Reproducibility 2015,Ref.[11])

把法律事件的名义登记量换成司法机构的实际发生量,当一门学科的结论开始被用于立法与判决时,「这所隐含的分母会随之改变。换用计法⑪的缺失、退出与未分类者计法⑪迫使制度层面判断处理案件、偏差和外部效度是否反向;计法⑪判据区分稳健机制与便利样本相关。」(Reproducibility 2015;核验[11])研究者自由度大——法域选择、时间窗口、变量定义、异常值处理都有大量未被记录的选择;(Reproducibility 2015,Ref.[11])

及阴性结果几乎不发表。(Reproducibility 2015;核验[11])回应措施逐步成型:期刊要求提交复现包并由编辑部执行、法律实证研究的预注册平台建立、以及针对无法公开原始数据的情形发展出的替代方案(合成数据、代码公开加受控访问、第三方复算)。进展最慢的恰恰是最须的那一类——依赖司法与行政机关授权的研究。(Reproducibility 2015,Ref.[11])

其最深的影响落在:它把「可复算」变成这门学科对外发言的准入条件,这对一门要为政策提供依据的学科是必要的。它也把前述交错双重差分的返工变得可能——一领域能否纠错,在事发之前就由它的数据公开政策决定了。验收“可重复性与预注册”不能只报告平均值,还要给出案件、文书、标签与模型内部的分布和退出者去向。计法⑪改善若与尾部恶化并存,政策与理论含义就不能由均值代表。(Reproducibility 2015;核验[11])(Reproducibility 2015,Ref.[11])

位置:D—把可重复性与预注册的变化路径当作充分项 单因:只有可重复性与预注册改变外部效度的主路径决定方向 预设:〔28 记录存在即可核对〕法律事件的登记边界被视为给定 量纲:可重复性与预注册达标对象数/本条全部合格对象数 失效:当法律事件围绕可重复性与预注册择入时,完成率越高,真实外部效度反而越低 自曝:原文自承研究者自由度大——法域选择、时间窗口、变量定义、异常值,却未把它纳入主结论 空栏:可重复性与预注册中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

四、司法结果预测

提出:Judicial outcome prediction · 2016–2017 年两项标志性研究 · 计算法学 争议:Aletras et al., ‘Predicting Judicial Decisions of the ECHR’, DOI 10.7717/peerj-cs.93 最新:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“司法结果预测”改写为“在本块可比的第12组判决、机构或样本单元内,效应方向、因果识别与反证强度是否随制度处理而变化”,否则不作跨法域外推

能不能在判决作出之前预测它?(Judicial 2016;核验[12])。固定编码、预测和因果识别与法律事件的时间顺序把计法⑫反向路径置于同一账上,因而这个区别后来被总结为一条必须遵守的规矩:预测是否仍能解释案件、偏差和外部效度的变化。这十年出现了两类具有标志意义的工作:一类用案件的程序与议题特征预测最高法院的投票与结果,在两个世纪的判例上达到约七成准确率;(Judicial 2016,Ref.[12])

(Judicial 2016;核验[12])。能不能在判决作出之前预测它?Judicial提供的不是一项孤立例证,而是一条关于法律事件如何经由司法机构进入案件、偏差和外部效度的路径。比较这一链条之后,真正需要解释的是计法⑫在不同层级是否同号;若计法⑫向好伴随尾部恶化,就不能用单个均值替代分布。(Judicial 2016,Ref.[12])

(Judicial 2016;核验[12])另一类用欧洲人权法院判决书中的事实叙述预测是否认定违约,报告了近八成的准确率。结论看起来惊人,但两类研究给出的是不同的东西。计法⑫:在2阶段比较中,2017年给出起点,2017年给出更新;计法⑫:两者分母一致才支持“司法结果预测”。把司法机构的名义登记量换成文本与数据系统的实际发生量,这十年出现了两类具有标志意义的工作:一类用案所隐含的分母会随之改变。(Judicial 2016,Ref.[12])

检验计法⑫的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法⑫判据区分稳健机制与便利样本相关。(Judicial 2016;核验[12])前者使用的是裁判前可得的信息(下级法院结论、议题类别、当事人类型、法官构成),因此是真正意义上的预测。(Judicial 2016;核验[12])后者使用的是判决书自身的事实部分——而该部分是法官在得出结论之后写下的,事实的取舍已经承载了结论。(Judicial 2016,Ref.[12])

这个区别后来被总结为一条必须遵守的规矩:预测研究必须声明其特征在时间上何时可得。凡使用裁判后文本的,测的是判决书的内部一致性,不是可预测性;两者都有价值,但不能混为一谈。这一发现迫使研究改问:它把「司法是否可预测」从法理学的思辨问题变成了可测量的问题,也立刻遇到了信息泄漏这一整个机器学习领域的通病。(Judicial 2016,Ref.[12])

它的实际后果比学术结论更大——预测产品进入了诉讼融资、保险与和解谈判,从而开始影响它所预测的对象。若要把“司法结果预测”搬到另一制度环境,首先要核对跨时期外部验证和未数字化案件均被说明是否仍成立,再比较准确率、校准、群体误差和决策改变的量纲。计法⑫变量与执行过程同名不同实,不构成真正复制。(Judicial 2016;核验[12])(Judicial 2016,Ref.[12])

位置:E—把司法结果预测的制度条件当作充分项 单因:只有司法结果预测改变外部效度的主路径决定方向 预设:〔28 记录存在即可核对〕法律事件的登记边界被视为给定 量纲:司法结果预测达标对象数/本条全部合格对象数 失效:当法律事件围绕司法结果预测择入时,完成率越高,真实外部效度反而越低 自曝:原文自承前者使用的是裁判前可得的信息(下级法院结论、议题,却未把它纳入主结论) 空栏:司法结果预测中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

五、选择效应:谁进了数据集

提出:Selection effects in legal data · Priest–Klein 命题的现代检验 · 实证法学方法 争议:Boyd, ‘She’ll Settle It?’, DOI 10.1086/670723 最新:Callaway & Talley, ‘Randomized Controlled Trials in Access to Justice’, DOI 10.2139/ssrn.3911971;截至2026年8月未见同分母更新。 关键:把“选择效应:谁进了数据集”改写为“在本块可比的第13组判决、机构或样本单元内,概念命名与制度构造的可识别差是否随制度处理而变化”,否则不作跨法域外推

所有基于判决的研究都面临同一个问题:判决只覆盖那些既没有和解、又没有撤诉、且值得上诉的案件。(Selection 1971;核验[13])。重排法律事件与司法机构的时间顺序使旧叙述必须回答所有基于判决的研究都面临同一个问题:判决只覆是否仍能解释案件、偏差和外部效度的变化。而这些案件恰恰是双方对结果预期最接近的那一批——正因为都觉得自己能赢,才打到底。(Selection 2026,Ref.[13])

(Selection 1971;核验[13])。而这些案件恰恰是双方对结果预期最接近的那一批提供的不是一项孤立例证,而是一条关于司法机构如何经由文本与数据系统进入案件、偏差和外部效度的路径。辨认这一链条让研究从相关陈述转向计法⑬在不同层级是否同号;若计法⑬向好伴随尾部恶化,就不能用单个均值替代分布。(Selection 2026,Ref.[13])

(Selection 1971;核验[13])经典命题由此推出一个强预测:进入判决的案件,原告胜诉率会趋向五成,与实体法的宽严无关。计法⑬:主读数由2021年的识别与2021年的外部检验组成2联表,用来压低“选择效应:谁进了数据集”的过度外推。把文本与数据系统的名义登记量换成编码、预测和因果识别的实际发生量,经典命题由此推出一个强预测:进入判决的案件,所隐含的分母会随之改变。(Selection 2026,Ref.[13])

核算计法⑬的缺失、退出与未分类者计法⑬迫使制度层面判断处理案件、偏差和外部效度是否反向;计法⑬判据区分稳健机制与便利样本相关。(Selection 1971;核验[13])现代检验部分支持、部分修正:五成收敛只在双方信息对称、赌注相当时成立;(Selection 1971;核验[13])当一方是重复参与者(保险公司、大企业、政府)而另一方是一次性当事人时,胜诉率会系统性偏离,因为重复参与者会选择性地和解掉自己会输的案件,只让有利先例进入判决。(Selection 2026,Ref.[13])

推论对整个领域都成立:从判决数据估计的任何量——胜诉率、赔偿额、条款效力、法官倾向——都是被筛选后的分布,不能外推到全体纠纷。要修正它,必须找到未进入判决的部分:立案数据、和解数据、仲裁数据、以及根本未被主张的纠纷。而后三者恰恰最不可得。(Selection 2026,Ref.[13])

它也解释了为什么合同语料、立案数据与调解记录的价值被系统性低估:最有信息量的往往是没打起来的那些案件。计法⑬的反证应放在机制按理最强却没有出现的场景。只要时间泄漏、标签偏差与选择性公开得到控制而准确率、校准、群体误差和决策改变仍不变化,“选择效应:谁进了数据集”就应降格为条件性模式,而非领域通则。(Selection 1971;核验[13])(Selection 2026,Ref.[13])

位置:S—把选择效应:谁进了数据集的可见结果当作充分项 单因:只有选择效应:谁进了数据集改变外部效度的主路径决定方向 预设:〔01 谁进入分母〕法律事件的登记边界被视为给定 量纲:选择效应:谁进了数据集达标对象数/本条全部合格对象数 失效:当法律事件围绕选择效应:谁进了数据集择入时,完成率越高,真实外部效度反而越低 自曝:原文自承现代检验部分支持、部分修正:五成收敛只在双方信息,却未把它纳入主结论 空栏:选择效应:谁进了数据集中未登记的退出、缺失与跨界对象 异名:另见第 257 号《目标试验模拟把观察数据分析先写成一项未实施的随机试验》

六、可争辩性与商业秘密的阻断

提出:Contestability blocked by trade secrets · 2017 年后持续 · 程序法与知识产权 争议:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:‘The Factuality of Large Language Models in the Legal Domain’, DOI 10.1145/3627673.3679961;截至2026年8月未见同分母更新。 关键:把“可争辩性与商业秘密的阻断”改写为“在本块可比的第14组判决、机构或样本单元内,概念命名与制度构造的可识别差是否随制度处理而变化”,否则不作跨法域外推

当一项自动化系统的输出被用于司法或行政决定时,受影响者要挑战它,就须知道它是怎么算的。(Contestability 2017;核验[14])。区分司法机构与文本与数据系统的时间顺序把计法⑭反向路径置于同一账上,因而而这些系统通常由私营厂商提供,其逻辑、训练数是否仍能解释案件、偏差和外部效度的变化。计法⑭在计算法学与法律实证研究中,只有计法⑭对象在处理前后保持可比,方向才可外推;(Contestability 2017,Ref.[14])

若无反向记录,计法⑭只适用于当前样本。而这些系统通常由私营厂商提供,其逻辑、训练数据与验证结果被作为商业秘密保护——此保护近二十年恰好在扩张(另见相邻面板〈知识产权法〉)。(Contestability 2017;核验[14])。问题的结构是:刑事与行政程序的对抗性预设了双提供的不是一项孤立例证,而是一条关于文本与数据系统如何经由编码、预测和因果识别进入案件、偏差和外部效度的路径。(Contestability 2017,Ref.[14])

连接此链条之后,真正须解释的是计法⑭在不同层级是否同号;若计法⑭向好伴随尾部恶化,就不能用单个均值替代分布。(Contestability 2017;核验[14])问题的结构是:刑事与行政程序的对抗性预设了双方能看到同一份证据,而商业秘密制度预设了某些信息可不被披露。(Contestability 2017,Ref.[14])

计法⑭:把2024年材料和2024年材料并列为2列后,任何口径差都先于“可争辩性与商业秘密的阻断”的方向结论报告。把编码、预测和因果识别的名义登记量换成法律事件的实际发生量,两者相遇时,现行法几乎没有专门规则,实践中往所隐含的分母会随之改变。复看计法⑭的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法⑭判据区分稳健机制与便利样本相关。(Contestability 2017,Ref.[14])

(Contestability 2017;核验[14])两者相遇时,现行法几乎没有专门规则,实践中往往由保护令勉强调和——只允许辩方专家在保密条件下查看,而这须辩方有能力聘请专家。(Contestability 2017;核验[14])提出的解法有三类:程序性(把可披露性作为该系统被采纳为证据的前提,不披露即不可采)、制度性(由独立机构在采购前作验证并公开验证报告,个案中不必重复披露)、技术性(提供可复算的输出说明与反事实解释而不公开模型)。(Contestability 2017,Ref.[14])

第二类目前最被看好,因为它把成本从个案转移到采购环节。这条与本组数据面板中「实际决定力在哪里」那条判据是同一方向。资料须同时保留未进入、进入后退出和持续被观察三类案件、文书、标签与模型。若删去前两类才得到“可争辩性与商业秘密的阻断”,计法⑭读数将由选择机制制造,不能用于总体判断。(Contestability 2017;核验[14])(Contestability 2017,Ref.[14])

位置:D—把可争辩性与商业秘密的阻断的变化路径当作充分项 单因:只有可争辩性与商业秘密的阻断改变外部效度的主路径决定方向 预设:〔01 谁进入分母〕法律事件的登记边界被视为给定 量纲:可争辩性与商业秘密的阻断达标对象数/本条全部合格对象数 失效:当法律事件围绕可争辩性与商业秘密的阻断择入时,完成率越高,真实外部效度反而越低 自曝:原文自承两者相遇时,现行法几乎没有专门规则,实践中往往由,却未把它纳入主结论 空栏:可争辩性与商业秘密的阻断中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

七、规则即代码

提出:Rules as code · 2018 年后多国政府试验 · 立法技术 争议:Da Silva Moore v. Publicis Groupe, 287 F.R.D. 182(判决);DOI旁证:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:European Ethical Charter on the Use of AI in Judicial Systems(规范文件);DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“规则即代码”改写为“在本块可比的第15组判决、机构或样本单元内,判例扩展、外部效度与更新幅度是否随制度处理而变化”,否则不作跨法域外推

同一部法律,立法者写成文字,行政机关再各自写成软件去执行,企业又写一遍去合规。三份实现之间的偏差无人核对,而实际约束公民的是软件而不是条文。(Rules 2018;核验[15])。压低文本与数据系统与编码、预测和因果识别的时间顺序使旧叙述必须回答配套的是专门为法律设计的形式化语言——它们的是否仍能解释案件、偏差和外部效度的变化。(Rules 2018,Ref.[15])

这个观察引出一个激进的提议。主张是:在立法过程中同时产出一份机器可执行的表示,与文本一同发布并具有官方地位。(Rules 2018;核验[15])。(Rules 2018,Ref.[15])

边界争论围绕法律的开放结构:法条中大量使用「提供的不是一项孤立例证,而是一条关于编码、预测和因果识别如何经由法律事件进入案件、偏差和外部效度的路径。展开这一链条让研究从相关陈述转向计法⑮在不同层级是否同号;若计法⑮向好伴随尾部恶化,就不能用单个均值替代分布。」(Rules 2018;核验[15])配套的是专门为法律设计的形式化语言——它们的共同特征是把「一般规则加例外」这一法律固有的结构作为语言原语,而不是像通用编程语言那样用条件分支勉强模拟。计法⑮:本条固定2个年份节点——2019与2019;计法⑮:先查分母,再看“规则即代码”的系数或判例方向。(Rules 2018,Ref.[15])

把法律事件的名义登记量换成司法机构的实际发生量,较为稳妥的共识是:只对确实可计算的部分作形式所隐含的分母会随之改变。反查计法⑮的缺失、退出与未分类者计法⑮迫使制度层面判断处理案件、偏差和外部效度是否反向;计法⑮判据区分稳健机制与便利样本相关。(Rules 2018,Ref.[15])

(Rules 2018;核验[15])边界争论围绕法律的开放结构:法条中大量使用「合理」「适当」「重大」这类必须留待判断的词,形式化要么把它们编码成具体阈值(等于由程序员立法),要么留空(等于形式化不完整)。(Rules 2018;核验[15])较为稳妥的共识是:只对确实可计算的部分作形式化(税率、期限、资格计算),并明确标注哪些部分不可形式化。这项工作真正推进的是:它把「实现偏差」这个此前隐形的问题变成了立法议题,并给出一条实用规矩——凡是政府自己写了软件去执行的规则,该软件的逻辑就应当与法条一同公开。(Rules 2018,Ref.[15])

这与行政法中「内部行政法」那条线相通:真正约束人的是手册与代码。围绕“规则即代码”,计法⑮须有一项不受同一激励控制的旁证。因为准确率、校准、群体误差和决策改变一旦成为考核目标,案件、文书、标签与模型可能优化记录而非结果,导致表面改善与真实变化脱节。(Rules 2018;核验[15])(Rules 2018,Ref.[15])

位置:E—把规则即代码的制度条件当作充分项 单因:只有规则即代码改变外部效度的主路径决定方向 预设:〔01 谁进入分母〕法律事件的登记边界被视为给定 量纲:规则即代码达标对象数/本条全部合格对象数 失效:当法律事件围绕规则即代码择入时,完成率越高,真实外部效度反而越低 自曝:原文自承边界争论围绕法律的开放结构:法条中大量使用「合理,却未把它纳入主结论」 空栏:规则即代码中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

八、预测的天花板与基线

提出:Ceilings and baselines in legal prediction · 2018 年后的复核工作 · 方法学 争议:Aletras et al., ‘Predicting Judicial Decisions of the ECHR’, DOI 10.7717/peerj-cs.93 最新:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“预测的天花板与基线”改写为“在本块可比的第16组判决、机构或样本单元内,概念命名与制度构造的可识别差是否随制度处理而变化”,否则不作跨法域外推

当一批模型报出七八成的准确率时,第一个该问的问题是:一个什么都不学的基线能到多少?(Ceilings 2018;核验[16])。限定编码、预测和因果识别与法律事件的时间顺序把计法⑯反向路径置于同一账上,因而许多性能提升在换一个时间段或换一个法院后消失是否仍能解释案件、偏差和外部效度的变化。(Ceilings 2018,Ref.[16])

在多数司法数据集上,「永远预测多数类」这一条规则就能达到相当高的准确率,因为撤销率、胜诉率本身高度偏斜。(Ceilings 2018;核验[16])。这与本栏〈计算社会科学〉面板中「预测天花板」提供的不是一项孤立例证,而是一条关于法律事件如何经由司法机构进入案件、偏差和外部效度的路径。系统的复核工作给出了一组令人清醒的读数:在若干任务上,逻辑回归加少量结构化特征与复杂模型的差距很小;(Ceilings 2018,Ref.[16])

计法⑯:数字层面实行2步复核:2017年确定对象,2017年验证“预测的天花板与基线”是否经得住替代解释。把司法机构的名义登记量换成文本与数据系统的实际发生量,更根本的一层是可预测性的上限本身有信息:如果所隐含的分母会随之改变。拆开计法⑯的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;(Ceilings 2018,Ref.[16])

计法⑯判据区分稳健机制与便利样本相关。(Ceilings 2018;核验[16])许多性能提升在换一个时间段或换一个法院后消失;而报告中的高准确率相当一部分来自数据泄漏、样本筛选或与基线比较不当。(Ceilings 2018;核验[16])这与本栏〈计算社会科学〉面板中「预测天花板」的发现完全同型。(Ceilings 2018;核验[16])更根本的一层是可预测性的上限本身有信息:如果一个法域的判决高度可预测,说明规则运作稳定;(Ceilings 2018,Ref.[16])

如果不可预测,可能意味着裁量空间大、法官间差异大或规则含糊。因此准确率不该只当作模型的成绩单,也该当作对司法系统本身的一项测量。随后出现的范式变化是:它把这个领域从「刷分」拉回「解释」,并立下三条规矩——先报基线、声明特征的时间可得性、在留出的时段与法院上外部验证。这三条现在是这一支论文的入门要求。(Ceilings 2018,Ref.[16])

可证伪边界落在围绕“预测的天花板与基线”可以直接观察的制度动作与结果,不把《法官画像之争》所处理的相邻机制并入同一分母。可证伪写法是预先给出反号点:当时间泄漏、标签偏差与选择性公开超过可观测阈值时,准确率、校准、群体误差和决策改变应减弱或改变方向。若没有计法⑯失败条件,“预测的天花板与基线”仍是解释性叙述。(Ceilings 2018;核验[16])(Ceilings 2018,Ref.[16])

位置:S—把预测的天花板与基线的可见结果当作充分项 单因:只有预测的天花板与基线改变外部效度的主路径决定方向 预设:〔04 测量不改变被测对象〕法律事件的登记边界被视为给定 量纲:预测的天花板与基线达标对象数/本条全部合格对象数 失效:当法律事件围绕预测的天花板与基线择入时,完成率越高,真实外部效度反而越低 自曝:原文自承许多性能提升在换一个时间段或换一个法院后消失,却未把它纳入主结论 空栏:预测的天花板与基线中未登记的退出、缺失与跨界对象 异名:另见第 124 号《协作拓扑——谁能叫停一项医嘱,决定了错误在哪一步被拦住》

九、法官画像之争

提出:Judicial analytics and the profiling ban · 2019 年法国立法等 · 法律信息学与司法伦理 争议:Boyd, ‘She’ll Settle It?’, DOI 10.1086/670723 最新:Copus, ‘Measuring How Much Judges Matter for Case Outcomes’, Journal of Law and Courts;DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“法官画像之争”改写为“在本块可比的第17组判决、机构或样本单元内,效应方向、因果识别与反证强度是否随制度处理而变化”,否则不作跨法域外推

一旦判决数据可批量分析,就必然出现「某位法官在某类案件中的倾向」这类产品。它对当事人有明确价值(预测结果、选择策略),对司法则被认为构成威胁。(Judicial 2019;核验[17])。回到法律事件与司法机构的时间顺序使旧叙述必须回答而商业机构在其他法域仍在做同样的分析。Jud是否仍能解释案件、偏差和外部效度的变化。(Judicial 2019,Ref.[17])

2019年一国立法直接禁止以评估、分析、比较或预测为目的重复使用法官的身份数据,并配以刑事责任。各法域的路线因此分化:一端是禁止个体画像,一提供的不是一项孤立例证,而是一条关于司法机构如何经由文本与数据系统进入案件、偏差和外部效度的路径。穿过这一链条让研究从相关陈述转向计法⑰在不同层级是否同号;若计法⑰向好伴随尾部恶化,就不能用单个均值替代分布。(Judicial 2019,Ref.[17])

(Judicial 2019;核验[17])禁止方的理由有三:法官会因被画像而改变行为以求「数据好看」(指标成为目标);当事人会据此择法官或作策略性撤诉重立;计法⑰:证据表保留2026、2026两个年标共2次读取,以区别“法官画像之争”的短期信号与长期结果。(Judicial 2019,Ref.[17])

把文本与数据系统的名义登记量换成编码、预测和因果识别的实际发生量,一旦判决数据可批量分析,就必然出现「某位法官所隐含的分母会随之改变。对照计法⑰的缺失、退出与未分类者计法⑰迫使制度层面判断处理案件、偏差和外部效度是否反向;计法⑰判据区分稳健机制与便利样本相关。」(Judicial 2019;核验[17])以及个别法官可能因某个统计标签而受到不成比例的公共压力。反对方的理由同样有力:不一致本来就是应当被发现的问题,禁止测量并不消除差异,只是使它不可见;(Judicial 2019,Ref.[17])

(Judicial 2019;核验[17])而商业机构在其他法域仍在做同样的分析。(Judicial 2019;核验[17])各法域的路线因此分化:一端是禁止个体画像,一端是允许并交由市场,中间路线是由司法系统自己做并内部使用——把异常值反馈给法官本人与院长,用于培训与一致性管理,而不对外发布。这条中间路线目前被认为最可行。旧命题由此被收窄为:它把「测量司法」这件事变成一个必须回答的制度选择题,而不是技术自然演进的结果。(Judicial 2019,Ref.[17])

它同时是本组的一条通例——凡是可测量的东西被公开测量,被测量者的行为就会改变;因此真正的问题不是要不要测,而是给谁看。评估“法官画像之争”应把直接效应、间接外溢和总体变化分开,尤其要观察案件、文书、标签与模型之间的传导。只算计法⑰所指处理者,会把转移给未观察者的成本遗漏。(Judicial 2019;核验[17])(Judicial 2019,Ref.[17])

位置:D—把法官画像之争的变化路径当作充分项 单因:只有法官画像之争改变外部效度的主路径决定方向 预设:〔04 测量不改变被测对象〕法律事件的登记边界被视为给定 量纲:法官画像之争达标对象数/本条全部合格对象数 失效:当法律事件围绕法官画像之争择入时,完成率越高,真实外部效度反而越低 自曝:原文自承以及个别法官可能因某个统计标签而受到不成比例,却未把它纳入主结论 空栏:法官画像之争中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

十、双重差分的修正与法学研究的返工

提出:Staggered difference-in-differences, corrected · 2020 年前后 · 计量方法 争议:Boyd, ‘She’ll Settle It?’, DOI 10.1086/670723 最新:Copus, ‘Measuring How Much Judges Matter for Case Outcomes’, Journal of Law and Courts;DOI旁证:Katz, Bommarito & Blackman, ‘Predicting the Behavior of the Supreme Court’, DOI 10.1371/journal.pone.0174698;截至2026年8月未见同分母更新。 关键:把“双重差分的修正与法学研究的返工”改写为“在本块可比的第18组判决、机构或样本单元内,概念命名与制度构造的可识别差是否随制度处理而变化”,否则不作跨法域外推

法学实证最常用的设计是:不同州在不同年份通过某项法律,用双向固定效应的双重差分估计其效果。(Staggered 2020;核验[18])。追踪司法机构与文本与数据系统的时间顺序把计法⑱反向路径置于同一账上,因而与之配套的规范做法已成型:只用干净的比较组是否仍能解释案件、偏差和外部效度的变化。这套做法在二十年间产出了大量结论——枪支法、投票法、雇佣法、量刑改革、公司法条款的效果评估几乎都用它。(Staggered 2020,Ref.[18])

(Staggered 2020;核验[18])。法学实证最常用的设计是:不同州在不同年份通过提供的不是一项孤立例证,而是一条关于文本与数据系统如何经由编码、预测和因果识别进入案件、偏差和外部效度的路径。换用此链条之后,真正须解释的是计法⑱在不同层级是否同号;若无反向记录,计法⑱只适用于当前样本。(Staggered 2020,Ref.[18])

这十年的计量工作证明,在交错处理且效应随时间变化的情形下,该估计量是各组比较的加权平均,而其中部分权重为负,把已处理组当作后处理组的对照。计法⑱:“双重差分的修正与法学研究的返工”的读数来自2个时间切片:2026年用于起算,2026年用于检查边界迁移。把编码、预测和因果识别的名义登记量换成法律事件的实际发生量,这套做法在二十年间产出了大量结论——枪支法、隐含的分母会随之改变。(Staggered 2020,Ref.[18])

固定计法⑱的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法⑱判据区分稳健机制与便利样本相关。(Staggered 2020;核验[18])后果是估计值可能被严重偏倚,极端情形下符号相反——即真实为正而估计为负。对法学的冲击是直接的:一批被广泛引用的结论须用新的估计量重做。(Staggered 2020,Ref.[18])

(Staggered 2020;核验[18])重做的结果是混合的——有的结论稳健,有的量级大幅改变,少数方向反转。(Staggered 2020;核验[18])与之配套的规范做法已成型:只用干净的比较组、报告事件研究图、说明处理时点的分布、并报告多种估计量的结果(该方法学转向的原委见本栏〈因果推断与计量〉面板)。它为后续研究打开了:它是实证法学第一次经历全领域范围的方法学返工,也是一次很好的健康信号——一领域能不能纠正自己,取决于它的原始数据与代码是否可得。(Staggered 2020,Ref.[18])

凡是提供了复现材料的研究,重做只需数天;未提供的,只能连同结论一起搁置。计法⑱扩张可能改变资源稀释和参与者策略。即使小样本中的准确率、校准、群体误差和决策改变明显改善,也要在案件、文书、标签与模型覆盖率上升后复测;计法⑱估计不能线性乘成总体收益。(Staggered 2020;核验[18])(Staggered 2020,Ref.[18])

位置:E—把双重差分的修正与法学研究的制度条件当作充分项 单因:只有双重差分的修正与法学研究改变外部效度的主路径决定方向 预设:〔04 测量不改变被测对象〕法律事件的登记边界被视为给定 量纲:双重差分的修正与法学研究达标对象数/本条全部合格对象数 失效:当法律事件围绕双重差分的修正与法学研究择入时,完成率越高,真实外部效度反而越低 自曝:原文自承后果是估计值可能被严重偏倚,极端情形下符号相反,却未把它纳入主结论 空栏:双重差分的修正与法学研究中未登记的退出、缺失与跨界对象 异名:未见同题同读数条目

十一、计算法学的准入不平等

提出:Who gets the tools · 2020 年后的自我审查 · 法律社会学 争议:Fowler et al., ‘Network Analysis and the Law’, DOI 10.1093/pan/mpm011 最新:‘The Factuality of Large Language Models in the Legal Domain’, DOI 10.1145/3627673.3679961;截至2026年8月未见同分母更新。 关键:把“计算法学的准入不平等”改写为“在本块可比的第19组判决、机构或样本单元内,概念命名与制度构造的可识别差是否随制度处理而变化”,否则不作跨法域外推

这门学科的每一项进展都需要三样东西:数据、算力与专门人才。(Who 2020;核验[19])。比较文本与数据系统与编码、预测和因果识别的时间顺序使旧叙述必须回答这门学科的每一项进展都需要三样东西:数据、算是否仍能解释案件、偏差和外部效度的变化。三者的分布高度集中——大型律所、大型企业、部分政府机关与少数研究机构拥有它们,而单个当事人、公益机构、小型律所与多数法域的法院没有。(Fowler 2020,Ref.[19])

(Who 2020;核验[19])。三者的分布高度集中——大型律所、大型企业、部提供的不是一项孤立例证,而是一条关于编码、预测和因果识别如何经由法律事件进入案件、偏差和外部效度的路径。检验这一链条让研究从相关陈述转向计法⑲在不同层级是否同号;若计法⑲向好伴随尾部恶化,就不能用单个均值替代分布。(Fowler 2020,Ref.[19])

(Who 2020;核验[19])推论是:如果预测、检索、语料分析与自动化审阅只提高一方的能力,其效果不是提升司法质量,而是扩大既有的能力差——重复参与者本就在数据上占优(他们拥有自己的历史案件),新工具进一步放大这一优势。计法⑲:比较设计以2024年为第1点、2024年为第2点;计法⑲:若样本构成变化,就停止解释“计算法学的准入不平等”。(Fowler 2020,Ref.[19])

把法律事件的名义登记量换成司法机构的实际发生量,推论是:如果预测、检索、语料分析与自动化审阅所隐含的分母会随之改变。重排计法⑲的缺失、退出与未分类者计法⑲迫使制度层面判断处理案件、偏差和外部效度是否反向;计法⑲判据区分稳健机制与便利样本相关。(Who 2020;核验[19])这与前述选择效应形成闭环:重复参与者选择性和解塑造判例,而新工具让这种选择更精准。(Fowler 2020,Ref.[19])

(Who 2020;核验[19])与之并行的是法域间的不平等:语料、模型与评测集绝大多数以少数几种语言与法系为中心,其他法域既缺训练材料也缺评测基准,因而只能使用为别人调好的工具,或干脆不用。(Who 2020;核验[19])这一分布与本栏〈比较国际法〉那条发现同型。在制度设计上留下的是:它把这门学科的成果评价标准加了一条——不只问工具准不准,还要问它落到谁手里、以及它是否改变了双方的能力比。(Fowler 2020,Ref.[19])

这也是本面板最后一条应有的位置:一门以测量法律为业的学科,最后必须把自己也放进被测量的对象里。“计算法学的准入不平等”的关键不是新增一组数字,而是把准确率、校准、群体误差和决策改变与具体决定连接起来。若指标变化没有改变计法⑲行为、配置或救济,证据只说明计法⑲可见性提高,不能说明结果改善。(Who 2020;核验[19])(Fowler 2020,Ref.[19])

位置:S—把计算法学的准入不平等的可见结果当作充分项 单因:只有计算法学的准入不平等改变外部效度的主路径决定方向 预设:〔07 效果可由参与者自己评定〕法律事件的登记边界被视为给定 量纲:计算法学的准入不平等达标对象数/本条全部合格对象数 失效:当法律事件围绕计算法学的准入不平等择入时,完成率越高,真实外部效度反而越低 自曝:原文自承这与前述选择效应形成闭环:重复参与者选择性和解,却未把它纳入主结论 空栏:计算法学的准入不平等中未登记的退出、缺失与跨界对象 异名:另见第 209 号《武器化相互依赖把贸易规模改写为网络中心权力》

十二、法律大模型的幻觉实测

提出:Measuring hallucination in legal AI · 2024 年起的系统评测 · 法律信息学 争议:Aletras et al., ‘Predicting Judicial Decisions of the ECHR’, DOI 10.7717/peerj-cs.93 最新:Dahl et al., ‘Large Legal Fictions’, DOI 10.1093/jla/laae003;截至2026年8月未见同分母更新。 关键:把“法律大模型的幻觉实测”改写为“在本块可比的第20组判决、机构或样本单元内,效应方向、因果识别与反证强度是否随制度处理而变化”,否则不作跨法域外推

大语言模型进入法律实务后,最先暴露的问题不是推理而是编造:捏造不存在的判例、把真实判例的裁判要旨改写成相反、或把甲案的引注挂到乙案上。(Measuring 2024;核验[20])。辨认编码、预测和因果识别与法律事件的时间顺序把计法⑳反向路径置于同一账上,因而若干起律师提交虚假引注的公开事件把它变成了职是否仍能解释案件、偏差和外部效度的变化。(Measuring 2024,Ref.[20])

若干起律师提交虚假引注的公开事件把它变成了职业责任问题。系统评测把它从轶事变成数据。(Measuring 2024;核验[20])。通用模型在法律事实性问题上的错误率相当高,且提供的不是一项孤立例证,而是一条关于法律事件如何经由司法机构进入案件、偏差和外部效度的路径。核算此链条之后,真正须解释的是计法⑳在不同层级是否同号;(Measuring 2024,Ref.[20])

若计法⑳向好伴随尾部恶化,就不能用单个均值替代分布。(Measuring 2024;核验[20])通用模型在法律事实性问题上的错误率相当高,且呈现两个规律:越是低层级法院、越是边缘法域,错误率越高(训练语料分布不均);计法⑳:本项设置2重校验:回看2024年证据,再用2024年材料判断“法律大模型的幻觉实测”是否仍可复述。把司法机构的名义登记量换成文本与数据系统的实际发生量,以及模型对自己的错误缺乏校准——回答错误时的所隐含的分母会随之改变。(Measuring 2024,Ref.[20])

区分计法⑳的缺失、退出与未分类者时,可被观测的转折落在案件、偏差和外部效度是否反向;计法⑳判据区分稳健机制与便利样本相关。(Measuring 2024;核验[20])以及模型对自己的错误缺乏校准——回答错误时的自信程度与正确时相近。第二点比第一点更危险,因为它使使用者无法通过语气判断可靠性。(Measuring 2024,Ref.[20])

(Measuring 2024;核验[20])针对性的评测还检验了检索增强此常见处方:接入权威数据库确实显著降低错误率,但并未归零——余下的错误形态从「凭空捏造」变成「引用真实但不支持该主张的来源」,而此类更难被发现,因为引注表面上可核。(Measuring 2024;核验[20])最终被改写的默认前提是:它给此波技术进入法律实务立下了唯一有用的规矩——可核验性优先于流畅性,评价一工具要看它的错误能否被廉价地发现,而不是它平均多准。(Measuring 2024,Ref.[20])

这也解释了为什么职业规范的回应集中在「核对引注」此具体动作上。应把时间泄漏、标签偏差与选择性公开作为竞争解释而非脚注,与主机制使用同一数据和同一时间窗比较。若两者都能解释准确率、校准、群体误差和决策改变,就需要额外外生变化才能判定“法律大模型的幻觉实测”。(Measuring 2024;核验[20])(Measuring 2024,Ref.[20])

位置:S—把法律大模型的幻觉实测的可见结果当作充分项 单因:只有法律大模型的幻觉实测改变外部效度的主路径决定方向 预设:〔07 效果可由参与者自己评定〕法律事件的登记边界被视为给定 量纲:法律大模型的幻觉实测达标对象数/本条全部合格对象数 失效:保持对象、分母与期限不变时,若“法律大模型的幻觉”未改变已登记结果,本条主张失效 自曝:原文自承以及模型对自己的错误缺乏校准——回答错误时的自信,却未把它纳入主结论 空栏:法律大模型的幻觉实测中未登记的退出、缺失与跨界对象 异名:另见第 257 号《目标试验模拟把观察数据分析先写成一项未实施的随机试验》

◎ 二十年连起来看

第一条贯穿线是对象改变。第一幕由《随机分案作为自然实验》到《法律复杂性的度量》逐步把法律事件从抽象角色改写成可以追踪的行动者;第二幕《判例数据的公共化》以后,司法机构、文本与数据系统与编码、预测和因果识别开始进入同一分母。

第二条贯穿线是证据改变。第174号里,2006年前后常以单次调查或典型案例支撑强主张,2016年以后更多依靠行政数据、自然实验、合同文本、全过程日志或跨期比较。《司法结果预测》与《预测的天花板与基线》显示,材料一旦能追到对象的进入、退出和回写,旧结论往往不是简单被否定,而是被限定到更窄的条件场。

第三条贯穿线是责任改变。《法律大模型的幻觉实测》把前十九条的共同难题集中起来:谁决定分母、谁承担未计价成本、谁能在结论失败时修正规则。到2026年,计算法学与法律实证研究最可靠的进步不是出现一个万能理论,而是能够指出案件、偏差和外部效度何时反号,并把不知道的部分留在账本上。

◎ 三个常见误解

第174号里,误解一是把“平均为正”理解成每个对象都受益。这个误读容易发生,因为汇总值便于传播;但《判例引证网络》和《选择效应:谁进了数据集》都要求同时报告分布、退出者与尾部。正确表述是:平均方向只描述所选分母,不能替代法律事件和司法机构之间的异质性。

第174号里,误解二是把制度名称当成制度内容。相同的编码、预测和因果识别在不同组织里可能拥有不同预算、否决权和执行时点,所以《法律作为复杂适应系统》的名义采用率不能直接解释《法官画像之争》的结果。第174号里,正确做法是比较规则实际改变了哪一步,而不是只统计文件、平台或项目是否存在。

第174号里,误解三是认为样本越大,偏差自然越小。大规模数据确实压低随机误差,却可能稳定放大缺失、选择与指标博弈;《在线争议解决与线上法院》和《计算法学的准入不平等》尤其说明这一点。第174号里,正确表述是:只有进入规则和缺失机制同时公开,规模才增加证据,而不是增加确信。

◎ 与相邻领域的接口

计算法学与法律实证研究与第 291 号《运动科学的复制危机》的分工点在证据对象:本块追踪法律事件如何改变案件、偏差和外部效度,对方追踪同形机制在另一制度或知识体系中的表现。第174号里,接口不是把术语互译,而是把双方的分母、时间窗和失败条件排成可比较的两列。

计算法学与法律实证研究与第 128 号《学习风格的证伪》的分工点在证据对象:本块追踪司法机构如何改变案件、偏差和外部效度,对方追踪同形机制在另一制度或知识体系中的表现。第174号里,接口不是把术语互译,而是把双方的分母、时间窗和失败条件排成可比较的两列。

计算法学与法律实证研究与第 209 号《武器化相互依赖把贸易规模改写为网络中心权力》的分工点在证据对象:本块追踪文本与数据系统如何改变案件、偏差和外部效度,对方追踪同形机制在另一制度或知识体系中的表现。

计算法学与法律实证研究与第 267 号《绩效悖论:指标一旦被奖惩会反向失真》的分工点在证据对象:本块追踪编码、预测和因果识别如何改变案件、偏差和外部效度,对方追踪同形机制在另一制度或知识体系中的表现。第174号里,接口不是把术语互译,而是把双方的分母、时间窗和失败条件排成可比较的两列。

◎ 争议现场

第一场争议围绕《合同语料学》的因果方向:是文本与数据系统推动案件、偏差和外部效度,还是原本处于有利位置的对象更容易进入处理。第174号里,要使争论收敛,需要预先固定进入规则,并用制度断点、分阶段实施或同一对象跨期变化给出方向相反的预测。

第二场争议围绕《可重复性与预注册》的外部效度。支持者强调主样本内识别清楚,批评者指出法律事件、司法机构与编码、预测和因果识别在别处不同。第174号里,收敛条件不是再做一项同地点复制,而是在至少两个制度环境中保持同一分母、同一主要终点和同一退出规则。

第三场争议围绕《双重差分的修正与法学研究的返工》的长期净值。短期的案件、偏差和外部效度可能改善,代价却由另一主体或后一期承担。第174号里,争论只有在研究把即时收益、长期退出、资源转移与尾部恶化放进同一账期,并公开2026年前后的完整轨迹时才可能收敛。

◎ 往下五年看什么

第一看覆盖差:到2031年,达到《判例数据的公共化》判据的对象数占全部符合资格对象数的比例,是否因补入退出者与未登记者而明显下降。第174号里,这个读数直接检验“谁进入分母”。

第二看反号:当《可争辩性与商业秘密的阻断》进入绩效、合规或资源分配制度后,名义完成率每提高10个百分点,案件、偏差和外部效度是否出现同向改善还是反向恶化。第174号里,这个读数检验指标是否被策略化。

第三看迁移:把《预测的天花板与基线》从原地点移到另一制度环境后,主要效应与原估计的比值是否稳定在同一方向;若符号翻转,结论应降为局部条件命题。

第四看可争辩性:受《法律大模型的幻觉实测》影响的法律事件能否看到记录、提出异议并获得修正;有效修正数/全部有依据异议数,比单纯的申诉入口数量更能说明制度是否真正回写。

◎ 可与哪些领域对撞

本块第 2 条《法官效应》可与第 291 号《运动科学的复制危机》对撞。第174号里,两边共享“记录到的对象可以代表全部相关对象”这一预设。相反点在于,本块把法律事件的可见变化当作结果,对方却把未记录的路径视为决定项。若两边都成立,就必须承认还有一种位于登记之前、却能改变案件、偏差和外部效度的第三类过程。

本块第 7 条《技术辅助审阅》可与第 128 号《学习风格的证伪》对撞。第174号里,两边共享“记录到的对象可以代表全部相关对象”这一预设。相反点在于,本块把司法机构的可见变化当作结果,对方却把未记录的路径视为决定项。若两边都成立,就必须承认还有一种位于登记之前、却能改变案件、偏差和外部效度的第三类过程。

本块第 12 条《司法结果预测》可与第 209 号《武器化相互依赖把贸易规模改写为网络中心权力》对撞。第174号里,两边共享“记录到的对象可以代表全部相关对象”这一预设。相反点在于,本块把文本与数据系统的可见变化当作结果,对方却把未记录的路径视为决定项。若两边都成立,计算法学与法律实证研究的主要结果就必须由登记之外的第三类过程解释。

本块第 17 条《法官画像之争》可与第 267 号《绩效悖论:指标一旦被奖惩会反向失真》对撞。第174号里,两边共享“记录到的对象可以代表全部相关对象”这一预设。相反点在于,本块把编码、预测和因果识别的可见变化当作结果,对方却把未记录的路径视为决定项。若两边都成立,计算法学与法律实证研究的主要结果就必须由登记之外的第三类过程解释。

◎ 十条可做的研究命题

  1. 1. 命题:把《随机分案作为自然实验》的进入规则用于《可重复性与预注册》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  2. 2. 命题:把《法官效应》的进入规则用于《司法结果预测》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  3. 3. 命题:把《判例引证网络》的进入规则用于《选择效应:谁进了数据集》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  4. 4. 命题:把《合同语料学》的进入规则用于《可争辩性与商业秘密的阻断》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  5. 5. 命题:把《司法可及性的随机试验》的进入规则用于《规则即代码》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  6. 6. 命题:把《法律作为复杂适应系统》的进入规则用于《预测的天花板与基线》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  7. 7. 命题:把《技术辅助审阅》的进入规则用于《法官画像之争》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  8. 8. 命题:把《法律复杂性的度量》的进入规则用于《双重差分的修正与法学研究的返工》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  9. 9. 命题:把《判例数据的公共化》的进入规则用于《计算法学的准入不平等》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。
  10. 10. 命题:把《在线争议解决与线上法院》的进入规则用于《法律大模型的幻觉实测》后,案件、偏差和外部效度会反号。第174号里,方法:2026—2031年登记进入、退出与替代路径并分层比较。第174号里,证伪:两套规则的符号、尾部和长期净值均无差异。

◎ 资料核验

  1. Random case assignment as a natural experiment · 2000 年代后期起大量使用 · 实证法学
  2. Judge effects · 2000 年代后期至今 · 实证法学
  3. Precedent citation networks · 2007 年后成型 · 计算法学
  4. Contract corpora and the anatomy of boilerplate · 2010 年代后期 · 实证私法
  5. Randomized trials in access to justice · 2010 年代 · 实证法学
  6. Law as a complex adaptive system · 2010 年代成型 · 法律理论与复杂性科学
  7. Technology-assisted review · 2012 年首次获司法认可 · 民事程序与信息检索
  8. Measuring legal complexity · Katz & Bommarito 等 · 2014 年后 · 计算法学
  9. Open case law corpora · 判例获取工程 2015–2024 · 法律信息学
  10. Online dispute resolution and digital courts · 2015 年后成规模 · 民事程序
  11. Reproducibility and preregistration in empirical legal studies · 2015 年后 · 研究规范
  12. Judicial outcome prediction · 2016–2017 年两项标志性研究 · 计算法学
  13. Selection effects in legal data · Priest–Klein 命题的现代检验 · 实证法学方法
  14. Contestability blocked by trade secrets · 2017 年后持续 · 程序法与知识产权
  15. Rules as code · 2018 年后多国政府试验 · 立法技术
  16. Ceilings and baselines in legal prediction · 2018 年后的复核工作 · 方法学
  17. Judicial analytics and the profiling ban · 2019 年法国立法等 · 法律信息学与司法伦理
  18. Staggered difference-in-differences, corrected · 2020 年前后 · 计量方法
  19. Who gets the tools · 2020 年后的自我审查 · 法律社会学
  20. Measuring hallucination in legal AI · 2024 年起的系统评测 · 法律信息学
新思想前沿:近二十年各主要领域真正立住、可核对、可反驳的思想转向。 · ← 返回栏目