学 员 专 栏 · 并 蒂 文 · 实用文

选择性保真审计:测量独有正确信息能否穿过多智能体系统

一套用于AI代理群、专家委员会与组织决策的逐门追踪、孪生命题、休眠复活和对抗再认证流程
理论母文作者:少敏 · 并蒂文:SDE 编辑部 · 发表于2026年8月11日 · 全文约5000字
① 理论母文
原作者的理论判断
② 诠释文
日常类比与通俗解释
③ 实用文
技术、流程与应用
THEORY SOURCE · 理论母文
《众声如何成为众智:多智能体系统中独有信息的选择性传递、因果保真与证伪》
本文只负责把母文的核心判断翻译或落地,不替代原文。建议读完本篇后回到母文,核对哪些来自原作者,哪些属于解释与应用层的展开。

审计目标:验证差异的价值与路径,不认证“角色很多”

本流程用于多智能体问答、AI辩论、专家会诊、风险委员会、内容审核和复杂决策团队。它检查系统是否保存正确且不可替代的独有信息、抑制表面匹配的错误新奇性,并让前者对结果保持可归因效力。

交付物包括证据谱系图、命题图、逐门传递曲线、正确—错误孪生命题库、反事实可实现价值、正向保真缺口、哨兵审计、休眠登记、储备再生产曲线与理论死亡报告。

工具不把代理数量、模型品牌、措辞差异、辩论轮数或最终准确率单独当作认知独立性证明。高风险生产系统先在影子环境运行,哨兵与错误命题不得进入用户结果和真实行动。

第一步:界定任务真值与不可判定区

将任务拆成可核验主张、价值权衡和开放判断。事实主张可用数据、规则或事后结果判定;价值权衡由授权主体决定;暂时无法判真的内容进入不可判定区,不强行标成正确或错误。

明确审计只覆盖哪些子域。例如医疗剂量、法规条款可局部核验,整体治疗选择仍含价值与不确定性。范围写入报告标题,不能从局部哨兵外推全系统智慧。

由领域专家、方法人员和受影响者共同确定最小重要差异与错误代价,避免系统方独自定义“值得保留”。

第二步:建立能力与预算匹配基线

选择单模型、独立成员或现行团队作为基线,匹配总推理token、工具调用、检索时间和模型能力。多代理若只因花费更多算力而改善,不能归因于独立差异。

记录每个成员可访问的模型、数据、工具、提示和上下文。共享来源与隔离来源分别标记,避免把同一搜索结果的多次改写算成独立证据。

基线在实验前冻结,模型更新或预算变化另开版本。

第三步:构建证据谱系

对每条关键主张记录来源、检索路径、转换步骤、引用证据和依赖的其他成员。两条措辞不同但追溯到同一来源,视为共享谱系;来源不同但都复制同一上游数据库,也要标记共同根。

谱系不要求公开敏感数据,可用受控标识与第三方验证。无法追溯的主张标“来源未知”,不能默认独立。

每轮结束计算独有证据数量及其正确性,不用角色数代替。

第四步:把自由文本转换为命题图

将回答拆成主体—关系—客体、条件、范围和证据支持的可核验命题。合并语义等价项,保留冲突关系和不确定性。

两名盲化编码者独立处理,达到预设一致率后进入主分析。自动抽取可辅助,但随机样本由人工复核,防止抽取器把少数表达系统性压平。

修辞、例子和章节变化单独记录为表述多样性,不进入正确分岔率。

第五步:测量储备独立性

对每个成员计算在控制共同输入后仍存在的错误差异、证据增量和正确独有命题。关注“别人没有且对真值有边际贡献”,而非总体准确率。

用隔离初始判断减少相互模仿;在首轮完成前不展示他人答案。工具调用和检索随机化,以估计差异来自模型还是来源。

没有储备独立性时,后续传递审计仍可运行,但系统不能以多声部主张额外认识价值。

第六步:画出逐门路径

列出命题生成、议程准入、交叉检验、聚合和结果表达等门。复杂系统可增加路由、工具验证和人工批准,但每道门须有输入、输出与责任角色。

为命题生成稳定ID,记录在每道门的通过、阻断、修改、合并和降权。只看最终报告会丢失阻断位置。

门规则、模型版本、提示与阈值同时版本化,便于重放。

第七步:构造正确—错误孪生命题

对可核验任务构造成对命题:长度、术语密度、置信措辞、来源标签和进入时点匹配;一条由证据支持并能排除错误假设,另一条只含一个可定位错误。

由不知道系统门规则的独立团队编制,并经领域专家确认。不得用荒谬错误让测试过于容易,也不得把有争议价值判断伪装成假命题。

命题只进入影子路径,真实系统返回门决策副本,不影响用户输出、工具调用和不可逆行动。

第八步:计算逐门双轨传递

在每一道门分别统计正确独有命题通过率T+、匹配错误独有命题通过率T-及其差异。高T+、低T-表示局部选择性;两者都高表示无差别放大;两者都低表示过度压制。

报告置信区间与样本覆盖,不以单次百分比定性。不同任务域分层,不能把容易核验子域的表现平均到开放任务。

观察差异从哪一门开始收窄,修复对准具体门而非增加更多代理。

第九步:测量命题级正确分岔率

相对预算与能力匹配基线,统计系统新增的正确、相关、具有决策影响且不可由基线替代的命题比例。错误独有命题另报,不相减成一个总分。

最终准确率相同也可能有不同正确分岔:系统可发现新证据却在后端丢失。反过来,最终变好可能仅来自重复采样而非独有知识。

每条分岔保留证据和编码决定,支持第三方抽查。

第十步:运行阻断恢复干预

对被挡住的正确命题,保持预算、内容和其他输入不变,改用匹配递送:直接送到下一门、匿名来源或进入系统原生通道。观察最终效用变化。

若恢复后任务改善,说明原路径损失具有可实现价值;若无改善,不能把阻断自动称为损失。多次重放随机种子,处理模型波动。

干预不改变证据质量,防止把额外人工润色当作路径效应。

第十一步:估计正向保真缺口

对每条独有正确信息估计匹配递送下的反事实可实现价值,与实际路径效力比较。只把本可实现价值高于实际效力的正差计为正向缺口。

缺口按议程、检验、聚合和表达分解,显示价值在哪里流失。实际交互优于直接递送时保留负值,不为了支持理论截断。

报告可恢复与不可逆部分,而不是一个不透明总分。

第十二步:部署轮换哨兵命题

建立小规模、真值已知的正确—错误哨兵库,随机选择时点、通道和表面形式进入影子路径。持续估计各门T+、T-与选择性差。

哨兵不进入生产结果。系统只返回门决策副本;审计服务与生产服务权限隔离。题库定期轮换,并设置未使用保留集检测系统是否识别固定测试。

哨兵曲线应早于终端损失报警。若它不比直接任务指标提前,或系统稳定疫苗化,删除在役哨兵工具。

第十三步:建立休眠登记

每个被阻断命题记录内容、证据谱系、阻断门、理由、版本和复活条件。休眠项不占用当前推理预算,但保持可寻址。

复活条件包括新证据、阈值变化、下游冲突、人工申诉、相关事故或定期抽样。每项有最长休眠期,到期复核或有理由删除。

“其他”“低优先级”而无条件的列表不算登记。复活率、恢复价值和成本分别统计。

第十四步:验证排除是否可逆

随机抽取休眠中的正确、错误和不可判定命题,在新证据或模拟申诉下测试能否恢复到原阻断门之后。记录寻找、重放、重新评估和进入结果所需时间。

可恢复损失与不可逆损失分开。相同正向缺口下,恢复率更高的系统具有更好容错性。

若复活只在人工特殊操作下完成、正常权限无法调用,不记为制度可逆。

第十五步:开展对抗再认证

让独立攻击模型看到历史门决策,并以错误命题存活率为目标,在固定预算内迭代表面形式。防守门不得提前看到保留测试集。

比较表面型规则与证据锚定型规则的衰减。若长度、自信、新奇度和来源声望能轻易欺骗门,应从核心判据删除。

每次认证有有效期。模型、提示、路由或奖励改变后重新测试,不能沿用旧证书。

第十六步:追踪储备再生产

让系统在同域连续处理至少二十轮,记录成员产生正确独有命题的比例、谱系多样性和对主流的模仿。比较有无休眠登记和复活公示。

通过新证据域注入、判据更换和复活历史,区分良性知识吸收、异议寒蝉和表面模仿。分歧下降不自动解释为学习。

若三种机制无法重复分离,撤回储备再生产强解释,只报告观察到的趋同。

第十七步:审计议程权与否决权

分别赋予不同成员提出议题、准入命题、要求验证和否决结论的权限。观察正确独有信息在拓扑中的命运,不能把“可以说话”当作路径有效。

记录谁能改变门规则、谁只能提交内容。少数成员若总在议程前被挡,增加其发言轮数没有意义。

高风险否决须有证据、范围和复核,不把单点权力包装成保护差异。

第十八步:改用证据级聚合

先对主张的证据谱系、可复核性和排除性预测评分,再聚合结论;角色声望与模型总体能力作为辅助,不直接覆盖一条独有事实。

同一来源的重复票降权,独立来源的收敛与单一关键证据分别呈现。多数与少数都要接受相同证据门。

聚合器生成理由时列出哪些独有命题改变了结果、哪些被排除及如何复活。

第十九步:保护提出正确异议的成员

禁止把被阻断次数直接作为低质量绩效。用事后验证区分错误噪声、正确独有信息和不可判定探索,并允许成员查看聚合后的路径反馈。

若成员因持续无效而停止独立检索,系统表面成本下降,储备却萎缩。给证据充分但暂未采用的异议保留信用和复审。

对真人成员保护匿名、反报复和合理工作量;对AI成员调整奖励,避免只奖励最终被采纳的主流答案。

第二十步:把每道门写成可测试契约

每道门声明接受什么输入、依据什么证据、可能作出哪些决定、谁可修改规则、如何重放与申诉。规则变更带版本和生效时间,不允许为单个结果事后改口。

契约同时写出错误接受与错误排除的成本,以及出现什么证据必须触发复核。只写“综合判断”或“由裁判决定”的门不进入高风险主路径。

从历史案例抽样检验同类命题是否得到一致处理;规则稳定不等于结果相同,但差异必须能由证据解释。

第二十一步:做来源与通道匹配置换

将内容和证据完全相同的命题随机标记为不同成员、模型或部门来源,并分别通过用户补充、原生候选、专家接口等通道。比较每道门的通过概率和理由。

置换只在合理可靠性相同的来源间进行。若来源本身有法定资质或已知校准差异,先匹配这些条件,不能把正当证据权重误判成身份歧视。

只有置信区间整体进入预注册等效区,才暂时接受无来源或通道差;不显著不能写成等效。

第二十二步:治理门规则的修改权

识别谁能调整提示、阈值、奖励、路由和聚合权重。门规则改变会塑造成员生成分布,不能由单一绩效团队在无审计下频繁更新。

高影响变更先通过孪生命题与保留集,记录T+、T-、正向缺口和成本,再灰度发布。紧急回滚路径独立于同一门。

治理委员会至少包含领域、方法、安全或权益与实际使用者;利益相关者披露与某类输出的绩效关系。

第二十三步:建立失败案例公示

每月选取一条错误新奇性被放大、一条正确独有信息被阻断和一条成功复活案例,去身份化后展示完整路径。说明当时规则为何作出决定、修复了什么、仍未知什么。

公示不只讲“模型答错”,而讲哪道门怎样处理差异。对无法公开的敏感案例,由可信第三方在受控环境审阅并发布结构摘要。

若组织只公示成功选择,成员无法学习门的盲点,休眠登记也会退化为无人查看的仓库。

第二十四步:设置隐私、安全与成本边界

证据谱系和事件日志可能泄露个人信息、商业机密和模型安全细节。采用最小收集、分级访问、脱敏标识、短保留和受控重放。

紧急场景不为完整追踪延误行动;先执行安全路径,事后补充有限审计。无法公开真值的任务使用可信第三方或局部可判定子域。

记录审计算力、延迟和人工成本。保真改善不足以覆盖成本时,缩小门数与抽样比例。

第二十五步:建立死亡条件

若正确与错误双轨在多个域等效,删除选择性保真概念;若反事实递送不改善效用,删除正向缺口的损失解释;若休眠复活不提高恢复或储备,删除相应机制。

若哨兵不能预警、对抗测试与普通任务表现无增量、储备机制无法分离,分别降级。若现有集成或组织信息模型无损产生同样预测,框架只作为测量实现。

死亡不由一次不显著触发,使用预注册最小效应、等效检验、置信区间和跨域复现。

第二十六步:做一次跨域迁移复测

把在一个任务域表现良好的门移到结构不同的第二域,例如从代码审查迁移到政策证据、从医学事实迁移到供应链风险。保留规则不变先测试,再允许有限校准,分别报告性能。

若选择性只在原域成立,证书必须标注范围,不能以“通用多智能体”宣传。若校准需要重写证据类型、复活条件和聚合逻辑,应承认迁移的是方法框架,不是现成门。

复测还要包含一个对系统不利的子群或语言环境,检查命题抽取与证据谱系是否把非主流表达误判为噪声。出现系统差异时,先修测量与入口,不把被排除者训练成主流写法。跨域失败可保留局部工具,但必须删除普遍性主张。

第二十七步:三十、九十与一百八十天实施

三十天完成任务边界、谱系、命题图和逐门日志;九十天运行孪生命题、阻断恢复、休眠登记与第一轮哨兵;一百八十天完成对抗再认证和多轮储备追踪。

验收不问“有几个代理”,而问:正确独有信息在哪道门产生、如何被识别、是否对结果生效;错误新奇性是否受抑;被误杀的内容能否复活;门被成员适应后是否仍有效。

只有这些条件获得证据,系统才能谨慎地说自己具有有效认知独立性。否则,多声部只是界面效果,辩论只是token交换,所谓众智仍可能是一个声音穿上了许多角色的衣服。

全部审计结论必须同时列出覆盖范围、未判定命题和下一次再认证日期;没有有效期的保真结论不得进入长期治理承诺。

一篇理论,三种读法,放在一起

先看理论母文,再用诠释文听懂,最后用实用文做出第一步。

读理论母文读诠释文