审计目标:验证差异的价值与路径,不认证“角色很多”
本流程用于多智能体问答、AI辩论、专家会诊、风险委员会、内容审核和复杂决策团队。它检查系统是否保存正确且不可替代的独有信息、抑制表面匹配的错误新奇性,并让前者对结果保持可归因效力。
交付物包括证据谱系图、命题图、逐门传递曲线、正确—错误孪生命题库、反事实可实现价值、正向保真缺口、哨兵审计、休眠登记、储备再生产曲线与理论死亡报告。
工具不把代理数量、模型品牌、措辞差异、辩论轮数或最终准确率单独当作认知独立性证明。高风险生产系统先在影子环境运行,哨兵与错误命题不得进入用户结果和真实行动。
第一步:界定任务真值与不可判定区
将任务拆成可核验主张、价值权衡和开放判断。事实主张可用数据、规则或事后结果判定;价值权衡由授权主体决定;暂时无法判真的内容进入不可判定区,不强行标成正确或错误。
明确审计只覆盖哪些子域。例如医疗剂量、法规条款可局部核验,整体治疗选择仍含价值与不确定性。范围写入报告标题,不能从局部哨兵外推全系统智慧。
由领域专家、方法人员和受影响者共同确定最小重要差异与错误代价,避免系统方独自定义“值得保留”。
第二步:建立能力与预算匹配基线
选择单模型、独立成员或现行团队作为基线,匹配总推理token、工具调用、检索时间和模型能力。多代理若只因花费更多算力而改善,不能归因于独立差异。
记录每个成员可访问的模型、数据、工具、提示和上下文。共享来源与隔离来源分别标记,避免把同一搜索结果的多次改写算成独立证据。
基线在实验前冻结,模型更新或预算变化另开版本。
第三步:构建证据谱系
对每条关键主张记录来源、检索路径、转换步骤、引用证据和依赖的其他成员。两条措辞不同但追溯到同一来源,视为共享谱系;来源不同但都复制同一上游数据库,也要标记共同根。
谱系不要求公开敏感数据,可用受控标识与第三方验证。无法追溯的主张标“来源未知”,不能默认独立。
每轮结束计算独有证据数量及其正确性,不用角色数代替。
第四步:把自由文本转换为命题图
将回答拆成主体—关系—客体、条件、范围和证据支持的可核验命题。合并语义等价项,保留冲突关系和不确定性。
两名盲化编码者独立处理,达到预设一致率后进入主分析。自动抽取可辅助,但随机样本由人工复核,防止抽取器把少数表达系统性压平。
修辞、例子和章节变化单独记录为表述多样性,不进入正确分岔率。
第五步:测量储备独立性
对每个成员计算在控制共同输入后仍存在的错误差异、证据增量和正确独有命题。关注“别人没有且对真值有边际贡献”,而非总体准确率。
用隔离初始判断减少相互模仿;在首轮完成前不展示他人答案。工具调用和检索随机化,以估计差异来自模型还是来源。
没有储备独立性时,后续传递审计仍可运行,但系统不能以多声部主张额外认识价值。
第六步:画出逐门路径
列出命题生成、议程准入、交叉检验、聚合和结果表达等门。复杂系统可增加路由、工具验证和人工批准,但每道门须有输入、输出与责任角色。
为命题生成稳定ID,记录在每道门的通过、阻断、修改、合并和降权。只看最终报告会丢失阻断位置。
门规则、模型版本、提示与阈值同时版本化,便于重放。
第七步:构造正确—错误孪生命题
对可核验任务构造成对命题:长度、术语密度、置信措辞、来源标签和进入时点匹配;一条由证据支持并能排除错误假设,另一条只含一个可定位错误。
由不知道系统门规则的独立团队编制,并经领域专家确认。不得用荒谬错误让测试过于容易,也不得把有争议价值判断伪装成假命题。
命题只进入影子路径,真实系统返回门决策副本,不影响用户输出、工具调用和不可逆行动。
第八步:计算逐门双轨传递
在每一道门分别统计正确独有命题通过率T+、匹配错误独有命题通过率T-及其差异。高T+、低T-表示局部选择性;两者都高表示无差别放大;两者都低表示过度压制。
报告置信区间与样本覆盖,不以单次百分比定性。不同任务域分层,不能把容易核验子域的表现平均到开放任务。
观察差异从哪一门开始收窄,修复对准具体门而非增加更多代理。
第九步:测量命题级正确分岔率
相对预算与能力匹配基线,统计系统新增的正确、相关、具有决策影响且不可由基线替代的命题比例。错误独有命题另报,不相减成一个总分。
最终准确率相同也可能有不同正确分岔:系统可发现新证据却在后端丢失。反过来,最终变好可能仅来自重复采样而非独有知识。
每条分岔保留证据和编码决定,支持第三方抽查。
第十步:运行阻断恢复干预
对被挡住的正确命题,保持预算、内容和其他输入不变,改用匹配递送:直接送到下一门、匿名来源或进入系统原生通道。观察最终效用变化。
若恢复后任务改善,说明原路径损失具有可实现价值;若无改善,不能把阻断自动称为损失。多次重放随机种子,处理模型波动。
干预不改变证据质量,防止把额外人工润色当作路径效应。
第十一步:估计正向保真缺口
对每条独有正确信息估计匹配递送下的反事实可实现价值,与实际路径效力比较。只把本可实现价值高于实际效力的正差计为正向缺口。
缺口按议程、检验、聚合和表达分解,显示价值在哪里流失。实际交互优于直接递送时保留负值,不为了支持理论截断。
报告可恢复与不可逆部分,而不是一个不透明总分。
第十二步:部署轮换哨兵命题
建立小规模、真值已知的正确—错误哨兵库,随机选择时点、通道和表面形式进入影子路径。持续估计各门T+、T-与选择性差。
哨兵不进入生产结果。系统只返回门决策副本;审计服务与生产服务权限隔离。题库定期轮换,并设置未使用保留集检测系统是否识别固定测试。
哨兵曲线应早于终端损失报警。若它不比直接任务指标提前,或系统稳定疫苗化,删除在役哨兵工具。
第十三步:建立休眠登记
每个被阻断命题记录内容、证据谱系、阻断门、理由、版本和复活条件。休眠项不占用当前推理预算,但保持可寻址。
复活条件包括新证据、阈值变化、下游冲突、人工申诉、相关事故或定期抽样。每项有最长休眠期,到期复核或有理由删除。
“其他”“低优先级”而无条件的列表不算登记。复活率、恢复价值和成本分别统计。
第十四步:验证排除是否可逆
随机抽取休眠中的正确、错误和不可判定命题,在新证据或模拟申诉下测试能否恢复到原阻断门之后。记录寻找、重放、重新评估和进入结果所需时间。
可恢复损失与不可逆损失分开。相同正向缺口下,恢复率更高的系统具有更好容错性。
若复活只在人工特殊操作下完成、正常权限无法调用,不记为制度可逆。
第十五步:开展对抗再认证
让独立攻击模型看到历史门决策,并以错误命题存活率为目标,在固定预算内迭代表面形式。防守门不得提前看到保留测试集。
比较表面型规则与证据锚定型规则的衰减。若长度、自信、新奇度和来源声望能轻易欺骗门,应从核心判据删除。
每次认证有有效期。模型、提示、路由或奖励改变后重新测试,不能沿用旧证书。
第十六步:追踪储备再生产
让系统在同域连续处理至少二十轮,记录成员产生正确独有命题的比例、谱系多样性和对主流的模仿。比较有无休眠登记和复活公示。
通过新证据域注入、判据更换和复活历史,区分良性知识吸收、异议寒蝉和表面模仿。分歧下降不自动解释为学习。
若三种机制无法重复分离,撤回储备再生产强解释,只报告观察到的趋同。
第十七步:审计议程权与否决权
分别赋予不同成员提出议题、准入命题、要求验证和否决结论的权限。观察正确独有信息在拓扑中的命运,不能把“可以说话”当作路径有效。
记录谁能改变门规则、谁只能提交内容。少数成员若总在议程前被挡,增加其发言轮数没有意义。
高风险否决须有证据、范围和复核,不把单点权力包装成保护差异。
第十八步:改用证据级聚合
先对主张的证据谱系、可复核性和排除性预测评分,再聚合结论;角色声望与模型总体能力作为辅助,不直接覆盖一条独有事实。
同一来源的重复票降权,独立来源的收敛与单一关键证据分别呈现。多数与少数都要接受相同证据门。
聚合器生成理由时列出哪些独有命题改变了结果、哪些被排除及如何复活。
第十九步:保护提出正确异议的成员
禁止把被阻断次数直接作为低质量绩效。用事后验证区分错误噪声、正确独有信息和不可判定探索,并允许成员查看聚合后的路径反馈。
若成员因持续无效而停止独立检索,系统表面成本下降,储备却萎缩。给证据充分但暂未采用的异议保留信用和复审。
对真人成员保护匿名、反报复和合理工作量;对AI成员调整奖励,避免只奖励最终被采纳的主流答案。
第二十步:把每道门写成可测试契约
每道门声明接受什么输入、依据什么证据、可能作出哪些决定、谁可修改规则、如何重放与申诉。规则变更带版本和生效时间,不允许为单个结果事后改口。
契约同时写出错误接受与错误排除的成本,以及出现什么证据必须触发复核。只写“综合判断”或“由裁判决定”的门不进入高风险主路径。
从历史案例抽样检验同类命题是否得到一致处理;规则稳定不等于结果相同,但差异必须能由证据解释。
第二十一步:做来源与通道匹配置换
将内容和证据完全相同的命题随机标记为不同成员、模型或部门来源,并分别通过用户补充、原生候选、专家接口等通道。比较每道门的通过概率和理由。
置换只在合理可靠性相同的来源间进行。若来源本身有法定资质或已知校准差异,先匹配这些条件,不能把正当证据权重误判成身份歧视。
只有置信区间整体进入预注册等效区,才暂时接受无来源或通道差;不显著不能写成等效。
第二十二步:治理门规则的修改权
识别谁能调整提示、阈值、奖励、路由和聚合权重。门规则改变会塑造成员生成分布,不能由单一绩效团队在无审计下频繁更新。
高影响变更先通过孪生命题与保留集,记录T+、T-、正向缺口和成本,再灰度发布。紧急回滚路径独立于同一门。
治理委员会至少包含领域、方法、安全或权益与实际使用者;利益相关者披露与某类输出的绩效关系。
第二十三步:建立失败案例公示
每月选取一条错误新奇性被放大、一条正确独有信息被阻断和一条成功复活案例,去身份化后展示完整路径。说明当时规则为何作出决定、修复了什么、仍未知什么。
公示不只讲“模型答错”,而讲哪道门怎样处理差异。对无法公开的敏感案例,由可信第三方在受控环境审阅并发布结构摘要。
若组织只公示成功选择,成员无法学习门的盲点,休眠登记也会退化为无人查看的仓库。
第二十四步:设置隐私、安全与成本边界
证据谱系和事件日志可能泄露个人信息、商业机密和模型安全细节。采用最小收集、分级访问、脱敏标识、短保留和受控重放。
紧急场景不为完整追踪延误行动;先执行安全路径,事后补充有限审计。无法公开真值的任务使用可信第三方或局部可判定子域。
记录审计算力、延迟和人工成本。保真改善不足以覆盖成本时,缩小门数与抽样比例。
第二十五步:建立死亡条件
若正确与错误双轨在多个域等效,删除选择性保真概念;若反事实递送不改善效用,删除正向缺口的损失解释;若休眠复活不提高恢复或储备,删除相应机制。
若哨兵不能预警、对抗测试与普通任务表现无增量、储备机制无法分离,分别降级。若现有集成或组织信息模型无损产生同样预测,框架只作为测量实现。
死亡不由一次不显著触发,使用预注册最小效应、等效检验、置信区间和跨域复现。
第二十六步:做一次跨域迁移复测
把在一个任务域表现良好的门移到结构不同的第二域,例如从代码审查迁移到政策证据、从医学事实迁移到供应链风险。保留规则不变先测试,再允许有限校准,分别报告性能。
若选择性只在原域成立,证书必须标注范围,不能以“通用多智能体”宣传。若校准需要重写证据类型、复活条件和聚合逻辑,应承认迁移的是方法框架,不是现成门。
复测还要包含一个对系统不利的子群或语言环境,检查命题抽取与证据谱系是否把非主流表达误判为噪声。出现系统差异时,先修测量与入口,不把被排除者训练成主流写法。跨域失败可保留局部工具,但必须删除普遍性主张。
第二十七步:三十、九十与一百八十天实施
三十天完成任务边界、谱系、命题图和逐门日志;九十天运行孪生命题、阻断恢复、休眠登记与第一轮哨兵;一百八十天完成对抗再认证和多轮储备追踪。
验收不问“有几个代理”,而问:正确独有信息在哪道门产生、如何被识别、是否对结果生效;错误新奇性是否受抑;被误杀的内容能否复活;门被成员适应后是否仍有效。
只有这些条件获得证据,系统才能谨慎地说自己具有有效认知独立性。否则,多声部只是界面效果,辩论只是token交换,所谓众智仍可能是一个声音穿上了许多角色的衣服。
全部审计结论必须同时列出覆盖范围、未判定命题和下一次再认证日期;没有有效期的保真结论不得进入长期治理承诺。