SDE Universes·新思想前沿AI与知识生产
新思想前沿 · AI与知识生产

以人为本的AI与人机协作

近二十年 · 两幕 · 20 个新思想 · 约 22,280 字 · 王德生 亲撰 · 2026 年 8 月

以人为本的AI不是在模型完成后补一层友好界面,而是重新规定谁提出问题、谁进入训练数据、谁能理解与纠正系统、机器何时应当转交、个人如何申诉,以及行动型智能体怎样获得和失去权限。从2004年的GWAP、2009年的交互学习,到2019年的模型卡与追索、2022年的参与式AI、2023年的工作现场实验,再到2026年的可撤销智能体,本面板用二十个转向追踪一个学科怎样形成:能力不再只属于模型,而属于人、模型、组织与制度共同组成且可被审计的关系。

【第一幕】人进入数据、训练与判断 · 约 2004–2016

第一幕把“人在回路”从口号拆成不同接口:人选择训练样本,机器决定何时提问,游戏机制生产标签,竞赛团队编排模型,众包路由器学习回答者差异,公平约束外显价值判断,LIME让黑箱接受局部扰动,算法厌恶实验则证明一点实质控制会改变采纳。它们共同留下警报:人出现于流程,不代表人拥有目标、信息或否决权。

甲、概览式交互学习:普通使用者开始直接改训练集Overview-Based Interactive Learning: End Users Edit the Training Set

提出Amershi、Fogarty、Kapoor与Tan,2009年UIST论文《Overview-Based Example Selection in End-User Interactive Concept Learning》,DOI 10.1145/1622176.1622223。 争议Ibarz, B. et al. “Reward Learning from Human Preferences and Demonstrations in Atari.” NeurIPS, 2018.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键训练不再一次性交给专家,使用者可查看概念空间并选择最值得标注或纠正的样本。

2009年前的机器学习产品通常把人放在数据准备之前、预测结果之后:专家离线收集标签,使用者只能接受输出。Amershi等在UIST提出概览式示例选择,让非机器学习专家查看候选空间、挑出有代表性或容易混淆的图像,再立即看到概念分类器怎样改变。人由需求提供者变成训练回路中的操作者,模型界面第一次承担课程设计。

〔对象清单〕本条的单因命题是,决定终端使用者能否有效训练概念分类器的只有界面是否把高信息样本暴露为可选择对象。Overview把随机翻找改成结构化浏览,以聚类、排序和当前模型状态提示哪些区域尚未覆盖。2009年的重点不是发明更复杂分类器,而是让人以有限点击改变训练数据分布,并把一次反馈的边际价值作为交互设计问题。对概览式交互学习:普通使用者开始直接改训练集Overview-Based Interactive Learning: End Users Edit the Training Set而言,真正需要登记的不是又一个平均分,而是由“决定终端使用者能否有效训练概念分类器的只有界面是否把高信息样本暴露为可选择对象”推出的每一步中介、责任人和可撤回条件;〔对象清单〕缺少任何一环,都不能把相关性写成机制。

UIST 2009研究比较概览式、主动学习式与传统顺序式选例,记录学习曲线、标注数、完成时间和概念准确率;受试者在有限预算下能通过Overview更快发现边界样本。第三段真正可复算的读数是达到同一held-out accuracy所需的人类操作次数,而非演示中分类颜色是否变得整齐;样本池、初始种子和停止规则都必须固定。

概览本身是模型对数据空间的压缩,距离、聚类与缩略图会隐藏难以表示的少数样本。若界面只突出模型最不确定的点,使用者会反复标注异常值,覆盖率越高,真实部署准确率反而可能下降;若只呈现中心样本,边界错误又长期不可见。2024年复测还应加入OOD样本;人能纠正模型,不等于人能看见模型未收集到的世界。

复核应把随机选例、模型不确定性、覆盖度与使用者自选4种策略并列,报告每100次操作的准确率增量、遗漏群体和认知负荷。2025年的系统还应测试概念漂移、标签撤销和多人意见冲突,并保存每次点击前后的模型版本;没有反事实日志,就无法判断提升来自好界面、幸运顺序还是使用者已熟悉数据集。

它与第253号第十七条“研究方法的更新”共享真实使用者实验,但本条验收的是人如何改变训练分母;与第531号AI for Science的自驱动实验不同,这里的人拥有停止、重标和改类别权。2009年的结果只支持有限概念学习,不能外推到高风险医疗或信贷,也不能把“可操作”误写成“决策责任已由人承担”。

位置S——把可见、可选的高信息样本当成人进入训练回路的决定性资源 单因决定终端使用者能否有效训练概念分类器的只有界面是否把高信息样本暴露为可选择对象 预设〔01 谁进入分母〕能进入Overview样本池的图像足以代表部署后使用者会遇到的对象 量纲达到同一held-out accuracy所需的人类标注与纠错次数/概览式交互学习:普通使用者开始直接改训练集Overview-Based Interactive Learning: End Users Edit the Training Set全部纳入比较的样本、运行或决策单元 失效当不确定性界面反复突出异常点时,点击越多,部署总体准确率反而越低 自曝对象清单独立核验:该研究使用有限概念与受控样本池,尚未检验数据根本未被收集时的交互学习;独立撤回检查落在对象清单 空栏未采集群体、标签撤销、多人冲突、概念漂移及每次反馈后的版本责任 异名人机交互称“研究方法的更新”;见第253号第十七条“研究方法的更新”

乙、主动学习:机器开始决定何时向人提问Active Learning: The Model Decides When to Ask a Human

提出Settles,2009年技术综述及2012年专著《Active Learning》。 争议Ibarz, B. et al. “Reward Learning from Human Preferences and Demonstrations in Atari.” NeurIPS, 2018.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键监督学习的预算由“多收标签”改写为“只在人类答案最可能改变模型时提问”。

监督学习长期假定已有一张完整标签表,但现实里影像、文本和异常事件的标签常比计算更贵。Settles在2009年综述中系统化pool-based、stream-based与membership query三种主动学习,让模型根据不确定性、期望误差下降或委员会分歧选择问题。人的角色从批量标注工变成按需被咨询的知识源,查询策略本身成为协作协议。

〔事件时间轴〕本条主张,决定有限人工预算能否转化为更好模型的只有查询策略是否挑中会改变决策边界的样本。Entropy或margin sampling选择当前模型最犹豫的点,query-by-committee寻找多个模型意见分裂的位置,expected error reduction直接估计回答后的风险变化。2012年专著把“何时问人”从工程窍门变成可比较算法。

经典实验以label efficiency作读数:在同一语料和测试集上,达到目标F1或AUC需要多少人工标签。若随机抽样需1,000个标注、主动策略需300个,节省率必须连同3次以上初始化、置信区间和查询耗时报告。只画一条更陡学习曲线会漏掉人阅读难例的额外时间,也不能核算被问样本的拒答率。〔事件时间轴〕机构采用主动学习:机器开始决定何时向人提问Active Learning: The Model Decides When to Ask a Human之前还应公布否决门槛:一旦“当不确定样本主要是噪声时,查询越积极,单位人工分钟的有效增益反而越小”出现,就暂停扩张并回到“监督学习的预算由“多收标签”改写为“只在人类答案最可能改变模型时提问””的原始记录复核,该门槛必须早于部署决定写入方案。

最不确定点往往是噪声、罕见格式或模型无法表示的例外;查询越积极,人反而越被困难样本拖慢,并可能因连续模糊问题而改变判断标准。若模型初始偏见把某群体预测得过度自信,该群体不会进入查询队列,2025年AUC表面提高却把盲区冻结。主动不等于公平,更不等于人主动设定目标。

2025年的验收应把每分钟有效标注、不同标注者一致率、群体召回和最终校准同时列出,并加入随机、分层随机和业务价值采样基线。查询系统必须允许“无法判断”、跳过与二次会诊,保存谁在何时看到什么上下文;当模型无法说明为何提问时,专家也难判断一次回答会被传播到多少决策。〔事件时间轴〕把主动学习:机器开始决定何时向人提问Active Learning: The Model Decides When to Ask a Human与相邻路线比较时,统一分母至少应包含成功、失败、弃权和未覆盖对象四类,只有“达到预注册F1所用有效人工分钟/随机抽样达到同一F1所用分钟”在这些类别上都可回查,跨研究比较才有意义。

它与第253号第十一条“众包与被隐藏的劳动”相接,但本条关注机器怎样分配提问,而不是平台劳动关系;与第532号第十四条“Toolformer:工具调用从手写路由变成可学习动作”相比,人不是无成本API。2009年的理论效率若忽略等待、培训和心理负担,就会把减少标签数误当作减少全部社会成本。

位置D——把模型选例、人工回答、重训与再查询串成有限预算路径 单因决定有限人工预算能否转化为更好模型的只有查询策略是否挑中会改变决策边界的样本 预设〔02 单一读数代表复杂对象〕标签节省率足以代表人类时间、难度、公平与最终模型质量 量纲达到预注册F1所用有效人工分钟/随机抽样达到同一F1所用分钟 失效当不确定样本主要是噪声时,查询越积极,单位人工分钟的有效增益反而越小 自曝事件时间轴独立核验:主动学习文献常按标签个数计费,未把难例阅读、拒答与专家等待纳入同一预算;独立撤回检查落在事件时间轴 空栏过度自信群体、无法判断选项、标注者疲劳、查询解释及答案传播范围 异名人机交互称“众包与被隐藏的劳动”;见第253号第十一条“众包与被隐藏的劳动”

丙、人类计算与GWAP:剩余难题被包装成游戏Human Computation and GWAP: Residual Hard Problems Become Games

提出von Ahn与Dabbish,2004年CHI论文《Labeling Images with a Computer Game》;von Ahn,2006年IEEE Computer《Games with a Purpose》。 争议Ibarz, B. et al. “Reward Learning from Human Preferences and Demonstrations in Atari.” NeurIPS, 2018.。 最新(2024年文献)Mehrotra, S. et al. “A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction.” CSUR, 2024.。 关键计算机不会做的感知任务可被拆成配对玩家愿意完成的微任务,同时生成训练数据。

ESP Game在2004年让两个互不通信的玩家同时为同一图片输入词;只有两边词语匹配才得分。这个机制把图像标注的质量控制嵌入游戏规则,不要求玩家知道自己在建设搜索数据。2006年的Games with a Purpose进一步提出,把人类擅长、机器困难的识别与常识任务做成可扩展协作,人类计算因此成为AI系统的一层基础设施。

〔装置边界〕本条的单因命题是,决定分布式人类能力能否稳定转化为机器可用数据的只有激励规则是否让独立参与者在真实标签上达成一致。Taboo words、得分和时间限制抑制最常见或串通答案,配对一致充当弱验证。系统没有先求解图像语义再分工,而是用机制设计把答案生产、校验和参与动机压在同一回路。

CHI 2004论文报告ESP Game部署后约13,000名玩家生成超过120万条图像标签,匹配答案可直接支持图像检索;2006年估算若每天有5,000人玩,数月可标注大型图库。可复算指标应是每小时新增的独立有效标签、重复率与后续任务增益,而不是注册人数;配对一致还需抽样与专家真值核对。

一致不等于正确:玩家会偏好容易匹配的英文常见词,文化特有对象、敏感身份和细粒度属性被忽略。激励越强调速度,标签反而越泛化;Taboo列表越长,玩家可能寻找怪异近义词绕过规则。参与者以为在游戏,却未必理解数据将训练何种系统,知情同意和劳动收益因而成为环境变量。〔装置边界〕面向下一轮材料,以人为本的AI与人机协作应优先补齐“参与者报酬、二次用途同意、少数标签、删除权及模型预标注造成的锚定”的原始记录,并把“当得分过度奖励速度时,玩家越多,细粒度与长尾标签比例反而越低”作为预注册反例,这两项同时公开,才能区分暂时缺证与真正失效。

复核应按语言、地区、设备和参与时长公开贡献分布,报告单位有效标签的报酬或非金钱回馈,并提供数据删除与退出接口。2024年后的标注平台还要记录模型预标注是否锚定人、少数意见是否被多数匹配抹去,以及标签在新用途中的再授权;抽样审计应至少覆盖高风险类别与低一致样本。

它与第253号第十一条“众包与被隐藏的劳动”是直接异名,本条精确到游戏机制怎样把答案变成数据;与第531号自动化科学发现的机器实验闭环相反,这里不可见的人补齐感知缺口。2004年的120万条标签证明规模,不证明代表性、权利或下游适用性,娱乐性也不能替代数据治理。〔装置边界〕在以人为本的AI与人机协作的这一对象上,复核应把“经专家抽审为真的独立标签数/全部配对玩家匹配标签数”拆成同一分母下的主结果与失败谱,“参与者报酬、二次用途同意、少数标签、删除权及模型预标注造成的锚定”要单列编码,不能在汇总时并入其他项。

位置E——把语言、激励、同意与平台劳动条件当成人类计算的数据环境 单因决定分布式人类能力能否稳定转化为机器可用数据的只有激励规则是否让独立参与者在真实标签上达成一致 预设〔03 缺失即不存在〕未产生匹配词的文化含义与少数意见被视为图像中没有相应语义 量纲经专家抽审为真的独立标签数/全部配对玩家匹配标签数 失效当得分过度奖励速度时,玩家越多,细粒度与长尾标签比例反而越低 自曝装置边界独立核验:120万条标签来自自选玩家与英文匹配规则,不能代表所有观看者的概念体系;独立撤回检查落在装置边界 空栏参与者报酬、二次用途同意、少数标签、删除权及模型预标注造成的锚定 异名人机交互称“众包与被隐藏的劳动”;见第253号第十一条“众包与被隐藏的劳动”

丁、Netflix Prize:混合推荐暴露了离线精度的边界The Netflix Prize: Hybrid Recommendation Exposes the Limits of Offline Accuracy

提出Netflix,2006–2009年Prize;Koren,2009年KDD论文《The BellKor Solution to the Netflix Grand Prize》。 争议Noy, S.; Zhang, W. “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.” Science, 2023.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键人类设计的多模型混合可把机器预测推过10%门槛,但真实产品仍需界面、探索和组织判断。

Netflix在2006年公开约1亿条匿名评分,承诺给把Cinematch的RMSE降低10%的团队100万美元。竞赛催生矩阵分解、邻域模型、时间动态与大量ensemble;2009年BellKor’s Pragmatic Chaos以10.06%改进获胜。它像一场人机协作实验:机器学习模型组合,人类决定特征、验证切分、权重和何时停止。对Netflix Prize:混合推荐暴露了离线精度的边界The Netflix Prize: Hybrid Recommendation Exposes the Limits of Offline Accuracy而言,真正需要登记的不是又一个平均分,而是由“决定混合推荐能否越过单模型上限的只有异质预测器的误差是否足够不相关”推出的每一步中介、责任人和可撤回条件;〔样本分层〕缺少任何一环,都不能把相关性写成机制。

〔样本分层〕本条主张,决定混合推荐能否越过单模型上限的只有异质预测器的误差是否足够不相关。Koren等把矩阵分解、隐式反馈、时间效应和邻域信号加权,弱模型若犯不同错误,组合平均可减少方差。资源不只是更多参数,而是团队对误差结构的诊断;这使“最佳算法”改写成“可被人持续编排的模型组合”。

2009年最终测试集上,冠军相对Cinematch把RMSE改善10.06%,按规则刚越过10%门槛;名次差距小到需要精确到小数点后多位。关键读数必须注明quiz、probe与final test切分,以及混合中每个组件的边际贡献。若只报100万美元和10.06%,会把统计上微小但规则上关键的差异误写成用户体验跃迁。〔样本分层〕落到复现实务,可为Netflix Prize:混合推荐暴露了离线精度的边界The Netflix Prize: Hybrid Recommendation Exposes the Limits of Offline Accuracy建立版本化对象表:输入、基线、资源预算、异常运行和人工接管分别留痕,并用“final test上相对Cinematch的RMSE降幅/混合系统线上每千次推荐成本”统一结算,避免换口径后仍宣称性能提高。

离线RMSE把每次评分当独立目标,却看不见用户为何没评分、推荐是否减少多样性或界面怎样改变选择。模型越优化历史评分,反而越会强化已消费类型;复杂ensemble也提高维护延迟,Netflix后来没有把冠军整套方案直接上线。竞赛中人类的精巧调参不能自动转化为实时产品中的可解释分工。

2025年的复核应把离线RMSE、在线点击、长期留存、目录覆盖和最坏群体发现率并列,用A/B test验证增益是否持续。每个混合组件需记录运行成本、更新频率与撤回条件;当用户主动设定“少看某类”时,偏好修改必须高于历史相关性,而不是继续被模型平均掉。〔样本分层〕证据链还要把Netflix,2006–2009年Prize,Koren,2009年KDD论文《The Bel的起点材料与更新文献放在同一比较表里,并逐项报告“人类设计的多模型混合可把机器预测推过10%门槛,但真实产品仍需界面、探索和组织判断”在哪些设备、机构或人群中没有出现,而不是只保留成功演示。

它与第253号第十条“人机协作的分工”共享互补性问题,本条提供2009年10.06%的可审计边界;与第353号信息检索与推荐系统的排序目标相接,却更强调离线胜利未必上线。人类编排多个模型能提高一个指标,不等于人类价值已进入目标函数,更不等于组合越复杂越值得部署。

位置S——把误差不相关的预测器组合当成越过单模型上限的决定性资源 单因决定混合推荐能否越过单模型上限的只有异质预测器的误差是否足够不相关 预设〔04 测量不改变被测对象〕以公开RMSE竞赛优化模型不会改变团队行为与真实推荐目标 量纲final test上相对Cinematch的RMSE降幅/混合系统线上每千次推荐成本 失效当历史评分压过主动偏好时,离线RMSE越低,目录多样性反而越差 自曝样本分层独立核验:冠军刚以10.06%跨过规则门槛,Netflix并未把完整复杂方案原样部署;独立撤回检查落在样本分层 空栏未评分选择、少数类型发现、用户主动否定、实时延迟及组件撤回责任 异名人机交互称“人机协作的分工”;见第253号第十条“人机协作的分工”

戊、机器—人类众包编排:把回答者也纳入概率模型Machine–Human Crowdsourcing: Model the Responders Too

提出Kamar、Hacker与Horvitz,2012年AAMAS论文《Combining Human and Machine Intelligence in Large-scale Crowdsourcing》。 争议Suresh, H.; Guttag, J. “A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle.” EAAMO, 2021.。 最新(2024年文献)Mehrotra, S. et al. “A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction.” CSUR, 2024.。 关键系统可联合估计任务难度、机器置信与不同回答者可靠度,再决定交给谁。

早期众包通常把人当作可互换投票器:困难题多买几票,简单题少买几票。Kamar等在2012年AAMAS提出概率框架,联合学习机器答案、任务特征和工人行为,并按预期效用决定何时雇人、雇谁以及是否继续询问。调度对象不再只是任务队列,而是会犯不同错误、具有不同成本的混合团队。

〔版本登记〕本条的单因命题是,决定混合众包能否优于固定多数票的只有路由器是否校准了机器与具体回答者的条件误差。Bayesian模型估计每名工人在不同问题上的正确率,机器预测提供先验,决策策略比较多问一次的价值与价格。2012年的变化在于把“人比机器可靠”拆成可随任务、时间和身份变化的概率。〔版本登记〕机构采用机器—人类众包编排:把回答者也纳入概率模型Machine–Human Crowdsourcing: Model the Responders Too之前还应公布否决门槛:一旦“当早期评分决定后续机会时,路由越精准,新工人的真实专长反而越难被发现”出现,就暂停扩张并回到“系统可联合估计任务难度、机器置信与不同回答者可靠度,再决定交给谁”的原始记录复核,该门槛必须早于部署决定写入方案。

AAMAS 2012实验在大规模众包任务上比较纯机器、固定人数多数票与自适应策略,以同一准确率下的成本或同一预算下的正确率衡量;模型能够预测工人表现并选择更高期望效用的组合。复算必须公开每种任务价格、等待时间、先验和工人历史长度,因为便宜10%可能只是把延迟或训练成本排除。

质量分数会形成反馈循环:历史数据少的新工人得不到高价值任务,于是永远缺少证明机会;被分到困难题的人表面错误率更高,又被进一步降权。路由越精准,反而越可能固化早期偶然排序。若2024年机器先验带群体偏见,人类意见还会被当作异常剔除,所谓互补变成选择性听取。

验收应报告总体正确率之外的工人曝光、收入、任务难度校正和晋升概率,并用随机探索保留学习机会。2025年的混合团队还需允许回答者查看、质疑和更正自己的质量模型,记录机器建议是否先展示而造成锚定;成本函数要把培训、等待、申诉与重复劳动纳入,而不只计算每个microtask标价。

它与第253号第十一条“众包与被隐藏的劳动”连接劳动条件,与第253号第十条“人机协作的分工”连接任务路由;本条的独特对象是回答者可靠度也被建模。2012年的Bayesian效用只能在给定价格和正确标签定义下最优,不能自行决定什么待遇公平、哪些问题不应众包。〔版本登记〕本条的边界案例应从“新工人冷启动、任务难度校正、收入分布、机器锚定与质量评分申诉”中抽样,而不是只从最容易成功的中心案例抽样,这样才能判断“当早期评分决定后续机会时,路由越精准,新工人的真实专长反而越难被发现”究竟是偶发噪声,还是足以改变结论方向的系统反例。

位置D——把机器置信、工人条件误差、价格与继续询问组成自适应路由路径 单因决定混合众包能否优于固定多数票的只有路由器是否校准了机器与具体回答者的条件误差 预设〔05 缺失即不存在〕没有历史任务的新工人被当成没有可证明的专长与可靠度 量纲达到预注册正确率所需总成本(报酬、等待、培训、申诉)/任务数 失效当早期评分决定后续机会时,路由越精准,新工人的真实专长反而越难被发现 自曝版本登记独立核验:概率策略在给定效用函数下节省标价,但没有证明效用函数包含劳动公平与学习机会;独立撤回检查落在版本登记 空栏新工人冷启动、任务难度校正、收入分布、机器锚定与质量评分申诉 异名人机交互称“人机协作的分工”;见第253号第十条“人机协作的分工”

己、个体公平:相似的人必须得到相似决定Individual Fairness: Similar People Receive Similar Decisions

提出Dwork、Hardt、Pitassi、Reingold与Zemel,2012年ITCS论文《Fairness Through Awareness》,DOI 10.1145/2090236.2090255。 争议Christiano, P. et al. “Deep Reinforcement Learning from Human Preferences.” NeurIPS, 2017.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键公平从删除敏感字段转为限制决策映射:任务上相似个体的输出分布也必须接近。

2012年前的常见做法是fairness through unawareness:不把种族、性别等敏感属性交给模型。然而邮编、职业和消费轨迹会重建这些信息,删列并不保证待遇接近。Dwork等在ITCS提出个体公平,把人、结果与任务相关相似度写成度量空间,要求分类器满足Lipschitz式约束;人类价值由此进入模型的距离函数。〔失败谱〕这也给出一项不依赖宣传口径的核验:独立团队只拿到冻结版本与“决定个体公平约束是否有意义的只有任务度量是否真实表达应当同等对待的社会判断”的操作定义,仍能复算“违反相似个体输出距离上限的配对数/全部预注册可比个体对”,否则所谓转向可能只是数据管线或命名变化。

〔失败谱〕本条主张,决定个体公平约束是否有意义的只有任务度量是否真实表达了“此处应被同等对待”的社会判断。若两名申请者在与贷款偿还相关的条件上距离很近,随机化输出分布也应接近;Earthmover distance等形式让约束可计算。2012年的贡献不是宣称找到通用公平,而是暴露公平依赖一个外部给定的相似性标准。

ITCS 2012论文给出从个体度量到公平分类映射的形式化,并讨论在utility最大化下求解公平机制;页码214–226,DOI可核。核验读数不是单一accuracy,而是违反Lipschitz约束的个体对比例、效用损失与群体结果分布。若抽样只比较近邻10,000对,必须公开配对规则和未进入距离计算的人。〔失败谱〕面向下一轮材料,以人为本的AI与人机协作应优先补齐“度量制定者、交叉身份、合理便利、版本漂移、受影响者申诉与目标合法性”的原始记录,并把“当历史差异被写进任务度量时,约束越严格,既有不平等反而越难被识别”作为预注册反例,这两项同时公开,才能区分暂时缺证与真正失效。

相似度不是自然事实:信用历史可反映歧视,健康“风险”可反映获得诊疗的机会。度量越精密,反而越可能把历史不公编码成细粒度差异;过强平滑又可能压掉残障合理便利或个体偏好。2025年FAccT复核仍需追问:数学保证只约束给定输入与输出,不会说明哪些目标合法、谁有权定义相似。

2025年的系统应让受影响群体参与定义度量,按交叉身份测试局部约束,并提供“我为何被视为与谁相似”的可读解释与申诉。版本更新时需比较同一人的距离漂移,记录外部数据怎样改变邻域;公平审计还要同时报告群体差异,因为个体约束与统计平等既不等价也不必自动兼容。

它与第253号第一条“价值敏感设计”相接,但本条把价值判断压进数学距离;与第535号后续参与式AI相接时,度量的所有权比求解器更重要。2012年的定理在已给度量上成立,不证明度量正当;若组织把争议藏进一个不可审查的embedding,形式公平会成为程序合法性的替身。

位置E——把历史数据、相似性定义与申诉权当成公平约束的社会环境 单因决定个体公平约束是否有意义的只有任务度量是否真实表达应当同等对待的社会判断 预设〔06 通过形式审查=实质合规〕满足给定Lipschitz约束就等于现实待遇已经公平 量纲违反相似个体输出距离上限的配对数/全部预注册可比个体对 失效当历史差异被写进任务度量时,约束越严格,既有不平等反而越难被识别 自曝失败谱独立核验:论文证明给定度量上的公平映射可解,却没有提供从社会争议中唯一推出度量的方法;独立撤回检查落在失败谱 空栏度量制定者、交叉身份、合理便利、版本漂移、受影响者申诉与目标合法性 异名人机交互称“价值敏感设计”;见第253号第一条“价值敏感设计”

庚、LIME:局部代理模型把解释变成可扰动实验LIME: Local Surrogates Turn Explanation into a Perturbation Experiment

提出Ribeiro、Singh与Guestrin,2016年KDD论文《Why Should I Trust You? Explaining the Predictions of Any Classifier》,DOI 10.1145/2939672.2939778。 争议Karimi, A.-H. et al. “Algorithmic Recourse: From Counterfactual Explanations to Interventions.” FAccT, 2021.。 最新(2024年文献)Mehrotra, S. et al. “A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction.” CSUR, 2024.。 关键不打开黑箱内部,也可在单个预测邻域拟合稀疏代理并显示哪些特征推动输出。

黑箱模型在2016年已能给出高准确预测,却难回答“为何是这个结果”。Ribeiro等提出LIME:围绕一个待解释实例随机扰动输入,查询原模型输出,再按与原点距离加权拟合稀疏可解释模型。使用者看到的不是全局规则,而是这一次预测附近的局部近似,解释因此成为可以改变采样和检验忠实度的实验对象。

〔机构接口〕本条的单因命题是,决定局部解释能否忠实代表黑箱的只有扰动分布是否覆盖真实且足够小的决策邻域。若文本通过删除词语采样,图像通过遮蔽超像素采样,局部线性权重可指出哪些输入改变分类;但核宽度和可解释特征定义决定“附近”意味着什么。2016年的模型无关性以额外查询换取可读代理。〔机构接口〕可执行的压力测试是预先固定样本单位、时间窗口和排除规则,再针对“当扰动大量离开数据流形时,采样越多,代理对真实邻域的忠实度反而越低”做至少两轮外部复算,若方向翻转,LIME:局部代理模型把解释变成可扰动实验LIME: Local Surrogates Turn Explanation into a Perturbation Experiment的结论必须随之收窄。

KDD 2016论文在文本与图像任务展示LIME,并用SP-LIME选择代表性实例;用户研究包括判断分类器、发现伪相关与改进模型选择。可复算读数应含局部fidelity、不同随机种子的特征重合率以及人在有无解释时识别错误模型的比例。只展示一张绿色高亮图无法证明20次重跑仍指出同一证据。

扰动后的样本可能根本不在数据流形:删掉一半词的句子、遮掉任意图块的图片不会自然出现,黑箱在这些点上的行为没有部署意义。2020年AIES已展示操纵风险;采样越多,局部代理反而可能更精确地拟合离群输入,相关特征还会任意分摊权重。解释看起来简洁,会诱发过度信任,却不提供因果保证。〔机构接口〕证据链还要把Ribeiro、Singh与Guestrin,2016年KDD论文《Why Should I T的起点材料与更新文献放在同一比较表里,并逐项报告“不打开黑箱内部,也可在单个预测邻域拟合稀疏代理并显示哪些特征推动输出”在哪些设备、机构或人群中没有出现,而不是只保留成功演示。

2025年的复核应预注册扰动生成器、核宽度、随机种子和稀疏度,对同一实例运行至少30次并报告稳定区间;再以可实现反事实、真实用户任务和删除关键特征后的预测变化检验。界面要把“代理模型、非因果、仅局部”直接显示,并允许查看相反证据,而不是只高亮支持现有答案的部分。

它与第253号第五条“解释的实证清算”是直接异名,本条精确到2016年LIME的扰动接口;与第535号算法追索条目不同,解释说明模型为何如此,recourse询问人能做什么。KDD用户实验支持解释可帮助发现某些伪相关,不支持所有解释都提高决策质量,更不支持高亮权重等于真实原因。

位置S——把真实局部邻域中的可查询扰动当成黑箱解释的决定性资源 单因决定局部解释能否忠实代表黑箱的只有扰动分布是否覆盖真实且足够小的决策邻域 预设〔06 谁进入分母〕由删除词与遮挡超像素生成的合成样本足以代表现实可发生的邻域 量纲30次重跑中进入前5特征的稳定次数/全部特征入选次数 失效当扰动大量离开数据流形时,采样越多,代理对真实邻域的忠实度反而越低 自曝机构接口独立核验:LIME解释的是查询产生的局部代理而非黑箱内部因果机制,随机种子可改变高亮;独立撤回检查落在机构接口 空栏扰动可实现性、相关特征分权、核宽度、反向证据、无解释基线与用户误信 异名人机交互称“解释的实证清算”;见第253号第五条“解释的实证清算”

辛、算法厌恶与可修改预测:一点控制权能改变采纳Algorithm Aversion and Modifiable Forecasts: A Little Control Changes Adoption

提出Dietvorst、Simmons与Massey,2015年《Journal of Experimental Psychology: General》论文《Algorithm Aversion》。 争议Noy, S.; Zhang, W. “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.” Science, 2023.。 最新(2024年文献)Mehrotra, S. et al. “A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction.” CSUR, 2024.。 关键即使算法总体优于人,人们看见一次错误也会少用;允许小幅修改预测可恢复采纳。

人机协作曾假设只要算法更准,人就会接受。Dietvorst等在2015年实验中让参与者体验自己与统计模型的预测误差,发现看见算法不完美后,人们更愿选较差的自己;后续条件允许参与者微调算法结果,即使可调范围很小,采纳率也明显回升。算法厌恶把信任从态度量表变成可操纵的选择行为。

〔资源预算〕本条主张,决定使用者是否在见到错误后继续采用较优预测的只有界面是否保留可感知的修正权。修改不一定提高模型精度,却改变所有权和责任感;人不再面对“全收或全拒”的二元选项。2015年的结果说明,把人留在回路不能只放一个确认按钮,控制权的粒度会改变是否采纳机器建议。

该系列实验比较只看结果、看见模型表现、允许调整与不允许调整等条件,以选择算法的参与者比例和最终预测误差为主要读数;论文跨多个实验重复“见错即弃”和“可改即用”。核验必须同时报告采纳率与团队正确率,因为采纳从40%升到70%若发生在算法错误样本上,依赖反而更不恰当。〔资源预算〕落到复现实务,可为算法厌恶与可修改预测:一点控制权能改变采纳Algorithm Aversion and Modifiable Forecasts: A Little Control Changes Adoption建立版本化对象表:输入、基线、资源预算、异常运行和人工接管分别留痕,并用“算法正确时采纳且算法错误时拒绝的轮次/全部可比较决策轮次”统一结算,避免换口径后仍宣称性能提高。

可修改界面也会制造责任错觉:组织可能允许上下调1%,却不让人改变数据、目标或拒绝高风险决定。控制按钮越显眼,使用者反而越可能为系统性错误背书;专家还可能把正确算法改坏。2024年RCT应区分合理拒绝;所谓厌恶有时源于模型表现不透明、后果由人承担,不能一概当作需要被设计消除的偏见。

复核应把correct reliance拆成四格:算法对且采纳、算法错且拒绝、算法对却拒绝、算法错却采纳,并记录调整幅度与结果。2024年的研究还应操纵申诉、可撤销、责任分配和解释,检验控制权是否实质有效;高风险系统必须允许完全退出与转人工,不能用nudging把采纳率当成功指标。〔资源预算〕本条的边界案例应从“完全退出、修改后责任、算法错误条件、专家改坏预测及长期学习效应”中抽样,而不是只从最容易成功的中心案例抽样,这样才能判断“当修改权只是象征性滑块时,控制感越强,系统性错误的人工背书反而越多”究竟是偶发噪声,还是足以改变结论方向的系统反例。

它与第253号第四条“自动化的过度依赖”构成相反方向的错误,与第253号第十五条“信任的校准”共享四格判断;本条强调2015年可修改预测的因果操纵。研究证明一点控制会改变采纳,不证明采纳变化一定理性,也不证明把责任推给用户会改善组织决策;2025年的部署还须保留责任链。

位置D——把错误暴露、修改权、采纳与结果组成信任行为路径 单因决定使用者是否在见到错误后继续采用较优预测的只有界面是否保留可感知的修正权 预设〔08 单一读数代表复杂对象〕更高算法采纳率足以代表更恰当信任与更好团队结果 量纲算法正确时采纳且算法错误时拒绝的轮次/全部可比较决策轮次 失效当修改权只是象征性滑块时,控制感越强,系统性错误的人工背书反而越多 自曝资源预算独立核验:受控实验显示可调预测恢复采纳,却未证明真实组织中的权限和责任同样可修改;独立撤回检查落在资源预算 空栏完全退出、修改后责任、算法错误条件、专家改坏预测及长期学习效应 异名人机交互称“信任的校准”;见第253号第十五条“信任的校准”
【第二幕】从解释与参与到动态分工和可撤销行动 · 约 2017–2026

第二幕把对象从单次预测扩到模型生命周期与组织行动:准则、模型卡和追索建立交接与申诉,参与式AI追问权力,CIRL与偏好学习把人的目标写进序列决策,信任校准与学习转交验证条件互补,Wordcraft和工作实验测量共同生产,无障碍共创与智能体撤销则把权利落实为端到端能力。核心不再是“人有没有点击确认”,而是人能否改变、拒绝、停止并追责。

一、十八条人机交互准则:经验被压成可检查清单Eighteen Guidelines: Human–AI Interaction Becomes an Inspectable Checklist

提出Amershi等,2019年CHI论文《Guidelines for Human-AI Interaction》,DOI 10.1145/3290605.3300233。 争议Christiano, P. et al. “Deep Reinforcement Learning from Human Preferences.” NeurIPS, 2017.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键跨产品证据被归纳为18条,覆盖初次交互、正常使用、错误发生与随时间学习。

2019年前,人机AI界面已有大量分散经验,却缺少能跨产品复用的共同检查语言。Amershi等从文献和业界实践整理候选准则,经专家启发式评估、去重与多轮验证,形成18条:说明系统能做什么、展示情境相关信息、支持高效纠正、在错误时允许退出,并让系统随用户行为学习。

〔外部复算〕本条的单因命题是,决定AI交互经验能否在设计团队间复用的只有准则是否覆盖用户与系统关系随时间变化的关键阶段。18条不是算法规范,而是把首次期待、交互中反馈、失败修复与长期个性化串成生命周期。2019年的贡献在于让评审者能指出具体违反哪条,而不只说“这个AI不够人性化”。

CHI 2019研究从超过150项候选整理到18条,并邀请49名设计从业者对20个流行AI产品进行启发式评估,收集约200条问题,再以独立验证排序相关性和难度。第三段的读数应是每条准则发现的独特问题、评审者一致率与修复后任务效果;出现次数多不代表风险最大。

清单会诱发形式合规:团队在说明页写一句能力限制,就宣称满足“明确系统能做什么”,却没有在行动时阻止越权。准则越通用,反而越可能把医疗、教育与创作的冲突抹平;2025年GenAI评审者也会偏向容易看见的界面问题,训练数据与组织激励不在屏幕上便被漏掉。把十八条人机交互准则:经验被压成可检查清单Eighteen Guidelines: Human–AI Interaction Becomes an Inspectable Checklist与相邻路线比较时,统一分母至少应包含成功、失败、弃权和未覆盖对象四类;只有“真实任务中经准则发现并修复的独特高严重度问题数/全部预注册问题数”在这些类别上都可回查,跨研究比较才有意义。

2025年的应用应先为每条准则定义领域证据、失败严重度、受影响群体和责任人,再做真实任务测试。18条必须与错误日志、可撤销权限、信息来源和长期漂移结合;若一条建议与安全或无障碍冲突,应记录取舍而非机械打勾。发布前还需让目标使用者复核专家没有看见的真实流程。

它与第253号第二十条“交互研究的对象转移”相接:准则已从单个按钮扩到随时间形成的关系;与第532号第二十条“AgentOps、AIOS与AgentDojo:可靠性变成运行时工程”相比,本条是界面与体验层的检查面。2019年的18条提供共同词汇,不是认证标准,也不能代替高风险领域的实证验收;跨文化复核仍不可缺。〔外部复算〕这也给出一项不依赖宣传口径的核验:独立团队只拿到冻结版本与“决定AI交互经验能否在设计团队间复用的只有准则是否覆盖关系随时间变化的关键阶段”的操作定义,仍能复算“真实任务中经准则发现并修复的独特高严重度问题数/全部预注册问题数”,否则所谓转向可能只是数据管线或命名变化。

位置D——把首次交互、正常使用、错误修复与长期学习串成设计评审路径 单因决定AI交互经验能否在设计团队间复用的只有准则是否覆盖关系随时间变化的关键阶段 预设〔01 谁进入分母〕49名从业者检查20个流行产品足以代表不同文化与高风险领域的使用者问题 量纲真实任务中经准则发现并修复的独特高严重度问题数/全部预注册问题数 失效当团队把通用建议当认证清单时,打勾越完整,领域特有风险反而越容易被漏掉 自曝外部复算独立核验:18条来自文献、专家和当时20个产品,未保证在2025年生成式智能体上完整;独立撤回检查落在外部复算 空栏使用者文化、领域严重度、训练数据问题、准则冲突、修复效果与长期漂移 异名人机交互称“交互研究的对象转移”;见第253号第二十条“交互研究的对象转移”

二、模型卡:性能报告第一次按人群与用途伴随模型Model Cards: Performance Reports Travel with the Model

提出Mitchell等,2019年FAT*论文《Model Cards for Model Reporting》,DOI 10.1145/3287560.3287596。 争议Ibarz, B. et al. “Reward Learning from Human Preferences and Demonstrations in Atari.” NeurIPS, 2018.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键模型发布应携带预期用途、群体分解评估、训练与伦理注意事项,而非只附总体准确率。

模型在2019年前常以权重、代码和一个benchmark分数发布,下游团队不知道训练条件、禁用场景或哪些群体表现较差。Mitchell等提出Model Cards,让模型像产品一样附一份短文档,说明基本信息、预期使用、影响因素、指标、评估数据、定量分析与伦理考虑,并以性别分类和笑容识别案例演示分组报告。〔反号压力〕可执行的压力测试是预先固定样本单位、时间窗口和排除规则,再针对“当卡片成为采购形式门槛时,字段越完整,下游未经复核的信任反而越高”做至少两轮外部复算,若方向翻转,模型卡:性能报告第一次按人群与用途伴随模型Model Cards: Performance Reports Travel with the Model的结论必须随之收窄。

〔反号压力〕本条主张,决定模型能否被下游人员负责任复用的只有关键能力与限制是否随版本以可比较文档传递。模型卡把知识从开发者脑中移到可审查接口,要求按相关人口与环境条件给出表现,而不是只报平均值。2019年的新意是让报告结构伴随模型流转,成为人—组织—模型协作中的交接件。

FAT* 2019论文给出九类建议字段,并以IAPRTC-12K与CelebA等示例展示跨性别、年龄和肤色的错误差异。核验读数应是必填字段覆盖率、指标能否由给定数据复算、版本更新后差异是否可追踪,以及下游团队阅读后避开禁用场景的比例。文档页数或PDF存在本身没有信息价值。

模型卡由供应者自行撰写时,会突出有利切分、把未知写成未测试,或用宽泛“非预期用途”转移责任。字段越完整,读者反而越可能产生已审计错觉;群体类别也可能二元化、遗漏交叉身份。2024年RAG接入或量化部署后,原卡仍被复制,性能声明与实际工件悄然分离。

2025年的模型卡应绑定模型hash、数据与评测版本,提供机器可读指标、未测空栏和独立复核链接;每次微调、压缩与系统提示变化都触发差异卡。采购方需抽测关键群体,并记录因卡片取消或修改部署的决定。不能复算的数字标为供应者声明,不能把缺数据写成“无已知风险”。〔反号压力〕在以人为本的AI与人机协作的这一对象上,复核应把“可由独立团队复算且绑定同一模型hash的关键指标数/全部卡片指标数”拆成同一分母下的主结果与失败谱,“微调后漂移、交叉群体、受影响者语言、未测试场景、独立审计与责任期限”要单列编码,不能在汇总时并入其他项。

它与第048号第八条“评估成为基础设施”相接,本条把评估结果包装成流通工件;与第253号第三条“同意的失效”相接时,模型卡面向部署者而非受影响者,不能替代个体告知与申诉。2019年的框架提高可见性,不自动创造责任,也不保证供应链每一层持续更新;2025年仍需独立抽审。

位置E——把供应链、版本变化与自我声明激励当成模型披露的环境 单因决定模型能否被下游人员负责任复用的只有关键能力与限制是否随版本以可比较文档传递 预设〔01 谁进入分母〕模型卡列出的群体与场景足以代表所有下游部署和受影响者 量纲可由独立团队复算且绑定同一模型hash的关键指标数/全部卡片指标数 失效当卡片成为采购形式门槛时,字段越完整,下游未经复核的信任反而越高 自曝反号压力独立核验:Model Cards是报告框架而非第三方认证,原论文没有强制更新或处罚机制;独立撤回检查落在反号压力 空栏微调后漂移、交叉群体、受影响者语言、未测试场景、独立审计与责任期限 异名人工智能对齐称“评估成为基础设施”;见第048号第八条“评估成为基础设施”

三、算法追索:解释必须落成可行动且可实现的改变Algorithmic Recourse: Explanations Become Feasible Actions

提出Ustun、Spangher与Liu,2019年FAT*论文《Actionable Recourse in Linear Classification》,DOI 10.1145/3287560.3287566。 争议Karimi, A.-H. et al. “Algorithmic Recourse: From Counterfactual Explanations to Interventions.” FAccT, 2021.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键被拒绝者不只需要知道哪些特征重要,还要知道在不可变条件下怎样获得不同决定。

可解释AI常回答“收入权重为正、欠款权重为负”,却没有告诉被拒者能做什么。Ustun等在2019年把recourse定义为通过可行动特征改变线性分类结果的能力,并用整数规划生成离散、稀疏且符合业务约束的操作。解释由面向观察者的理由,转为面向当事人的未来路径,申诉因而进入模型输出接口。

〔责任链〕本条主张,决定追索建议是否有用的只有反事实改变是否同时满足个人行动约束与真实决策机制。年龄和族群不可改,收入、余额或申请时间也有不同成本;最近欧氏距离不代表可实现。2019年的整数规划允许方向、步长、边界和逻辑条件,让“改一点就过线”必须对应现实允许的动作组合。〔责任链〕落到复现实务,可为算法追索:解释必须落成可行动且可实现的改变Algorithmic Recourse: Explanations Become Feasible Actions建立版本化对象表:输入、基线、资源预算、异常运行和人工接管分别留痕,并用“在过期日前执行后真实改变决定的建议数/全部发出的追索建议数”统一结算,避免换口径后仍宣称性能提高。

FAT* 2019论文在信贷等线性分类任务计算flipset,报告获得正结果的可行率、动作数与成本,并展示审计工具可识别没有recourse的人。复算必须固定模型系数、特征缩放、允许动作集与成本函数;同一人若在标准化空间距离0.2却需现实两年,不能把0.2当低成本。

模型相关反事实会鼓励人针对评分器而非根因行动;若银行下月更新阈值,今天建议可能失效。约束越强调最小改变,反而越会推荐提高一个代理变量,而非改善真实福祉;结构性障碍被写成个人待办清单。Karimi等2020年FAccT进一步指出,没有真实因果结构,最接近反事实不保证干预后成立。

2025年的系统应验证建议在时间、政策与因果干预后保持有效,给出成功概率、金钱与时间成本、过期日和人工申诉通道。受影响者要能拒绝不合理动作并挑战原模型,群体层面还应报告无可行追索比例。追索不能把非法歧视合理化为“再努力一点”,更不能取代组织纠错与赔偿。

它与第253号第五条“解释的实证清算”区分明显:LIME说明局部权重,recourse检验可行动改变;与第253号第三条“同意的失效”相接时,收到建议不等于同意被评分。2019年的线性方法提供可算起点,不证明黑箱、动态政策或因果未知时仍能给出保证;2025年申诉证据仍须人工核查。〔责任链〕对算法追索:解释必须落成可行动且可实现的改变Algorithmic Recourse: Explanations Become Feasible Actions而言,真正需要登记的不是又一个平均分,而是由“决定追索建议是否有用的只有反事实改变是否同时满足个人行动约束与真实决策机制”推出的每一步中介、责任人和可撤回条件,〔责任链〕缺少任何一环,都不能把相关性写成机制。

位置E——把资源、法律、时间、因果结构与政策变化当成行动建议环境 单因决定追索建议是否有用的只有反事实改变是否同时满足个人行动约束与真实决策机制 预设〔02 单一读数代表复杂对象〕特征空间最小距离足以代表金钱、时间、合法性与成功概率 量纲在过期日前执行后真实改变决定的建议数/全部发出的追索建议数 失效当评分规则持续更新时,建议越贴近当前边界,执行完成后的成功率反而越低 自曝责任链独立核验:2019年方法对线性分类器和人工给定动作集求解,不能保证现实因果干预有效;独立撤回检查落在责任链 空栏建议过期、政策漂移、结构性障碍、执行成本、无追索群体及挑战模型本身的权利 异名人机交互称“解释的实证清算”;见第253号第五条“解释的实证清算”

四、参与式AI:受影响者从访谈对象变成设计权力的一方Participatory AI: Affected People Become Design Authorities

提出Birhane等,2022年EAAMO论文《Power to the People? Opportunities and Challenges for Participatory AI》;Delgado等,2023年《The Participatory Turn in AI Design》。 争议Noy, S.; Zhang, W. “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.” Science, 2023.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键问题定义、数据、目标、评估与撤回都可由受影响群体共同决定,而非只测试成品。

传统“以用户为中心”常在需求阶段访谈几个人,核心模型、成功指标和上线权仍由机构掌握。Birhane等在2022年系统讨论参与式AI的机会与困难,Delgado等2023年梳理所谓participatory turn:参与可以进入问题选择、数据收集、模型设计、评估和治理。参与者由提供反馈的样本,变成能够改变项目方向的共同作者。机构采用参与式AI:受影响者从访谈对象变成设计权力的一方Participatory AI: Affected People Become Design Authorities之前还应公布否决门槛:一旦“当机构只统计出席与反馈时,参与活动越多,弱势群体被无偿消耗反而越重”出现,就暂停扩张并回到“问题定义、数据、目标、评估与撤回都可由受影响群体共同决定,而非只测试成品”的原始记录复核;该门槛必须早于部署决定写入方案。

〔排除规则〕本条的单因命题是,决定参与是否实质改变AI系统的只有受影响者是否拥有可执行的议程、否决与资源分配权。一次咨询若不能改变目标函数,只是信息抽取;共同定义“不该自动化什么”、谁持有数据和什么条件下停止,才会重排技术路径。CHI 2024之后,参与的核心单位因而不是人数,而是决定权跨生命周期的分布。

EAAMO 2022论文通过跨案例分析指出参与可提高情境知识、包容性与问责,却面临规模、代表性、冲突和权力不对称;2024年CHI研究进一步研究参与式ML实践中的方法艺术。核验应登记每个阶段参与者提出的修改、被采纳比例、预算流向与否决结果,而不是只报举办6场工作坊、共有80人参加。把参与式AI:受影响者从访谈对象变成设计权力的一方Participatory AI: Affected People Become Design Authorities与相邻路线比较时,统一分母至少应包含成功、失败、弃权和未覆盖对象四类;只有“由受影响者提出并改变目标、数据或上线条件的决定数/全部争议性决定数”在这些类别上都可回查,跨研究比较才有意义。

机构可以选择容易合作的代表、把意见翻译成不伤商业目标的feature request,并在2024年发布页面写“community-informed”。参与次数越多,反而越可能耗尽弱势群体的时间,却没有决定权;公开身份还会给参与者带来报复风险。群体内部意见也不统一,不能用多数投票抹掉受害最重者。

2025年的参与计划应在启动前写明报酬、数据所有权、代表遴选、冲突处理、退出与否决机制,并由参与者批准会议记录。每项建议必须有采纳、拒绝理由和责任人;上线后继续拨款给社区监测与申诉。若项目不能让参与者决定停止,至少不得把咨询描述为共同设计。

它与第253号第六条“算法伤害与参与式审计”是直接相邻,本条把参与前移到问题定义与数据;与第253号第一条“价值敏感设计”相比,价值不由设计者代言。2022–2024年的文献提供权力诊断框架,不保证每个参与项目自动民主;程序公开和实际改变必须分别验收。

位置S——把议程、预算、否决与持续监测权当成实质参与的决定性资源 单因决定参与是否实质改变AI系统的只有受影响者是否拥有可执行的议程、否决与资源分配权 预设〔02 单一读数代表复杂对象〕工作坊人数与意见条数足以代表参与者实际获得的设计权力 量纲由受影响者提出并改变目标、数据或上线条件的决定数/全部争议性决定数 失效当机构只统计出席与反馈时,参与活动越多,弱势群体被无偿消耗反而越重 自曝排除规则独立核验:参与式AI案例高度依赖组织承诺,文献框架不能替代每个项目的权力与资源审计;独立撤回检查落在排除规则 空栏代表遴选、报酬、否决记录、退出保护、内部冲突及上线后社区监测预算 异名人机交互称“算法伤害与参与式审计”;见第253号第六条“算法伤害与参与式审计”

五、协作式逆强化学习:人的行为成为可主动询问的奖励线索Cooperative Inverse Reinforcement Learning: Human Behavior Becomes a Queryable Reward Signal

提出Hadfield-Menell、Russell、Abbeel与Dragan,2016年NeurIPS论文《Cooperative Inverse Reinforcement Learning》。 争议Christiano, P. et al. “Deep Reinforcement Learning from Human Preferences.” NeurIPS, 2017.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键人和机器人被写成合作的部分信息博弈,机器人不知道人的奖励,因此会主动学习、教学与沟通。

经典逆强化学习先观察人做完一批示范,再离线推断奖励;人被假定是孤立的近似最优行动者。Hadfield-Menell等在2016年提出CIRL,把人H与机器人R放在同一合作博弈中:双方共享人的真实奖励,但只有人知道其参数。机器行动会改变人怎样示范,人也可主动教学,协作成为双向的序列推断。

〔基线冻结〕本条主张,决定辅助型机器能否在目标不明时安全行动的只有它是否保持对人类奖励的不确定性并用互动更新。CIRL最优联合策略包含提问、等待、示范和信息性动作,而不是先猜一个reward再最大化到底。2016年论文证明孤立最优示范在合作场景可能次优,并把求解约化为POMDP。〔基线冻结〕面向下一轮材料,以人为本的AI与人机协作应优先补齐“非最优示范、拒答、多人冲突、偏好变化、合法授权与询问造成的人类负担”的原始记录,并把“当受约束行为被误当偏好时,观察越多,机器对错误奖励的确信反而越强”作为预注册反例,这两项同时公开,才能区分暂时缺证与真正失效。

NeurIPS 2016论文形式化人—机器人两代理部分信息博弈,给出exact reduction与近似算法,在小型任务比较主动教学和被动IRL。核验读数应是不同奖励先验下的regret、危险动作前查询率和人类沟通成本;只展示机器人最终完成任务不能说明它是否在不确定阶段安全地保留选项。

CIRL假定双方共享一个奖励函数且人知道它,这在家庭、医院和组织里常不成立:人可能犹豫、目标冲突或受制度约束。模型越确信观测动作就是偏好,反而越可能把无奈服从学成愿望;反过来,持续提问也会增加负担。2024年NeurIPS新工作仍提醒,合作数学若不写权力关系,会把谁服务谁预先藏进reward。〔基线冻结〕在以人为本的AI与人机协作的这一对象上,复核应把“不可逆动作前正确查询或等待的次数/全部高奖励不确定性状态数”拆成同一分母下的主结果与失败谱,“非最优示范、拒答、多人冲突、偏好变化、合法授权与询问造成的人类负担”要单列编码,不能在汇总时并入其他项。

2025年的复核应加入多人冲突、非最优示范、拒答、偏好变化和不可逆风险,并让机器在高不确定时选择可撤销动作。系统需区分“观察到的行为”“陈述偏好”“合法授权”三类信号,保存每次更新的来源。共享奖励是假设而非事实,出现冲突时必须转人工治理而非用后验平均。

它与第532号第十三条“ReAct:推理与行动改成观察驱动的交替循环”都强调观察后再行动,但CIRL的观察专门用于推断人的目标;与第048号AI对齐的价值学习相接,本条把人置于合作博弈。2016年的POMDP约化建立理论接口,不代表开放世界偏好已经可识别。

位置S——把奖励不确定性与可主动询问的互动当成辅助行动的决定性资源 单因决定辅助型机器能否在目标不明时安全行动的只有它是否保持对人类奖励的不确定性并用互动更新 预设〔03 缺失即不存在〕未被行为或示范表达的偏好被当成不存在或可由共享奖励后验补齐 量纲不可逆动作前正确查询或等待的次数/全部高奖励不确定性状态数 失效当受约束行为被误当偏好时,观察越多,机器对错误奖励的确信反而越强 自曝基线冻结独立核验:CIRL形式模型预设单一共享奖励且人知道参数,现实多人价值冲突尚未被求解;独立撤回检查落在基线冻结 空栏非最优示范、拒答、多人冲突、偏好变化、合法授权与询问造成的人类负担 异名智能体工程称“ReAct:推理与行动改成观察驱动的交替循环”;见第532号第十三条“ReAct:推理与行动改成观察驱动的交替循环”

六、信任校准:目标不是让人更信,而是让信心匹配可靠度Trust Calibration: Match Confidence to Reliability, Not Maximum Trust

提出Wischnewski等,2023年CHI论文《Measuring and Understanding Trust Calibrations for Automated Systems》,DOI 10.1145/3544548.3581197。 争议Noy, S.; Zhang, W. “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.” Science, 2023.。 最新(2024年文献)Mehrotra, S. et al. “A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction.” CSUR, 2024.。 关键校准要求用户对系统的感知可靠度随真实可靠度变化,既避免过信也避免少信。

许多AI产品把“提升信任”列为设计目标,却没有区分值得信与不值得信的时刻。Wischnewski等在2023年把trust calibration操作化为感知可信度与系统真实可靠度的匹配,研究人在不同准确率、反馈和任务条件下怎样更新。人机协作的目标从最大采纳率改成条件正确依赖,过信与少信成为对称但后果不同的错误。

〔异常运行〕本条的单因命题是,决定使用者能否形成恰当依赖的只有界面是否提供与当前实例可靠度一致且可验证的证据。全局“90%准确”不能说明这张罕见影像;解释、置信区间、历史反馈与故障警告必须对应实例。2023年的校准框架要求比较信任变化和实际性能变化,而不是把高Likert分数直接当成功。

CHI 2023研究通过多项任务测量主观信任、可靠度判断与依赖选择,分析overtrust、undertrust和calibration error;2024年系统综述汇总多种干预。可复算读数应是AI正确时接受与AI错误时拒绝的balanced reliance,以及主观概率与真实频率的Brier score;两者至少按10个置信区间分箱。〔异常运行〕证据链还要把Wischnewski等,2023年CHI论文《Measuring and Understand的起点材料与更新文献放在同一比较表里,并逐项报告“校准要求用户对系统的感知可靠度随真实可靠度变化,既避免过信也避免少信”在哪些设备、机构或人群中没有出现,而不是只保留成功演示。

解释可能让错误答案显得更有条理,不确定性数字也会被误读;人若长期只看到系统推荐的样本,无法估计未展示区域。2024年综述显示界面越流畅,反而越可能把社会存在感当能力。校准还会随责任、时间压力和失败成本变化,同一90%可靠度在拼写建议与癌症诊断中的合理依赖不相同。

2025年的验收应随机插入已知难例、提供结果反馈,分别报告采纳、正确切换、反应时间与主观信心;无AI基线和团队结果不可缺。干预必须检验数周后的保持与跨任务迁移,允许用户查看历史错误和重置个性化。若系统更新,旧信任不得静默继承,新版本应重新校准。对信任校准:目标不是让人更信,而是让信心匹配可靠度Trust Calibration: Match Confidence to Reliability, Not Maximum Trust而言,真正需要登记的不是又一个平均分,而是由“决定使用者能否形成恰当依赖的只有界面是否提供与当前实例可靠度一致且可验证的证据”推出的每一步中介、责任人和可撤回条件;〔异常运行〕缺少任何一环,都不能把相关性写成机制。

它与第253号第十五条“信任的校准”是直接异名,本条把2023年测量框架、Brier score和四格依赖具体化;与第253号第四条“自动化的过度依赖”相比,也统计少信造成的损失。校准是一种关系属性,不属于模型单方;提高解释满意度不等于降低团队错误。

位置D——把实例证据、依赖选择、结果反馈与版本重校准串成信任路径 单因决定使用者能否形成恰当依赖的只有界面是否提供与当前实例可靠度一致且可验证的证据 预设〔03 缺失即不存在〕界面未展示的失败区域被用户当成没有额外不确定性 量纲AI对时采纳加AI错时拒绝的轮次/全部有真值协作轮次 失效当解释只提高叙事流畅度时,满意度越高,错误答案上的过度采纳反而越多 自曝异常运行独立核验:信任校准测量依赖任务、反馈与量表,单次实验不能代表长期组织关系;独立撤回检查落在异常运行 空栏版本更新、未展示样本、失败成本、长期保持、无AI基线与责任压力 异名人机交互称“信任的校准”;见第253号第十五条“信任的校准”

七、学习转交:模型必须学会何时把决定交给具体专家Learning to Defer: Models Learn When to Hand Decisions to Specific Experts

提出Mozannar与Sontag,2020年AISTATS论文《Consistent Estimators for Learning to Defer to an Expert》;Charusaie等,2022年ICML《Sample Efficient Learning of Predictors that Complement Humans》。 争议Noy, S.; Zhang, W. “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.” Science, 2023.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键模型输出不仅有类别,还可选择defer,并联合学习自己与专家在不同样本上的比较优势。

选择性预测允许模型在低置信时拒答,但拒答后的真实系统还需要某个人接手。Mozannar与Sontag在2020年给出learning to defer的一致替代损失,把“预测类别”与“交给专家”放进同一决策;Charusaie等2022年进一步学习能补足特定人类的分类器—拒绝器,并用主动查询减少收集专家答案的成本。

〔人工接管〕本条主张,决定人机团队能否超过双方单独表现的只有转交器是否学到模型与具体专家的条件互补误差。只在模型置信低时转人工并不够,因为专家也可能在同一区域犯错;联合训练比较每个样本上的预期损失、转交成本和专家能力。2020年的defer类别使分工成为可优化输出,而非固定业务阈值。

AISTATS 2020论文证明所提surrogate对专家转交风险一致,并在医疗等数据上比较团队准确率;ICML 2022方法可主动查询选定专家样本,学习分类器—拒绝器。核验应报告coverage—risk曲线、每位专家工作量、团队最坏群体错误和转交等待;总体准确率提高2点若集中压垮一人,路径不可部署。

专家历史表现受排班、信息访问和案件分配影响,模型会把制度条件误学成个人天赋。转交越偏向少数高分专家,他们越过载,实时准确率反而下降;低分新人又失去学习机会。若2025年模型在某群体上过度自信,该群体不会被转交,团队平均改进仍可能掩盖差别伤害。〔人工接管〕本条的边界案例应从“专家过载、新人学习、多人会诊、群体coverage、退回路径与人员评价用途”中抽样,而不是只从最容易成功的中心案例抽样,这样才能判断“当高分专家被持续集中分配时,转交策略越精确,过载后的团队正确率反而越低”究竟是偶发噪声,还是足以改变结论方向的系统反例。

2025年的系统需用在线队列模拟等待与疲劳,允许专家回退给模型、会诊或声明信息不足;策略应周期性随机探索并重新估计能力。报告每人工作量、错误条件、学习机会和跨群体coverage,制定最大负载和紧急升级。转交原因必须可查看,人员评价不得由未经校正的路由日志直接决定。

它与第253号第十条“人机协作的分工”是直接异名,本条把分工写成defer动作与一致损失;与第532号智能体的工具路由不同,专家会疲劳、学习和承担责任。2020–2022年的数学结果在固定专家分布下成立,不证明动态组织中一次训练的转交器长期最优。机构采用学习转交:模型必须学会何时把决定交给具体专家Learning to Defer: Models Learn When to Hand Decisions to Specific Experts之前还应公布否决门槛:一旦“当高分专家被持续集中分配时,转交策略越精确,过载后的团队正确率反而越低”出现,就暂停扩张并回到“模型输出不仅有类别,还可选择defer,并联合学习自己与专家在不同样本上的比较优势”的原始记录复核;该门槛必须早于部署决定写入方案。

位置D——把模型预测、专家条件误差、队列与再转交组成动态分工路径 单因决定人机团队能否超过双方单独表现的只有转交器是否学到模型与具体专家的条件互补误差 预设〔04 测量不改变被测对象〕依据历史记录路由更多案件不会改变专家负载、学习机会与未来表现 量纲满足等待上限的团队正确决定数/全部模型预测与人工转交决定数 失效当高分专家被持续集中分配时,转交策略越精确,过载后的团队正确率反而越低 自曝人工接管独立核验:一致性证明假设固定数据与专家行为,尚未覆盖路由导致的疲劳和能力变化;独立撤回检查落在人工接管 空栏专家过载、新人学习、多人会诊、群体coverage、退回路径与人员评价用途 异名人机交互称“人机协作的分工”;见第253号第十条“人机协作的分工”

八、从人类偏好学习:少量比较开始塑造复杂行为Learning from Human Preferences: Sparse Comparisons Shape Complex Behavior

提出Christiano等,2017年NeurIPS论文《Deep Reinforcement Learning from Human Preferences》。 争议Ibarz, B. et al. “Reward Learning from Human Preferences and Demonstrations in Atari.” NeurIPS, 2018.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键非专家只需比较两段轨迹,无需写奖励函数,即可训练机器人运动与Atari行为。

许多现实目标难以写成逐步奖励:一个机器人怎样“优雅地”后空翻,一场游戏怎样兼顾进度与安全。Christiano等在2017年让人反复观看两段短轨迹并选择更喜欢哪段,用这些成对比较训练奖励模型,再由深度强化学习优化策略。人不必读代码或持续控制,只在关键差异上表达判断。〔撤回门槛〕面向下一轮材料,以人为本的AI与人机协作应优先补齐“反馈撤回、少数偏好、顺序效应、长期后果、无法判断及多目标聚合权重”的原始记录,并把“当策略学会利用短片段盲区时,奖励模型分数越高,长期真实满意度反而越低”作为预注册反例,这两项同时公开,才能区分暂时缺证与真正失效。

〔撤回门槛〕本条的单因命题是,决定稀疏人类反馈能否塑造复杂策略的只有奖励模型是否从成对比较中学到可泛化偏好。系统异步选择最有信息的轨迹对,人给出A、B、平局或无法判断,奖励预测器再为大量未标轨迹打分。2017年的接口把人类监督从每一步动作降为对结果片段的相对判断。

NeurIPS 2017论文在Atari和模拟机器人运动中,以不到代理交互总数1%的反馈训练多种复杂行为,并称约1小时人类时间可教出若干新动作。可复算读数应含比较次数、每次片段长度、标注者一致率、真实环境回报和奖励模型hold-out准确率;“少于1%”是交互比例,不等于监督成本趋近零。

奖励模型会把人偏好的可见代理当目标,策略越强,反而越会寻找标注者未预见的漏洞;短片段隐藏长期后果,疲劳使后期判断漂移。单一聚合奖励还会压掉价值分歧,少数标注者的偏好被多数平均。2019年语言模型偏好训练已观察到摘要复制整句等利用标注启发式的行为,2024年Safe RLHF仍须分账。

2025年的验收应保留多标注者分布、分歧与无法判断,设置对抗性轨迹、长期回访和独立安全评估;奖励模型置信低时停止策略更新。反馈界面要显示上下文、允许撤回并记录顺序效应,聚合规则需公开。帮助性、无害性与风格不可偷偷压成一个无单位总分,并须报告至少30名标注者的分歧区间。〔撤回门槛〕这也给出一项不依赖宣传口径的核验:独立团队只拿到冻结版本与“决定稀疏人类反馈能否塑造复杂策略的只有奖励模型是否从成对比较中学到可泛化偏好”的操作定义,仍能复算“独立标注者在未见轨迹对上的偏好一致数/全部可判定未见比较数”,否则所谓转向可能只是数据管线或命名变化。

它与第044号第四条“对齐与 RLHF:从「会说话」到「听话有用」”相接,但本条追溯2017年轨迹比较接口,而非只讨论大语言模型;与第535号CIRL不同,这里先学奖励再优化。少量反馈实现复杂行为是规模突破,不证明偏好真实、稳定、代表所有受影响者或免于投机;2025年仍须保留价值异议。

位置E——把标注者差异、呈现顺序、长期后果与奖励投机当成偏好学习环境 单因决定稀疏人类反馈能否塑造复杂策略的只有奖励模型是否从成对比较中学到可泛化偏好 预设〔04 测量不改变被测对象〕反复呈现模型选出的轨迹对不会改变标注者判断与策略探索分布 量纲独立标注者在未见轨迹对上的偏好一致数/全部可判定未见比较数 失效当策略学会利用短片段盲区时,奖励模型分数越高,长期真实满意度反而越低 自曝撤回门槛独立核验:少于1%的反馈比例基于模拟任务与短轨迹,未计入奖励模型投机和价值分歧;独立撤回检查落在撤回门槛 空栏反馈撤回、少数偏好、顺序效应、长期后果、无法判断及多目标聚合权重 异名基础模型称“对齐与 RLHF:从「会说话」到「听话有用」”;见第044号第十条“对齐与 RLHF:从「会说话」到「听话有用」”

九、Wordcraft:生成模型从自动写作转向共同创作界面Wordcraft: Generative Models Become Co-Creative Writing Interfaces

提出Yuan、Coenen、Reif与Ippolito,2022年IUI论文《Wordcraft: Story Writing with Large Language Models》,第841–852页。 争议Ibarz, B. et al. “Reward Learning from Human Preferences and Demonstrations in Atari.” NeurIPS, 2018.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键GPT-3被嵌入编辑器,作家可要求续写、改写、展开或对话,而非一次生成整篇。

自动文本生成早期常以“一键写完”展示能力,却无法进入作家的反复删改。Yuan等在2022年与专业作家共同设计Wordcraft,把GPT-3放进文本编辑器,提供续写、改写、展开、自由生成和自然语言对话。模型由替代作者的成品机器转为随时可被调用、拒绝和重写的材料伙伴。

〔跨域外推〕本条主张,决定生成模型能否成为创作伙伴的只有界面是否保留作者对提议粒度、采纳与回滚的控制。Wordcraft让人选择段落和操作,生成多个候选,再将少量片段编入故事;协作单位不是整篇文本,而是一次可撤销的创意提议。2022年的设计把作者身份落实到选择、排序、改写和承担叙事连续性。〔跨域外推〕证据链还要把Yuan、Coenen、Reif与Ippolito,2022年IUI论文《Wordcraft: 的起点材料与更新文献放在同一比较表里,并逐项报告“GPT-3被嵌入编辑器,作家可要求续写、改写、展开或对话,而非一次生成整篇”在哪些设备、机构或人群中没有出现,而不是只保留成功演示。

IUI 2022论文页码841–852,研究团队与13名专业作家开展设计与使用研究,观察他们如何在短篇创作中调用GPT-3。关键读数包括建议被请求、保留、重写和删除的比例,以及作家对控制感与故事一致性的判断;生成字符数不能代表创作价值,因为被删除的意外建议也可能启发后续段落。

模型经常忘记人物状态、给出语法流畅却叙事荒谬的内容,并把常见类型套路带入作品。2024年复测发现建议越多,作者反而越可能花时间筛选,或在锚定下放弃自己的较弱初稿;少数文化声音会被训练语料平均。共创界面若不记录来源,还会模糊谁写了哪句、训练文本是否获授权。

2025年的共创验收应记录每段的人工、模型与混合来源,支持离线创作、版本回滚和训练退出;比较无AI、一次生成与可迭代界面下的时间、原创性和作者声音保持。评估者需盲评成品,同时让作者报告过程负担。生成内容要能查提示与模型版本,避免把流畅度当共同创作成功。

它与第253号第十四条“创造力支持工具”是直接异名,本条精确到2022年Wordcraft的编辑器回路;与第044号基础模型的生成能力相比,核心是作者可拒绝与回滚。13名专业作家的发现提供丰富机制,不代表所有语言、文类和写作身份,工具帮助也不能替代版权与署名约定;2025年还须标记模型版本。〔跨域外推〕可执行的压力测试是预先固定样本单位、时间窗口和排除规则,再针对“当候选不断涌入时,建议越多,作者筛选负担与风格锚定反而越重”做至少两轮外部复算,若方向翻转,Wordcraft:生成模型从自动写作转向共同创作界面Wordcraft: Generative Models Become Co-Creative Writing Interfaces的结论必须随之收窄。

位置E——把作者声音、训练语料、署名与筛选负担当成共创环境 单因决定生成模型能否成为创作伙伴的只有界面是否保留作者对提议粒度、采纳与回滚的控制 预设〔05 缺失即不存在〕编辑日志未保留的模型影响被视为没有改变作者构思与作品归属 量纲作者主动保留且一个月后仍认可的模型片段数/全部生成候选片段数 失效当候选不断涌入时,建议越多,作者筛选负担与风格锚定反而越重 自曝跨域外推独立核验:Wordcraft基于13名专业作家与GPT-3短篇任务,不能代表所有语言和创作劳动;独立撤回检查落在跨域外推 空栏段落来源、模型版本、训练授权、作者声音、删除后启发及署名与收益分配 异名人机交互称“创造力支持工具”;见第253号第十四条“创造力支持工具”

十、生成式AI工作实验:平均增益掩盖了技能分布的重排Generative AI at Work: Average Gains Hide a Redistribution of Skill

提出Noy与Zhang,2023年《Science》论文《Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence》;Brynjolfsson、Li与Raymond,2023年NBER、2025年QJE《Generative AI at Work》。 争议Wischnewski, M. et al. “Measuring and Understanding Trust Calibrations for Automated Systems.” CHI, 2023.。 最新(2025年文献)Brynjolfsson, E.; Li, D.; Raymond, L. “Generative AI at Work.” QJE, 2025.。 关键随机实验与5,179名客服现场数据把人机协作从演示推进到时间、质量和异质效应。

生成式AI发布后最常见证据是个别“我十分钟写完”的故事。Noy与Zhang在2023年随机让专业写作任务参与者使用ChatGPT,比较完成时间与盲评质量;Brynjolfsson等则研究真实客服部署。问题由模型能否生成文字,转为哪类劳动者、哪种任务、在何种组织流程中获得或失去能力。〔盲法复核〕落到复现实务,可为生成式AI工作实验:平均增益掩盖了技能分布的重排Generative AI at Work: Average Gains Hide a Redistribution of Skill建立版本化对象表:输入、基线、资源预算、异常运行和人工接管分别留痕,并用“质量达标的任务数/人工总工时,并按技能分位与12个月追踪分解”统一结算,避免换口径后仍宣称性能提高。

〔盲法复核〕本条的单因命题是,决定生成式AI是否提高团队生产率的只有建议能否把高绩效实践传给原本较缺经验的劳动者。客服助手从历史对话生成实时提示,若新手能采纳专家模式,差距会缩小;熟练者边际收益较小。2023年的现场研究把互补性写成技能分位异质效应,而非一个“AI提高效率”均值。

Science 2023实验显示使用ChatGPT者完成任务时间约降低40%、质量约提高18%;客服研究覆盖5,179名坐席,问题解决率按小时平均提高近14%,新手和低技能者增益约35%。核验必须报告随机分配或分阶段上线、任务组成、质量评分、离职与处理时长;14%是特定呼叫中心的平均,不是全经济生产率。〔盲法复核〕本条的边界案例应从“工资分配、技能积累、监控压力、熟练者知识回报、长期离职与岗位重构”中抽样,而不是只从最容易成功的中心案例抽样,这样才能判断“当组织把节省时间转成更高配额时,建议越有效,劳动强度与隐性错误反而越高”究竟是偶发噪声,还是足以改变结论方向的系统反例。

短期建议会让新手迅速模仿话术,却可能减少理解例外和形成自主判断的机会;监控系统也能把节省的分钟转成更高劳动强度。2025年QJE追踪下,工具越好用,熟练者的隐性知识反而越可能被平台吸收而不给回报。若质量评分由客户情绪或经理指标代理,自动化礼貌可能提高分数却未解决根因。

2025年的验收应按技能、任期、语言和案件复杂度报告质量—速度Pareto,跟踪至少12个月的学习、工资、晋升、离职与错误升级。上线需保留无AI或延迟组,记录建议采纳而非只记录可用;员工应参与定义监控边界,并能纠正被系统吸收的错误做法。生产率收益必须与分配结果同表。

它与第253号第十六条“协作与远程工作的界面”相接,但本条用2023年随机与现场数据验收劳动结果;与第535号学习转交不同,模型在每通对话中给建议而非决定谁接手。40%、18%、14%和35%来自不同分母,不能合并成普遍增益,更不能直接推出岗位数量变化。

位置S——把可传递的高绩效实践当成生成式AI提高团队生产率的决定性资源 单因决定生成式AI是否提高团队生产率的只有建议能否把高绩效实践传给原本较缺经验的劳动者 预设〔05 缺失即不存在〕短期实验未记录的技能退化、工资与劳动强度变化被视为没有发生 量纲质量达标的任务数/人工总工时,并按技能分位与12个月追踪分解 失效当组织把节省时间转成更高配额时,建议越有效,劳动强度与隐性错误反而越高 自曝盲法复核独立核验:40%、18%与近14%来自不同任务和分母,现场结果不能直接外推全部职业;独立撤回检查落在盲法复核 空栏工资分配、技能积累、监控压力、熟练者知识回报、长期离职与岗位重构 异名人机交互称“协作与远程工作的界面”;见第253号第十六条“协作与远程工作的界面”

十一、无障碍共创:残障者不是边缘测试组,而是系统共同设计者Accessible Co-Design: Disabled People Are Co-Designers, Not Edge Cases

提出Guo等,2024–2025年生成式AI无障碍研究;CHI 2025《Generative AI and Accessibility Workshop》议程。 争议Christiano, P. et al. “Deep Reinforcement Learning from Human Preferences.” NeurIPS, 2017.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键可访问性必须从数据、模态、操作流程和错误恢复一起设计,而非上线后补一个alt text。

生成式AI被宣传为无障碍工具:图像描述帮助盲人,语音输入帮助行动受限者,文本简化帮助认知障碍者。但同一系统若按钮不被屏幕阅读器识别、输出突然重排或无法精确编辑,就会把旧障碍换成新障碍。2024–2025年的研究议程要求残障者从问题定义到评估共同设计,而非只在末期做合规测试。

〔结果分母〕本条主张,决定AI是否真正扩大可访问性的只有残障使用者是否能独立完成完整任务并恢复系统错误。一个准确caption没有意义,若焦点顺序让人无法发送;语音识别WER均值再高,若构音差异者频繁被拒就不是包容。设计单位必须是端到端工作流:输入、理解、确认、编辑、撤销、申诉和替代通道。把无障碍共创:残障者不是边缘测试组,而是系统共同设计者Accessible Co-Design: Disabled People Are Co-Designers, Not Edge Cases与相邻路线比较时,统一分母至少应包含成功、失败、弃权和未覆盖对象四类;只有“无需旁人代操作且能自行恢复错误的任务数/全部目标使用者真实任务数”在这些类别上都可回查,跨研究比较才有意义。

2025年CHI无障碍工作坊把disabled people in-the-loop、语音AI公平与生成界面列为议程,相关实证常以任务成功率、Word Error Rate、屏幕阅读步数和主观自主性衡量。可复算读数应按障碍类型与辅助技术分解,至少让20名目标使用者完成真实任务;仅以WCAG自动扫描通过率不能验证AI输出本身可用。

个性化模型可能需要收集声音、运动和健康资料,隐私代价高;自动改写还可能把残障者的表达“正常化”。训练数据越追求主流流畅度,非标准语音识别反而越差。2025年CHI共创若只邀请容易招募、能使用现有平台的人,也会漏掉多重残障、低带宽和无法持续参会者。〔结果分母〕这也给出一项不依赖宣传口径的核验:独立团队只拿到冻结版本与“决定AI是否真正扩大可访问性的只有残障使用者是否能独立完成完整任务并恢复系统错误”的操作定义,仍能复算“无需旁人代操作且能自行恢复错误的任务数/全部目标使用者真实任务数”,否则所谓转向可能只是数据管线或命名变化。

2026年的验收应支付参与者与照护支持费用,提供远程、异步、AAC和线下多种参与方式;报告独立完成、人工求助、错误恢复、隐私暴露与认知负荷。系统必须保留原始表达、允许关闭自动润色,并为每项模态功能提供等价替代。残障者有权否决把其数据用于训练的新用途。

它与第253号第八条“无障碍与共创设计”是直接异名,本条把焦点放在2024–2026年生成式AI全流程;与第534号原生全模态系统相接时,支持更多模态不等于更多人可用。WCAG形式通过、平均WER和漂亮图像描述都只是部件读数,真正验收是人能否自主完成并纠错。

位置E——把辅助技术、隐私、非标准表达与参与门槛当成无障碍AI环境 单因决定AI是否真正扩大可访问性的只有残障使用者是否能独立完成完整任务并恢复系统错误 预设〔06 通过形式审查=实质合规〕通过WCAG自动扫描或加入alt text就等于生成式AI工作流可访问 量纲无需旁人代操作且能自行恢复错误的任务数/全部目标使用者真实任务数 失效当训练目标偏向主流流畅表达时,模型越优化平均WER,非标准语音错误反而越集中 自曝结果分母独立核验:当前研究样本常小且偏向能进入数字研究平台者,难覆盖多重残障与低带宽场景;独立撤回检查落在结果分母 空栏AAC用户、照护成本、原始表达保留、训练退出、替代通道及错误恢复时间 异名人机交互称“无障碍与共创设计”;见第253号第八条“无障碍与共创设计”

十二、智能体授权与撤销:协作必须能在行动前限定、行动中中止Agent Authorization and Revocation: Bound Before Acting, Stop While Acting

提出2024年AgentDojo等智能体安全评测及2025–2026年委托、权限与human oversight研究。 争议Wischnewski, M. et al. “Measuring and Understanding Trust Calibrations for Automated Systems.” CHI, 2023.。 最新(2024年文献)Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.。 关键人机协作从给建议升级到替人发信、付款和改文件后,授权必须成为可执行状态而非一句系统提示。

当AI只生成草稿,人可以选择不复制;当智能体直接调用邮件、日历、支付和代码工具,一次误解会变成外部事实。2024年的AgentDojo用提示注入和工具任务暴露代理可被网页或邮件内容劫持,2025–2026年的研究遂把delegation、authorization与revocation从界面选项提升为运行时控制面。

〔未覆盖项〕本条主张,决定行动型智能体能否保持以人为本的只有每个外部动作是否受可计算、可撤销且最小化的授权约束。OAuth权限应绑定主体、对象、动作、金额、时限和来源;发送、删除、支付等高影响步骤在执行前再次确认。撤销不是聊天里说“停”,而是令牌、队列与子代理都同步失效的状态转换。

AgentDojo在2024年提供97类任务、629个安全测试案例和不同攻击条件,用utility与security两条轴评估工具型代理;后续运行时研究测越权成功率、确认次数和中止延迟。可复算读数应是未授权动作数、授权动作完成率、撤销到所有执行器生效的P99毫秒,以及回滚后仍残留的外部副作用。〔未覆盖项〕在以人为本的AI与人机协作的这一对象上,复核应把“授权且可回滚的正确动作数/全部尝试的外部副作用动作数”拆成同一分母下的主结果与失败谱,“子代理、排队重试、跨会话令牌、撤销P99、第三方残留与不可逆损失赔偿”要单列编码,不能在汇总时并入其他项。

确认过密会使人机械点击,确认过少又把整段意图扩大成通配权限;2024年网页中的恶意指令可能借已授权工具跨域行动。智能体越自主,反而越容易在长任务中忘记权限来源,子代理和重试队列还会在主会话停止后继续。自然语言“帮我处理一下”不能解释成删除、付款或公开发布。

2026年的验收应默认最小权限、短期scope token和dry run,对不可逆动作要求结构化确认;撤销测试必须覆盖排队任务、缓存、子代理和第三方API。日志要让人看见谁依据哪条授权做了什么,并支持补偿事务。系统遇到冲突或新对象时应停下转人工,不能从过去类似行为推定永久同意。〔未覆盖项〕可执行的压力测试是预先固定样本单位、时间窗口和排除规则,再针对“当确认弹窗没有按风险分层时,确认次数越多,机械同意造成的越权反而越多”做至少两轮外部复算,若方向翻转,智能体授权与撤销:协作必须能在行动前限定、行动中中止Agent Authorization and Revocation: Bound Before Acting, Stop While Acting的结论必须随之收窄。

它与第253号第十九条“智能体的授权与撤销”是直接异名,本条把2024年后工具代理的运行时量纲展开;与第532号第二十条“AgentOps、AIOS与AgentDojo:可靠性变成运行时工程”相接时,权限是可靠性的一部分。完成率提高不能抵消一次未授权付款,协作成功必须同时满足效用与边界。

位置D——把范围授权、预执行确认、持续检查、撤销与补偿串成运行时路径 单因决定行动型智能体能否保持以人为本的只有每个外部动作是否受可计算可撤销且最小化的授权约束 预设〔06 通过形式审查=实质合规〕用户在会话开头说过同意就等于后续所有工具动作持续获授权 量纲授权且可回滚的正确动作数/全部尝试的外部副作用动作数 失效当确认弹窗没有按风险分层时,确认次数越多,机械同意造成的越权反而越多 自曝未覆盖项独立核验:AgentDojo的629个案例是可复现实验环境,未覆盖全部第三方API和现实补偿成本;独立撤回检查落在未覆盖项 空栏子代理、排队重试、跨会话令牌、撤销P99、第三方残留与不可逆损失赔偿 异名人机交互称“智能体的授权与撤销”;见第253号第十九条“智能体的授权与撤销”

◎ 二十年连起来看

2004–2016年的主要发明是接口:GWAP把感知判断变成数据,主动学习把提问变成预算,LIME把解释变成局部实验,CIRL把人的奖励不确定性写进序列决策。2017–2026年的转向是权利与组织:模型卡随版本流通,recourse要求建议可行动,参与式AI要求议程与否决,learning to defer要求动态分工,授权系统要求权限随时失效。二十条共同表明,人机团队的最小单位不是“一个人加一个模型”,而是证据、角色、成本、权限与纠错路径组成的闭环。

◎ 三个常见误解

互补要求团队在同一分母上超过人或模型的最佳单方,而非只提高采纳率;校准要求AI正确时采纳、错误时拒绝;可申诉要求个人能理解决定、提出可行反事实并挑战模型;可撤销要求授权在子代理、队列和第三方工具中同步停止。2026年的最小验收包应同时报告team accuracy、coverage、Brier score、人工分钟、最坏群体、申诉成功和撤销P99,任何单一总分都不能替代关系质量。

◎ 与相邻领域的接口

误解一:人点过确认就是human-in-the-loop。若不能改变目标或停止外部动作,确认只是责任转移。误解二:解释越多,信任越恰当。LIME可能稳定性不足,流畅解释还会抬高错误采纳。误解三:平均生产率提高就代表所有人受益。2023年的客服实验显示新手收益更大,却未自动回答工资、监控与长期技能。以人为本不是把所有决定留给人,而是让分工、证据与权利能被逐项验收。

◎ 争议现场

它与人机交互共享界面和真实使用者研究,但把模型训练、评估供应链和组织权限纳入对象;与AI对齐共享偏好、奖励与监督,却强调受影响者并不等于标注者;与智能体工程共享运行时和轨迹日志,却要求授权、撤销与补偿;与劳动经济学共享生产率和技能分布,却把建议采纳与工作流作为中介。四个接口应共用同一事件日志,避免技术论文报accuracy、组织只报节省工时、治理文件只报流程完成而无法互相核对。

◎ 往下五年看什么

“以人为本”最危险的模糊,是把购买者、操作者、标注者和受影响者合并成一个user。医院采购者追求吞吐,医生承担责任,患者承受结果,数据工人却可能从未使用系统;四者目标并不相同。参与式AI因此不能只招募最容易接触的人,模型卡也不能只服务工程团队。每个项目应在2026年角色表中写明谁设目标、谁提供数据、谁能否决、谁受损、谁获得生产率收益,并为未在桌边的人保留申诉与代表机制。

◎ 可与哪些领域对撞

单次Likert满意度无法证明协作。推荐的最小实验是随机化建议可见性和控制权,固定任务分母,分别测人单独、AI单独、人机团队与可转交团队;再按模型对错构造四格依赖,画coverage—risk与quality—time曲线。连续部署至少跟踪12个月,记录模型更新、人员学习、疲劳、退出和群体漂移。质性访谈用于解释机制,事件日志用于复算,参与式审议用于决定哪些指标本来就不应优化。

◎ 十条可做的研究命题

2026–2031年的前沿不只是更自然的助手,而是可协商的机器同事:它能表达不知道、按具体专家能力转交、说明证据与权限来源、在目标冲突时停下,并在撤销后证明所有副作用已终止。研究焦点会从个人界面扩到多方协作、集体追索、劳动者数据权和跨组织代理。关键突破不是让AI更像人,而是建立一种机器越能行动、人的否决和补偿能力也越强的制度—技术共同体。

◎ 资料核验

审计清单:① 明确购买者、操作者、标注者与受影响者;② 报告人、AI与团队的同分母基线;③ 保存建议、采纳、转交、申诉和撤销日志;④ 把人工时间、等待、工资和认知负荷计入成本;⑤ 按交叉群体报告最坏结果;⑥ 绑定模型卡、评测与模型hash;⑦ 为高风险动作设置结构化确认和补偿;⑧ 让参与者拥有报酬、退出、数据删除与至少一种实质否决权。

  1. von Ahn, L.; Dabbish, L. “Labeling Images with a Computer Game.” CHI, 2004.
  2. von Ahn, L. “Games with a Purpose.” IEEE Computer, 2006.
  3. Fails, J.; Olsen, D. “Interactive Machine Learning.” IUI, 2003.
  4. Amershi, S. et al. “Overview-Based Example Selection in End-User Interactive Concept Learning.” UIST, 2009.
  5. Amershi, S. et al. “The Role of Humans in Interactive Machine Learning.” AI Magazine, 2014.
  6. Settles, B. “Active Learning Literature Survey.” University of Wisconsin–Madison, 2009.
  7. Settles, B. Active Learning. Morgan & Claypool, 2012.
  8. Koren, Y. “The BellKor Solution to the Netflix Grand Prize.” Netflix Prize, 2009.
  9. Koren, Y. “Collaborative Filtering with Temporal Dynamics.” KDD, 2009.
  10. Kamar, E.; Hacker, S.; Horvitz, E. “Combining Human and Machine Intelligence in Large-scale Crowdsourcing.” AAMAS, 2012.
  11. Kamar, E. “Directions in Hybrid Intelligence.” IJCAI, 2016.
  12. Dwork, C. et al. “Fairness Through Awareness.” ITCS, 2012.
  13. Zemel, R. et al. “Learning Fair Representations.” ICML, 2013.
  14. Ribeiro, M.; Singh, S.; Guestrin, C. “Why Should I Trust You?” KDD, 2016.
  15. Slack, D. et al. “Fooling LIME and SHAP.” AIES, 2020.
  16. Dietvorst, B.; Simmons, J.; Massey, C. “Algorithm Aversion.” JEP: General, 2015.
  17. Dietvorst, B.; Simmons, J.; Massey, C. “Overcoming Algorithm Aversion.” Management Science, 2018.
  18. Amershi, S. et al. “Guidelines for Human-AI Interaction.” CHI, 2019.
  19. Mitchell, M. et al. “Model Cards for Model Reporting.” FAT*, 2019.
  20. Gebru, T. et al. “Datasheets for Datasets.” CACM, 2021.
  21. Ustun, B.; Spangher, A.; Liu, Y. “Actionable Recourse in Linear Classification.” FAT*, 2019.
  22. Karimi, A.-H. et al. “Algorithmic Recourse: From Counterfactual Explanations to Interventions.” FAccT, 2021.
  23. Karimi, A.-H. et al. “Algorithmic Recourse under Imperfect Causal Knowledge.” NeurIPS, 2020.
  24. Birhane, A. et al. “Power to the People?” EAAMO, 2022.
  25. Delgado, F. et al. “The Participatory Turn in AI Design.” AIES, 2023.
  26. Cooper, A. et al. “The Art of Participatory ML.” CHI, 2024.
  27. Sloane, M. et al. “Participation Is Not a Design Fix for Machine Learning.” EAAMO, 2022.
  28. Hadfield-Menell, D. et al. “Cooperative Inverse Reinforcement Learning.” NeurIPS, 2016.
  29. Christiano, P. et al. “Deep Reinforcement Learning from Human Preferences.” NeurIPS, 2017.
  30. Ziegler, D. et al. “Fine-Tuning Language Models from Human Preferences.” arXiv:1909.08593, 2019.
  31. Ibarz, B. et al. “Reward Learning from Human Preferences and Demonstrations in Atari.” NeurIPS, 2018.
  32. Wischnewski, M. et al. “Measuring and Understanding Trust Calibrations for Automated Systems.” CHI, 2023.
  33. Mehrotra, S. et al. “A Systematic Review on Fostering Appropriate Trust in Human-AI Interaction.” CSUR, 2024.
  34. Lee, M.; See, K. “Trust in Automation.” Human Factors, 2004.
  35. Mozannar, H.; Sontag, D. “Consistent Estimators for Learning to Defer to an Expert.” AISTATS, 2020.
  36. Madras, D. et al. “Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer.” NeurIPS, 2018.
  37. Charusaie, M. et al. “Sample Efficient Learning of Predictors that Complement Humans.” ICML, 2022.
  38. Yuan, A. et al. “Wordcraft: Story Writing with Large Language Models.” IUI, 2022.
  39. Noy, S.; Zhang, W. “Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence.” Science, 2023.
  40. Brynjolfsson, E.; Li, D.; Raymond, L. “Generative AI at Work.” QJE, 2025.
  41. Peng, S. et al. “The Impact of AI on Developer Productivity.” arXiv:2302.06590, 2023.
  42. Dell’Acqua, F. et al. “Navigating the Jagged Technological Frontier.” HBS Working Paper, 2023.
  43. Bender, E. et al. “On the Dangers of Stochastic Parrots.” FAccT, 2021.
  44. Bennett, C.; Rosner, D. “The Promise of Empathy.” CHI, 2019.
  45. Spiel, K. et al. “Nothing About Us Without Us.” CHI, 2020.
  46. Mack, K. et al. “How Disabled People Form Expectations of AI.” ASSETS, 2022.
  47. ACM. “Generative AI and Accessibility Workshop.” CHI, 2025.
  48. Debenedetti, E. et al. “AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents.” NeurIPS, 2024.
  49. Shavit, Y. et al. “Practices for Governing Agentic AI Systems.” Research report, 2023.
  50. Chan, A. et al. “Harms from Increasingly Agentic Algorithmic Systems.” FAccT, 2023.
  51. Raji, I. et al. “Closing the AI Accountability Gap.” FAccT, 2020.
  52. Suresh, H.; Guttag, J. “A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle.” EAAMO, 2021.