是谁定的
二〇一八年,美国一辆自动驾驶测试车在夜间撞死了一位推着自行车过马路的行人。车上有一位安全员,事故发生时她没有在看路。事后的调查持续了数年。二〇二三年,安全员认罪,罪名是危害他人安全;运营这辆车的公司没有被刑事起诉。一台由系统驾驶的车撞死了人,最后认罪的是车上那个人。
这个案子被无数伦理课引用。争论集中在两点:系统当时该不该识别出行人,安全员当时该不该看路。这两个问题都在同一个假设里:道德就是遵守规范——系统遵守了它的规范吗,安全员遵守了她的规范吗。没有人问另一个问题:那位行人死了,谁认?
一家公司的合规负责人讲了这个案子,然后说了她自己的事:她的公司去年合规检查零违规,每一项流程都有系统把关,每一个决定都有审批记录;今年出了一起事故,追查下去,每个环节都合规,每个人都说"我按流程做的",找不到一个人说"是我"。她说:我们做到了零违规,同时做到了零良心。
这本书是为这两句话写的:当规范可以被系统完美地查、完美地守,当判断可以被外包,道德还剩什么?如果道德不是查规范,是什么?
两百年的账:道德律先于一切
现代道德哲学的主流建在康德一七八五年那本小书上:道德不是经验的产物,是理性自身颁布的法则——你要按你愿意它成为普遍法则的准则去行动。这条道德律先于一切经验,对一切理性存在者有效;道德行为就是出于对它的敬重而行动。两百年来,即便反对康德的传统——功利主义、美德伦理——也共享一个更底层的画像:道德是一套预先给定的规范,道德行为是遵守它;道德判断是查一件事符不符合规范。"合规""伦理审查""行为准则",每一个词都在说:那套规范已经在那里了,你的工作是对上去。
这套画像功劳很大,它让道德可以被教、被检查、被制度化。但它有一个从来没被认真检查过的前提:查规范的和承担后果的是同一个人。当这两件事被拆开——查规范的是系统,承担后果的不知道是谁——画像就出了问题。
那一层已经被占了
先看能核的现象,不给未核的数字。
合规系统在过去几年里从"记录"变成了"判断":它实时检查每一项操作是否符合规范,拦截不合规的,记录合规的,生成报告;伦理审查、风险评估、利益冲突筛查,越来越多地由系统完成初判甚至终判。同时,"道德顾问"类的工具开始出现——把一个两难处境输进去,它给出各伦理理论下的分析与建议。争论集中在系统的规范够不够全、判断够不够准。
要紧的事实只有一个:在"查一件事符不符合规范"这一层,系统已经做得比任何一位合规官更全、更快、更不讲情面;而正因为这一层被做到了零违规,"出了事谁认"第一次显出来是另一层的事。这一层被占了。
那位合规负责人的"零违规、零良心",正是这条线的产物。
为什么是现在
道德不是第一次遇到制度化。法典、教义、职业守则、伦理委员会,每一次都把一部分道德判断做成了可查的规范,道德每一次都调整,然后稳定下来。这一次为什么不一样?
第一,查规范不再稀缺。任何一个决定符不符合任何一套规范,系统即时给出答案,且比人全。围绕"谁懂规矩"设计的一切——合规官、伦理审查员、道德权威——都失去了定价对象。
第二,价值结算的地方挪了。从前一个组织的道德在"它守不守规矩"这一格结算;现在这一格系统填得比人满,价值只能往别处走——往"它出了事多久有人站出来、站出来之后改不改"那一格走。监管还在按违规次数打分,公众已经在按谁站出来判断一家公司有没有良心。
第三,工具从条件变成了变量。守则是条件,一本就是一本;合规系统是变量,规范库随时更新,去年合规的今年可能不合规,判断由系统按当前版本给出。当"规范"本身成了一个被系统维护的变量,"我守了规矩"就不再能说明我做了什么。
三条合起来:不是规范更严了,是系统把"查规范"整个从人手里拿走了,而道德的观念还在把查规范当作道德的全部。
死的是什么,没死的是什么
死的不是道德,不是良心,是一个位置:"我守了规矩"这个位置。
它非死不可。系统判定一项操作合规时,它做的不是从某处把"道德"取出来对照——规范不是一件躺在那里的东西,"这算不算违规"是规范条文、当时的情境、判定者的解释在那一刻当场生成的一个判断,换一版规范库就是另一个判断。这件事暴露了一个事实:合规官从前做的,说到底也是这件事,只是他把这叫作"守规矩"。而康德的道德律要求的从来不只是守,是"出于敬重而行动"——敬重这件事,系统没有,它只有匹配。系统让人看清了:守规矩从来是匹配,不是道德——所以它可以被一台更会匹配的机器做得更好。
那么没死的是什么?是系统没做、也做不了的那一件:那位行人死了,说"是我"。不是安全员被判了罪——那是法律追到了她——是在被追到之前,有没有一个人自己站出来。合规系统可以证明每个环节都合规,它不能站出来,因为站出来的意思是"后果由我承担,我改",而系统没有可以承担的东西,也不会改自己。道德没死的那一段,是后果发生之后、法律追到之前,一个人认下的那个动作。
有一门行当把这件事做成了制度。航空安全里有一种叫"公正文化"的做法:把"认领"和"惩罚"分开——飞行员主动报告自己的失误,不受处罚,报告用于改进系统;只有鲁莽和故意才追责。它的前提是一个判断:如果认领等于受罚,没有人会认领,系统就学不到任何东西;而如果认领与惩罚分开,认领会多起来,事故会少下去。航空早就知道,一个组织的安全不在零违规上,在有多少人愿意说"是我"。合规在这一点上落后于航空:它把认领和惩罚绑在一起,于是得到了零违规和零认领。
最强的反方
本书必须正面回答一个反方,它有严肃的哲学论证撑着。
道德外包论说:人的道德判断充满偏见、情绪与自利,历史上最大的恶多数是人在"凭良心"做的;一个不偏不倚、通晓各种伦理理论、不受情绪影响的道德顾问,可以给出比任何人更好的判断;把判断外包给它,不是道德的堕落,是道德的进步。
这个反方对本书的一半是对的:在"判断一件事在各种规范下算什么"这一层,工具确实可以比人全面、比人稳定,本书不反对任何人在两难时去问它。它错在另一半:它把判断当成了道德的全部。那辆车撞人之前,系统的判断可以是完美的;撞人之后,需要的不是一个更好的判断,是一个人说"是我"。判断可以外包,认领不能外包——因为认领的意思就是"这件事落在我身上",而外包的意思就是"不落在我身上"。本书的赌注在这里:如果完全合规的组织,五年内的重大伦理事故率低于对照组织,本书第二卷作废。
往上走的四级台阶
本书把道德工作分成四层。
第零层:查规范。这件事合不合规。这一层已经被系统占了,占得零违规。谁把道德放在这一层,谁就在等"零违规、零良心"。
第一层:让系统判两难。把处境输进去,按建议做。这一层正在跟着死:工具判得比人全,而判仍是在规范里打转,它不生产任何一次认领——它生产的是"根据分析,此决定符合多数伦理框架"。
第二层:判断后果谁认。一项决定作出之前,要问的不是"它合不合规",是"它若出错,落在谁身上,那个人知道吗,同意吗"。这一层的活是粗粒度的:不再管每一条规范怎么查,管的是这一整套流程的尽头有没有一个人。系统给合规报告、给风险评分、给伦理分析,但"这件事若出错由我认"由人定——不是系统能力不够,是它不在这个位置上:它不会在事故之后被问"你当时怎么想的"。
第三层:认领,并改正。这一层的人不再回答"我守了规矩吗",而是回答"这件事出了错,是我,我改了什么,改了之后再出错还找我"。这是一个人在道德上能站的最高一层,也是系统绝对到不了的一层,因为它需要一个会难受、会失眠、会在没有人追责的时候自己站出来的人。康德说道德是出于敬重而行动——他说对了,只是敬重这件事,最后落在认领上。
在第二、三层上,系统是必要的:没有它把第零层穷尽——把规范查到零违规——第二层不存在:正因为守规矩已经不能说明任何事,"谁认"才显出来是唯一还能说明的;从前人分不清自己的道德是守规矩还是认后果,因为两样混在同一个"好人"里。人也是必要的:没有人认,合规报告就是合规报告。少一样都不成。本书把人与系统在第二、三层上的搭配叫作人机协同的认领单元——在第零层系统是审查员,到第二层它是这个单元不可拆的一半:正是它把该查的查尽了,该认的才看得见。
回到那位合规负责人。她后来做的事是这样的:合规系统照用,零违规照追。她加了一条:公司每一项影响他人的重大决定,在系统给出合规结论之后,必须有一个人以自己的名字写下"此决定若造成伤害,由本人认领并负责改正",且认领与处分分开——认领不受罚,隐瞒才受罚。第一个季度,有三项合规的决定在这一栏前停住了:不是系统错了,是没有人愿意认。三项都被重新讨论,两项改了。年底她说:我们还是零违规,但今年有十一个人说过"是我"。这两步,就是第二层和第三层。
一把尺:出了事,多久有人说"是我"
主张说完了,得给一把尺。
本书提出的尺叫认领时距:一次道德失败——伤害、误判、失信——发生之后,到有一个具体的人以自己的名字认领之间的时间;以及认领之后是否发生了改正。它是事故调查里"责任认定时间"的道德版,区别在于本书只计自己站出来的,不计被追到的;只计带改正的,不计只认不改的。取值材料是组织的事故记录、公开声明与改正记录,一次取值约两个月。
有了尺,就能写下这本书什么时候算错。如果完全合规的组织五年内的重大伦理事故率低于对照组织,那么本书第二卷作废。
还有一个更硬的检验,本书没做,但把设计写出来了:一起伦理事故的处置,三个组各自完成——第一组只有系统,第二组只有人且不用系统,第三组是认领单元、系统查而人认——由第三方核处置里有没有具体的认领人与改正记录。本书的主张成立,当且仅当前两组都不如第三组:系统的处置全合规而无人认,纯人工的处置有人认而查不全,两者合起来才是道德。它还没有被任何人做过,本书作者在内。全书的尺都是取法与设计,没有一个是取过的值。
举一个数法。两家公司,各发生一起对客户造成伤害的事件,两家的合规记录都是零违规。甲:事发第三天,一位部门负责人公开以个人名义认领,第二周公布改正措施,第二月改正措施落地;认领时距记三天,主体记"个人、主动",改正记"已发生"。乙:事发后发布不署名声明"经核查各环节均符合规范",此后无记录,直到监管介入才指定一名责任人;认领时距记"被追到",主体记"被动",改正记"未发生"。本书要问的是:把一批组织排开,认领时距短且主动的组织,五年后的重大事故率与员工愿意报告问题的比例是不是更好。这个问题此前没有人这样问过,因为此前道德在组织里只按违规次数量,没有人量过"多久有人说是我"。
这把尺会怎样被做假
认领时距一旦成了考核,会发生什么,不难预见:设一个"认领岗",什么事都由这个人在二十四小时内出面说"是我",时距归零,改正一件不做,这个人也从不受任何后果——因为"他只是认领"。本书事先写了升级条款:认领必须绑定改正记录,只认不改的不计;认领人必须在此后的同类决定上有可查的变化。若在这个口径下认领时距与事故率无关,这把尺已被驯化,尺子那一节须重写。
一本主张"道德在认领不在合规"的书,若自己立的尺被人用一个认领岗填上了,它就把自己批评的病带回了家。
本书不做什么
本书不重推道德的基础,不讲三条律,不讲教师的道德——本社此前各有专书,本书只讲判断被外包之后日常里剩下的那一段。本书是三十本里撞车风险最高的一本,边界写得最细:本书不讲战争——本丛书另有一本,管战场上的承担,两本共用"认"字,各在第一卷写死定义;本书不讲信任,那本管跨机构的公共认账,本书管一个人的良心;本书不讲司法,那本管裁判席上的签字,本书管签字之前那个人自己站不站出来。本书也不反对合规系统,它只需要一个不再需要论证的事实:零违规和零良心可以同时成立。
各卷概览
第一卷 列一张表:道德律、守则、合规、伦理审查、行为准则——道德观念史上历代被当作"预先给定的规范"的东西,逐条写明它的规范是怎样在每一次判定时被当场生成过一次。
第二卷 是实证:那起自动驾驶事故的五年追责,合规系统怎样做到零违规,航空公正文化的制度结构,道德外包论的边界。
第三卷 写四级台阶与认领单元:后果、认领、改正三段,认领与惩罚怎样分开,机器供什么、人供什么。
第四卷 写制度:机器伦理从给机器装规范转向给每个自动决定配认领人;道德教育从背规范转向练认领——在后果面前先认下来再改;附企业、学校、公共机构三类的认领设计。
第五卷 写尺与判据:认领时距的取法、三组对照的设计、作废条件。
第六卷 写这本书自己的死法。
给读者的话
有三种人该读这本书。第一种是那位合规负责人,她需要知道"零违规、零良心"不是她的失败——那是把关做到极致之后必然显出来的空——而她加的那一栏,正是空的地方。第二种是做合规体系、伦理审查、监管规则的人,他们手里握着"道德怎么量"的定义,第四卷为他们而写:在违规次数旁边加一栏"多久有人说是我"。第三种是正在做道德顾问工具的人,他们需要知道自己的产品在第零层是真正的帮助——它让两难第一次被看全——在第二层是必要件——正是它把规范查尽了,认领才显出来——而第三层与它无关:那一层没有工具,只有一个自己站出来的人。
作者对本书的态度写在第五卷:它可能是错的,错的条件已经写明。若有一天五年的记录告诉我,完全合规的组织事故更少,那一天本书的使命就到头了——它被一套真的不需要人认的规范推翻了,而在那之前,那位行人得有人认。