第二十九章 AI与知识生态:不让新仪表接管人
智能工具可以扩展理解,也可能把未经核实的判断包装得更加流畅。
一、从信息回答器到可追溯的知识环境
原稿提出SIO-MedGPT等设想,尝试把个人资料、理论与智能工具联系起来。这个方向可以作为研发议题,但不能把设想中的能力写成已经完成临床验证的产品。一个系统能够流畅谈论九宫格,或者生成一张个人雷达图,并不说明它能够诊断三律失衡、预测心梗或选择用药。
更稳妥的起点,是帮助整理可以核实的信息:药物清单是否完整,用户准备问什么,某条医学说法来自哪里,证据适用于哪些人群,资料有没有版本变化。这样的知识环境不是越会说越好,而是越能暴露来源、限制与未解决的问题越好。世界卫生组织关于健康领域大型多模态模型的治理文件,同样强调可靠性、人的自主与隐私等方面的风险。[40]
二、把三律用于约束工具,而不是给工具加权威
特征律要求系统不把不同患者当作同一种模板,也不根据少量聊天内容编造病史;自由律要求用户能够查看、更正和拒绝某些记录,知道什么时候应由专业人员判断;幸福律要求工具减少真实负担,而不是用频繁提醒与不断评分占据生活。三律在这里首先是产品问题,不是诊断标签。
例如,一个工具把复杂的复诊材料整理成一页待问问题,可能比自动给出“你应换药”的答案更适合当前能力边界。它也可以明确说,现有资料不足以判断某项因果。这样的不确定性并非性能失败,而是对任务性质的尊重。系统越能连接生活与医学,越不能把连接能力误认为处方权。
三、复合主体不等于把责任交给模型
人在工具帮助下可以形成新的理解与行动能力。本书把这种关系看作值得研究的人—智能器具协作,而不把模型当成一个替人负责的医生。患者需要知道哪些信息来自原始资料,哪些是自动总结,哪些属于推断;专业人员也需要能够检查关键内容,而不是只接收一个不可追溯的答案。
真正的协作要允许修正。假如用户说系统记错了药名或时间,工具应当能明确更正并保留必要的版本信息,而不是继续用错误资料推理。假如模型根据一个旧版指南给出过时解释,知识环境应当能够指出版本差异。发生学的回写,在这里不是把所有输出不断累加,而是让错误也能够改变后续生成的条件。
四、数据越私人,边界越需要清楚
健康信息可能包含疾病、心理体验、家庭关系与日程等敏感内容。收集之前需要说明用途、访问范围、保存方式与删除机制,不能因为建设“我的知识生态”就默认所有内容都应永久汇入一个平台。技术上能够记录,与当事人愿意并适合被记录,是两道不同的问题。[40]
同样,家人、研究者或服务人员能够帮助使用工具,并不自动意味着他们应看到全部资料。一个有主体性的系统,应当支持适当授权,而不是把透明解释成对所有人完全公开。对于没有数字技能或不愿使用智能工具的人,照护也不应因此降级。自由包含借助工具的机会,也包含不被某一种工具排除的权利。
五、先证明减少了什么负担,再宣传增加了多少智能
一个健康知识工具可以先接受很具体的评价:整理的信息是否准确,来源能否核实,用户是否更清楚自己要问的问题,错误是否得到及时纠正,使用时间与焦虑是否增加。至于能否改善临床结局,需要另外的研究。不能把点击次数、聊天长度或满意评价直接当作医学效果。
这也是本书给未来SDE平台的一项要求:不要只展示最精彩的回答,要保留失败、误导和退出案例;不要让新术语遮住原有治疗的证据;不要用“复合主体”把责任分散到无人承担。智能可以成为共同工程的一部分,但它首先应当帮助人更清楚地参与,而不是使人更难知道谁正在作出判断。
带走的话:健康AI先要可追溯、可更正、有边界;会生成解释,不等于已经能够负责治疗。