SDE · 专著书架本书在线翻页学习包问穹

第11编 · 第54章

第54章 AI巡天候选:发现、分类还是制造标签

54.1 候选标签从哪里来

一个天文警报到达计算系统时,首先不是一个已经命名的宇宙事件。它可能是一组亮度变化、一幅差分图像、一段位置记录,以及若干关于观测质量的说明。分类器在这些材料上给出分数或标签,帮助研究者决定接下来做什么。这个标签有时极其有用,却不能独自承担“新天体已被确认”的全部意义。

训练标签来自过去的工作。光谱确认、人工审查、历史目录和既有分类规则,都可能成为模型学习的依据。因此,AI并不是从毫无条件的天空中自行提取所有类别;它继承了观测共同体已经形成的判断,也继承这些判断的覆盖边界。容易取得光谱的亮源、常见类型和受到重点关注的事件,更可能拥有可靠标签。训练集并不天然代表未来进入系统的全部对象。

ALeRCE实时图像分类器使用科学图像、参考图像、差分图像及警报元数据,进行包括超新星候选等类别的快速识别。其研究同时安排专家选择与后续光谱确认环节。[54-1] 这个实际流程显示,机器分类与科学确认可以相互协作;快速标签的价值是为稀缺后续观测争取时间,而不是消除后续观测的必要性。

“制造标签”也应作两层理解。所有分类程序都会生成数据库标签,这是一项正常操作;有问题的是把标签的生成误认成对象物理身份已经成立。模型可能极其稳定地把某种图像模式标成某类事件,但如果模式与该类事件的联系在新条件下失效,标签仍可稳定地产生。稳定输出本身不能证明稳定的自然归属。

标签还可能隐藏类别的层级。一个源被判断为“真实变化”与被判断为“某类超新星”,需要不同证据;被判断为“值得优先后随”与被判断为“物理上罕见”,也不是同一结论。若系统把这些层次混在一个分数中,使用者就难以理解它究竟在优化什么。高分可以意味着容易识别,也可以意味着值得研究,两者的差异会影响资源分配。

Fink文档把原始警报信息、交叉关联与机器学习产生的附加信息区分开来,并在缺乏额外判断时保留未知状态。[54-2] “未知”在这里具有积极意义。它使系统不必为每个源强行分配一个熟悉名字,也让未来的新资料能够继续改变解释。一个不能表达不知道的分类器,往往会把新现象压进旧类别,或者把它们当成无关异常排除。

从SDE看,S是暂时成立的候选身份及其分数,D是图像比较、光变累积和跨目录核验,E是类别规则、训练材料、误差特征与后随资源的相互规定。这种定位要求我们问:标签以后怎样改变观测?如果它只是一个无人使用的输出,回写很弱;如果它决定望远镜转向和训练样本更新,标签就进入了一个能够改变知识生产的循环。

这个循环也改变主体能力的构成。研究者不再逐一目视全部警报,而通过模型组织注意力。其判断力并未简单转移为一个网络的准确率;它分布在标签定义、训练选择、阈值设定、审计和后随解释之中。只有这些环节能够互相校验,快速机器分类才会成为可靠的复合研究能力。

54.2 在线发现与漂移

离线测试通常把已经收集的资料划成训练集与测试集,衡量模型对未参与训练样本的表现。这是必要检验,但时间域巡天面对的是持续变化的资料流。仪器状态、观测条件、处理版本乃至进入研究视野的对象类型都可能变化。过去分布上的良好表现,不自动成为未来分布上的保证。

分布偏移有不同形式。输入图像的噪声或分辨率改变,可能使模型不再识别原来的模式;各类事件的出现比例改变,可能使相同评分对应不同的实际可靠性;训练中没有充分出现的类型进入系统,模型可能仍给出熟悉类别的高分。它们都不能仅靠总体准确率解释。研究者需要区分输入变化、类别比例变化与类别边界变化。

一个简化的数值思想实验能够说明基率的影响。假设某类事件在一批资料中极少,即使分类器对普通样本只有很低的误报率,误报总数仍可能超过真实目标数。因此,在平衡测试集上获得良好准确率,并不直接说明实际警报流中高分候选多数为真。这个例子不用于估计某个真实系统的性能,而是说明评价指标必须与部署环境连接。

在线系统还面临时间信息逐步展开的问题。第一次检测时,只能依据有限图像与历史记录给出判断;数日以后,光变形状可能提供更强约束。早期标签与晚期标签不一致,并不一定表示早期算法失败,可能只是可用信息增加。合理的系统应当记录判断时点与资料范围,使人能够区分“当时证据下的合理候选”与“已被充分确认的类别”。

这种时间结构对训练也很重要。如果模型训练时使用完整光变,而实际部署时要求在最早时刻决策,测试便可能高估可用能力。未来信息不能悄悄进入过去的判断。对早期发现系统的评价,应当模拟实际可得数据,并把延迟、缺测和观测节律纳入。否则,模型看似提前识别,其实只是利用了部署时尚不存在的信息。

异常检测与分类又有不同目标。分类器倾向于把对象归入已有类别,异常检测则寻找与已知分布不相容的模式。但异常不等于新物理。数据损坏、处理伪影和罕见观测条件,都能产生异常。真正有价值的流程需要把数据质量检查与物理新颖性评估连接起来,同时保留人工能够检查的证据,而不是用一个不可解释的异常分数结束研究。

Fink提出以模块化方式处理警报,结合交叉匹配、分类和后随选择,说明在线研究本来就是多个操作的联接。[54-3] 本章据此提出的进一步要求,是在系统更新时记录分布与性能变化。它是一项研究设计建议,而不是对所有现有平台已经实现完备审计的断言。是否有效,需要实际部署资料检验。

因此,在线可靠性不能只在模型发布之日测一次。它需要持续比较不同时间、亮度、天空区域和对象类型的表现。总体稳定可能掩盖某个小类别的退化;某类性能下降也不必要求全部模型废弃。精确定位变化,才能决定重新训练、改动阈值、增加人工复查还是调整观测策略。

还需要区别排序能力与概率校准。模型能够把多数真实目标排在伪影前面,并不意味着其输出的某个数值可以直接解释成确认概率。一个系统可能排序良好但过度自信,也可能总体校准不错却在少见类别上失准。若资源调度依据分数作精细权衡,使用者就需要知道它的统计含义,而不能只因输出落在零与一之间便把它当成客观概率。

这种问题在跨平台使用时更加突出。某分类器在一个巡天训练,再应用到另一个巡天,输入栏位即使名称相同,也可能对应不同滤光片、误差定义或图像处理。格式兼容不等于物理可比。正确迁移需要检查信号形成过程,而不是只把数据整理成模型接受的数组。E的改变在这里不是外部背景轻微变化,而可能重新规定输入特征与类别之间的联系。

需要特别保留的是标签修正的方向。如果一类对象总是在获得更高质量资料后从普通类别转为特殊类别,模型可能正在系统性压低该类的早期可见性;如果大量高分特殊候选最终回到普通类别,则可能存在某种稳定的混淆。两种情况要求不同干预。只报告总错误数,会丢失这种能够改变下一轮研究的信息。

这种分方向审计还能帮助决定何时让模型拒绝分类。拒绝不是效率损失的同义词;当误分类会误导昂贵后随或污染关键样本时,保留未定状态可能更有价值。但拒绝范围过大,又会把重要对象留在系统外。因此,拒绝机制也必须有公开评价,说明它减少了什么错误、遗漏了什么机会。

54.3 后随观测的资源分配

警报可以大量产生,望远镜时段却有限。候选评分于是进入资源分配:哪些对象值得立即获得光谱,哪些应继续积累测光,哪些暂时搁置。这个决定既包含科学价值,也包含时间窗口、可见性和仪器适配。一个分数不可能无条件代表所有目标的优先次序。

例如,容易确认的常见事件有利于建立高质量统计样本,难以分类的异常则可能更有探索价值。若只追求单位时段确认数量,资源会倾向前者;若只追求最大不确定性,又可能花费过多时间处理伪影或无法解释的微弱源。有效调度必须明确当前任务是完善群体统计、捕捉早期阶段,还是探索未知类别,并允许这些任务之间存在合理分工。

后随选择还会改变未来的训练材料。高分对象获得更多光谱,因而拥有更多可靠标签;低分对象缺乏确认,继续留在训练集之外。下一代模型便更熟悉高分区域。这样形成的循环能够提高已知类型的效率,也可能强化最初的盲区。其危险不在于循环本身,而在于系统把自己选择出来的样本误当成天空的自然总体。

可以把这一机制概括为候选显露S改变观测D,后随结果与标签积累再改变训练条件E。三方程在这里不是三句平行口号,而是一个可以记录的依赖链。若要判断回写是否改善研究,需要检查新训练集究竟增加了哪些先前缺少的信息,而不能只看标签数量增长。重复确认熟悉区域,可能让模型更精确,却没有让它更开放。

一种可能的改进是在常规高分选择之外,预留少量随机审计或分层探索样本。其目的不是假定低分对象更重要,而是估计被忽略区域中还包含什么。另一种办法是主动学习,根据模型不确定性与观测成本选择最能改善分类边界的对象。Fink过滤文档列有针对特定分类分数区域的主动学习选择,表明这种思路已有具体工具入口。[54-4]

但主动学习也需要验证。如果不确定性主要来自不可消除的噪声,反复观测这些源可能收益很低;如果模型对陌生对象表现为错误的高置信度,单靠不确定性选择又可能错过它们。因此,随机审计、物理规则、多个模型分歧和专家判断可以承担互补作用。没有一种入口能够自动包办全部未知。

公平比较还应包括简单规则与人工基线。一个复杂模型若只在离线指标上更好,却没有提高后随资源的实际产出,或使稀有类型更难被保留,其部署价值需要重新评估。这里的产出也不能只有发现数量,还应考虑确认速度、可复核性、群体偏差和新问题的产生能力。优化目标的选择,本身构成研究方向的一部分。

更深的变化在于,候选集合不再是观测之后被动形成的列表。它反过来参与决定天空接下来怎样被观察。研究对象与研究能力因此共同发展:某类对象越容易被确认,相关模型和仪器程序就越成熟;另一些对象可能长期停留在没有足够证据的边缘。思想史必须记录这种不对称,才能解释为何技术增长未必让所有问题同步前进。

资源选择还可以用信息价值来理解。一次光谱观测未必确认一个最稀有事件,却可能排除某个导致大量误报的模式,从而改善后面许多决策。相反,重复确认一个已经非常熟悉的高分候选,可能增加样本数量但几乎不改变分类边界。因此,单次观测的价值有直接确认与系统学习两个方面,二者需要在项目目标中明确,而不能以一个统一分数掩盖。

不过,信息价值本身也是模型估计。系统可能认为某个对象能帮助区分类别,实际观测却因信噪比不足没有提供有效信息。因而调度模型也应接受事后评估:预期的信息增益是否实现,哪些成本被低估,哪些类别长期得不到机会。这使后随策略从不可见的经验决定,转变为能够被比较和修订的研究对象。

没有完成确认的候选也应保留适当状态。它可能是假阳性,也可能是由于天气、可见性或资源限制而失去验证窗口。把所有未确认对象都当作错误标签,会把观测失败与分类失败混在一起;把它们都当作潜在真发现,又会夸大成果。对原因进行分层记录,才能计算有意义的性能指标,并理解知识为什么没有在某些方向继续发生。

54.4 证据责任

一个机器给出的类别,可以由另一机器再检查,但只有当第二次检查提供了不同约束,才具有相应的独立性。把同一个模型重复运行,或让另一个模型读取同样的标签后复述结论,不构成新的天文证据。独立性来自数据、测量通道、模型假设或误差结构的实质差异,而不是程序数量。

证据责任首先要求保留来源。候选的原始警报、处理版本、模型版本、评分时间和后随记录,应当能够连接起来。若后来标签改变,需要知道改变来自新资料还是算法修订。这样既能避免把合理的早期不确定性当成错误,也能识别系统性误报。撤回或改类不是应被隐藏的丑闻,而是知识状态变化的正常记录。

人员与机器的分工也应具体。自动系统可以承担大量筛查、关联和排序,人类专家则需要对确认标准、异常处理和公开主张负责。但这不意味着每条记录都必须由人逐像素审查。责任可以通过抽样验证、独立测试和有针对性的复核实现。关键是能否说明整个复合程序如何捕捉重要错误,而不是仪式性地要求人最后点击一次确认。

公开候选尤其需要措辞分级。被算法列为超新星候选、具有支持某类超新星的光变、获得光谱分类,是不同证据状态。读者和后随团队需要知道目前处在哪一层。若传播时把它们都压成“AI发现某天体”,公众会误以为命名、检测和确认发生在同一步,也会低估大量不具戏剧性的验证工作。

同样,训练数据的改进应当保留版本关系。若新确认结果推翻了旧标签,更新训练集是合理的;但评价历史模型时仍需知道当时使用了什么资料。否则,今天修订后的标签会被倒置成过去已经拥有的知识,使模型改进看起来比实际更顺畅。版本史不仅服务软件管理,也服务科学史对创新和纠错的解释。

本书据此提出一个可以实际检验的程序:在部署前固定主要评价指标,在运行中保留分层审计样本,在后随后分别统计真实确认、无法判断和明确排除,再检查模型更新是否改善预定指标。这个方案目前是方法建议,不能被写成已经验证的成绩。若与简单基线相比没有改善,就应缩小关于SDE分析带来增益的主张。

这项限制对于AI研究特别重要。一个理论框架可以帮助提出正确问题,却不因此自动提供更好的分类器;一个分类器可以提高效率,却不因此证明该框架的全部哲学命题。能力发生的不同层次需要分别建立证据。只有把方法建议、工程实现和科学成果的支持程度分开,跨层合作才能在保持创造性的同时维持清楚的责任。

本章的核心结论是,AI可以改变天文学对象发生的速度、规模与注意力分布,但它的能力必须在完整的确认链中评价。标签S由差异D和训练条件E形成,随后又改变观测与知识条件。这个循环可能扩大未知的入口,也可能把既有偏好自动化。判断两种结果的依据,应是独立确认、遗漏审计与可追踪回写,而不是“用了AI”这一事实。

因此,统一性应由公共证据标准保障,多样性应由不同分类入口与探索样本保留,和谐性则体现在速度、可靠性和新颖性之间可以解释的配置。三者没有一个固定最优比例。研究系统需要根据实际任务持续调整,并让调整后的结果接受检验。能够承认标签只是暂时判断,反而是AI参与科学发现的成熟条件。

本章参考文献

[54-1] Carrasco-Davis, R. et al. Alert Classification for the ALeRCE Broker System: The Real-time Stamp Classifier. 2021. https://authors.library.caltech.edu/records/wghve-frq51

[54-2] Fink. Alert classification documentation. https://doc.ztf.fink-broker.org/broker/classification/

[54-3] Möller, A. et al. Fink, a new generation of broker for the LSST community. 2021. https://academic.oup.com/mnras/article/501/3/3272/5992334

[54-4] Fink. Filters documentation. https://doc.ztf.fink-broker.org/broker/filters/

本章学习任务 · 带着本章问穹