SDE · 专著书架本书在线翻页学习包问穹

第11编 · 第51章

第51章 巡天不只是更多数据:选择函数重写对象集合

51.1 天空覆盖与探测深度的权衡

一份包含百万行记录的天体目录,很容易使人产生一种直观:天空的总体已经进入计算机,剩下的任务只是寻找其中的规律。但目录的第一项科学内容,恰恰是哪些东西没有进入目录。没有被望远镜覆盖的方向、没有跨过探测阈值的光源、被当成伪影排除的信号,以及被挤在亮源周围而无法分离的暗源,都参与决定最后出现的分布。它们不是结果之后附加的瑕疵说明,而是这个统计对象的构成条件。

巡天首先分配有限时间。对一个方向停留更久,通常有利于积累弱信号,却会减少在同一时期内能够访问的方向;更频繁地重访,可以识别短时变化,但也可能压缩空间覆盖。这不是技术尚未完善时才有的暂时困难。任何具体观测系统都必须在角度、波段、深度和时间之间作出安排。所谓“覆盖天空”,从来不是一个不需要补语的操作:它总是以某种灵敏度、某种采样节律和某些质量条件覆盖天空。

因此,选择函数不是给目录套上的数学装饰。它表示具有一定属性的源进入特定分析样本的机会。这里的属性可能包含方向、亮度、颜色、大小、拥挤程度和变化时间尺度。不同研究问题需要不同的选择函数;为寻找亮类星体准备的目标规则,不能未经重新评估便当成所有星系的抽样规则。一个记录“足够多”的目录,也可能对问题所需的关键类别几乎没有辨别力。

SDSS关于光谱样本完备性的说明,把成像探测、目标选择、观测铺排和光谱成功分类分别列出。这种区分说明,目录成员资格是多重条件的交集,而不是望远镜看见一次就自然成立的身份。[51-1] 一个源即使出现在图像里,也未必被选为光谱目标;即使获得光谱,也未必能可靠确定红移。因此,图像样本、目标样本与可靠红移样本,不能在统计推理中悄悄互换。

可以用一个纯粹示意的例子理解这一点。设想同一区域内有两类总光度相近的星系,一类光集中在紧凑中心,另一类光分散在较大面积上。若探测算法依赖每个像素或局部区域的对比,后一类可能更难进入目录。于是样本中紧凑星系占优势,并不立即意味着宇宙本身优先制造紧凑星系。必须先比较两类源在实际噪声、背景和分离算法下的检出机会。这个例子不是某次巡天的实测结果,而是对推断结构的说明。

在SDE分析中,显露S是可查询的样本及其分布,差异序列D是逐场观测、阈值筛选和质量判断,特征纠缠E则表现为灵敏度、形态可辨认性、背景估计与成员资格的相互规定。E不能简写为“望远镜加制度”。例如,改变背景估计会改变扩展源的亮度与面积,二者又共同影响是否达到检测条件;被认为可靠的源集合随后可能被用于重新估计背景或校准。这才是需要展开的纠缠机制。

从巡天设计进入,能够说明目录如何形成;从目录的一条漂亮规律反向进入,则会追问它在未被纳入的区域是否仍然成立。两种入口的差异具有实际后果:前者可能展示计划执行得很成功,后者却可能发现该成功不足以支持某个总体结论。选择函数把这种差异变成可以讨论和检验的研究问题。

51.2 目录建立的匹配难题

跨目录研究常被描述为把资料连接起来。但连接发生以前,研究者必须判断两条记录是否属于同一天体。这一步不是纯粹的数据管理。假如一条射电记录和一条光学记录被错误地合并,系统便可能创造出一个拥有不相容属性的“复合天体”;如果同一快速移动天体在两个时代被当成不同对象,目录又会把一个持续对象切成两个。这些错误直接改变研究对象的数量、类型和物理解释。

最简单的匹配办法是比较位置,把距离最近的记录视作同一对象。它在位置精确、天空稀疏且历元接近时很有用,但没有普遍充分性。位置误差区域内可能有多个候选;不同波段的辐射中心也可能不同;时间间隔较长时,自行和其他运动必须进入比较。于是“最近”只有在明确误差模型和对象假设后,才成为有意义的证据。

Budavári与Szalay提出的概率交叉识别框架,将多个观测属于同一源的假说与其他假说比较,并允许把位置以外的属性纳入判断。[51-2] 这一工作的重要性不在于给匹配盖上概率印章,而在于使对应关系的前提能够写出。匹配概率依赖怎样的源密度、怎样的误差和怎样的物理相容性,研究者因而有机会检查结果,而不是只接受数据库里已经连好的行。

但引入颜色或红移也不是无条件改善。假如研究目标正是寻找颜色异常的对象,而匹配阶段先强烈偏好颜色相近的候选,异常可能在正式分析前就被排除。这里出现了一个发生学上的闭环:已有类别决定匹配条件,匹配条件决定能够显示的多波段对象,多波段对象又被用来说明已有类别的稳定。这种循环可能提高普通对象的处理效率,也可能缩小对新对象的敏感性。评价它必须同时考察正确匹配率与异常保留能力。

多对一关系使问题更加明显。低分辨率图像中的一个亮斑,在高分辨率图像里可能分成若干源。强行要求每条记录只对应一条记录,会把真实的观测差异误当成数据冲突。反过来,无限制地允许多重对应,又会使属性归属失去确定性。合理的处理往往需要保留关系结构及其不确定性,而不是在最早阶段便把所有疑问压成一个唯一编号。

这意味着天体身份至少有两个层次。一个层次是某次观测内的检测身份,即算法把哪些像素或时间序列片段识别为一个源;另一个层次是跨观测的持续身份,即不同检测为何被认为涉及同一研究对象。两者都与自然过程有关,却都不能仅凭名称自动成立。目录中的统一标识符方便调用,并不消除它所封装的对应判断。

对思想史而言,现代数据库因此延续了古代星表的一项根本困难:不同时间和条件下的显露怎样被认作同一个对象。现代方法把问题的规模和精度推到新的层次,也把过去由少数观察者承担的判断分散到算法、格式、校准和用户查询之中。认识主体不再只是看见一颗星的人,而是能够追踪这条身份链、检查其适用范围的复合研究系统。

一种可行的检验是保留多个匹配候选,再观察某项群体结论是否依赖其中少量含糊关联。如果删去歧义项就使结果消失,结果便需要以更弱的形式报告。若不同合理匹配方案产生相近结论,则获得的是关于该结论的稳健性支持。这里能够被确认的不是“所有匹配都正确”,而是当前的不确定性不足以推翻某个有限主张。

51.3 由样本到总体分布

样本中的数量并不直接等于总体中的比例。一个亮度受限的观测,在较远处往往更容易保留本征明亮的源。如果把近处和远处的样本直接放在一起比较,就可能把可见性差异当成演化。类似问题也出现在时间域:持续较长的事件更容易与离散访问相遇,极短事件可能在两次观测之间发生并消失。数量统计必须同时讨论空间可见范围和时间可见窗口。

作为现代说明式,可以把观测分布写为真实属性分布经过测量误差与选择过程后的结果。设真实属性为x,记录属性为y,误差核为K(y|x),纳入分析的概率为q(y,x),则样本分布与对x积分的qKp有关。这个表达式只是展示依赖结构;具体巡天的似然还需要考虑计数过程、背景污染、相关误差和缺失机制。它提醒我们,同一观测分布可能由不同真实分布与选择组合产生。

由此可见,完备度与污染率承担不同任务。完备度关注应当出现的目标有多少被保留,污染率关注保留的记录中有多少不属于所研究类别。提高门槛往往可以减少污染,却可能同时降低完备度;放宽门槛能够保留更多微弱信号,也可能使伪影大量进入。不存在脱离研究目标的“最干净样本”。对于稀有事件,少量误报也可能支配候选集合;对于总体分布,过严筛选又可能造成更严重的缺失。

人为注入模拟源并测量回收率,是研究检出能力的一种办法。但注入源的形态、颜色和变化模型必须涵盖研究对象的实际范围。若只注入熟悉的点源,回收率无法直接说明复杂扩展源的完备性。验证工具也具有自己的选择结构。严密分析不是无限追加一句“可能有偏差”,而是把某种偏差具体转化为可测试的输入变化,观察最终结论如何响应。

统计权重可以补偿部分不均匀抽样,但不能创造完全不存在的信息。当某一区域或某类对象的纳入概率为零,给已经看到的对象更大权重,无法凭空恢复被完全遮蔽群体的性质。此时必须引入其他观测或明确限制结论的总体范围。把“在我们能够观测的域内成立”写成“宇宙普遍如此”,是从样本到世界时最容易发生的越界。

误差还有相关性。若同一校准偏移同时影响大量源,增加源数可以减少部分随机波动,却不会让共同偏移按同样速度消失。样本越大,统计误差条可能越窄,系统偏差反而越显眼。一个精密的错误结论,可能比一个粗略但诚实的结论更难修正,因为它使不相容的新结果看起来像别人工作的失败。大数据的思想挑战,因而不是简单地从少量证据进入大量证据,而是重新区分可平均的误差与不可平均的依赖。

从S=F(D,E)出发,本章真正增加的要求是:讨论分布S时,要让产生它的筛选D与相互制约E留在论证中。这个要求并不取代现代抽样理论;选择函数与误差模型已经给出专业分析工具。SDE能够尝试贡献的,是把抽样结果进一步连接到对象类别、研究注意力与后续观测的改变,并追查这些改变是否反过来修订选择条件。若没有这种新增追踪,只把统计公式重命名为SDE,便没有获得独立的解释增量。

51.4 公开数据库的回写

数据库公开改变了研究的起点。研究者不必先拥有望远镜时段,便可以从现成样本提出问题,重新组合波段,或者检查已发表结论。SDSS DR17提供图像、光谱、数据立方体和目录参数等不同产品,也保留数据模型与访问方式。[51-3] 这些产品承担的证据角色不同:一列红移可用于统计,但若要检查某次分类失败,可能必须回到光谱和处理标记。

公开因此应当理解为一组有层次的可追踪能力。只公开最终参数,能够支持某些重复分析;公开质量信息,能够支持筛选敏感性检查;公开处理版本和算法,才能进一步解释不同版本为何变化。下载便利并不自动意味着所有人都能够重做全部观测链,但它能够使原来集中在一个团队内部的部分判断转化为共同检验对象。

这种开放也会改变研究注意力。容易查询、格式整齐、文档充分的数据,更容易进入教学、代码和论文。它们随后成为新的比较标准,更多研究围绕其覆盖域提出问题。这是生产性回写:可靠公共资源降低重复劳动,扩大研究参与。但同一机制也可能让难以标准化的对象退出常规分析。数据的可访问性与样本的代表性应当分别评价,不能因为一个数据库使用广泛,便认为它覆盖了所有重要现象。

目录版本变化进一步说明科学对象具有历史。某次重新处理可能修改源的分离、亮度或分类;同一个标识所对应的参数因此需要版本说明。严肃的复现不能只写“使用某巡天数据”,而要记录发布版本、查询条件、质量切割和关联规则。保存这些内容,不是向读者展示技术繁琐,而是保留使研究对象再次成立的路径。

在这里,三方程的后两个方向获得了具体问题。目录S改变D,表现为后续观测根据候选集合安排重访、研究者根据已见分布选择新的统计量;S与D改变E,则要求更强证据,例如异常关联促成新的匹配规则,或公开复核导致质量说明与校准标准修订。不能因为一篇论文使用了数据库,就声称证据制度已经改变。回写需要可指认的规范或操作差异。

进一步说,选择函数还会随着研究者自己的操作变化。原始目录可能有清楚的覆盖说明,但使用者又要求每个源同时具有若干波段、某个质量值和可靠距离,最终分析样本便形成新的选择。原发布团队没有义务替每一种查询预先计算完备性,使用者也不能把原目录的质量承诺直接转移给任意子样本。科学责任在数据交接时并未消失,而是改变了承担位置。

一个具体的审查办法,是把最终结论沿查询过程反向拆开:先看去掉某项质量切割后关系是否改变,再看缺失某个波段的对象是否集中于特定方向、亮度或形态。这里并不主张盲目保留低质量数据,而是要求理解删去的对象有什么共同性。如果删除只减少噪声而不改变相关结构,较严格的样本可能合理;如果删除恰好拿走某一类物理状态,则需要重新限定总体主张。

同样,天空上的空白需要分类解释。没有安排观测、安排了却因天气失败、成功曝光但没有检出、检出后被质量筛选排除,是不同意义的空白。它们在最终数据库里都可能表现为没有一行记录,但对总体推断的意义完全不同。发生学分析的价值,就在于阻止这些差异在最终表格中被抹平,使“没有”也保留自己的形成过程。

这也给开放数据提出一个可检验标准:一个陌生团队能否凭文档恢复主要筛选步骤,并判断结果对这些步骤的敏感性?若只能重复下载结果,不能重建对象纳入的理由,开放仍然是局部的。局部开放可以很有价值,但必须以实际可复核范围衡量,不能把接口存在本身当成全部证据链已经透明的证明。

于是,巡天形成的新天文学世界,不只是旧天空多添若干记录。它包含可跨时间识别的对象、可检验的群体分布和可共同调用的证据链。这种世界的成立受到自然信号约束,也受到筛选与匹配过程的规定。它的可靠性不来自抹去这些条件,而来自使条件能够被看见、比较和修订。一个真正成熟的目录,必须让使用者知道它允许问什么,也知道哪些问题尚不能由它回答。

本章参考文献

[51-1] SDSS. Tiling: determining survey completeness. DR7历史技术说明。https://classic.sdss.org/dr7/products/tiling/index.php

[51-2] Budavári, T.; Szalay, A. S. Probabilistic Cross-Identification of Astronomical Sources. 2008. https://arxiv.org/abs/0707.1611

[51-3] SDSS. Data Release 17. https://www.sdss4.org/dr17/

本章学习任务 · 带着本章问穹