自然语言处理

自然语言处理这二十年经历了一次少见的学科结构坍缩：分词、句法分析、命名实体、指代消解、语义角色、问答、翻译、摘要——几十个各有会议分论坛、各有数据集与专用模型的子任务，被一个统一的预训练加提示的范式吸收殆尽。留下的问题因而变了性质：不再是「如何解这个任务」，而是「如何知道它到底解得怎么样」。这十年后半段，本领域最激烈的争论全都发生在评测上——基准被污染、构念效度失守、用模型当裁判又引入循环，而多语言评测把这些问题再放大一倍。下面二十条按此排列。

一、任务体系的坍缩The Collapse of the Task Taxonomy

这门学科过去的组织方式是按任务切分：每个任务有自己的标注规范、数据集、评价指标与最优模型架构，研究者按任务分工。预训练模型出现后，同一个底座在微调后即可在多数任务上超过专用系统；而提示范式进一步取消了微调这一步，使任务只是输入格式的差别。

后果是双重的。正面是能力的迁移与泛化：低资源任务不再需要从零开始；负面是大量积累的任务特定知识失去载体——精心设计的特征、专用解码算法与语言学约束大多被弃用，其中的洞见未必都是过时的。

学科组织随之改变：会议的分论坛结构、研究者的技能构成与课程内容都在重排。「懂某个任务」的价值下降，而「懂评测、懂数据、懂失败模式」的价值上升。

留下的真实空缺是那些不适合被统一接口吸收的部分：需要严格结构化输出的任务、需要可解释中间结果的任务、以及资源极低而无法被通用模型覆盖的语言。这些恰是坍缩之后最容易被整体忽略的地方。

从学科史看，这类坍缩在别处也发生过：语音识别的管线被端到端取代、计算机视觉的手工特征被卷积取代。共同的模式是「通用表示吞并专用流程」，而共同的代价是任务特定知识失去载体——其中哪些是过时的、哪些是被误伤的，通常要十年后才看得清。

二、上下文学习In-Context Learning as a Paradigm

传统的适配方式是微调——用标注数据更新参数。上下文学习换了形态：把任务描述与少量示例放进输入，模型即按此模式作答。这把「适配一个任务」的成本从训练降到了写一段文本，其工程后果极大——任何人无需机器学习知识即可定制行为。

机制上的研究给出了部分解释：示例的作用相当程度上不是「教会」而是「指定格式与任务分布」；实验显示把示例的标签随机打乱，性能下降幅度常小于预期，说明模型更多是从示例中识别任务而非学习映射。这一发现修正了早期的直觉。

由此产生的实践问题是敏感性：示例的选择、顺序与措辞会显著改变结果，因而「提示」成为一项需要经验的工艺，且其效果难以在模型更新后保持。脆弱性是这一范式最主要的工程代价。

研究上的开放问题是它与训练的关系：为什么模型会具备这种能力、它在何种数据分布下产生、以及它与真正的少样本学习差别何在。这些问题的答案关系到能力边界的可预测性，而目前只有部分性的解释。

它对教育与工作方式的影响值得记：定制系统行为的能力从工程师扩散到了任何会写字的人。这既是本领域历史上最大的一次能力民主化，也意味着大量未经检验的系统被部署到真实场景中。

三、评测的构念效度危机The Construct Validity Crisis in Evaluation

社会科学有一套成熟的测量理论：一个测验是否真的测到了它声称的构念，需要专门论证。本领域的基准长期缺少这一步——任务被定义、数据被收集、分数被报告，而「这个分数代表什么能力」几乎从不被检验。

对顶级会议中数百个基准的系统审查发现了普遍的效度缺陷：能力定义模糊、题目与所声称能力的对应关系薄弱、聚合分数掩盖内部的巨大异质性——总分相同的两个模型，其子能力分布可以完全不同。

配套的问题是排行榜的可比性：报告方选择性地披露结果、评测配置不一致、以及模型提供方对特定基准的针对性优化，都使跨模型比较的可靠性下降。已有研究指出主流对战式排行榜存在此类系统性失真。

被提出的补救是把测量学引进来：明确构念定义、报告分项而非仅总分、检验信度与效度、并公开完整的评测配置。这是本领域向社会科学借方法的一次转向，其推进速度慢于问题恶化的速度。

这条线还提示了一个跨学科的机会：心理测量学有一百年关于「如何测量看不见的能力」的积累——项目反应理论、信度效度分析、多特质多方法矩阵。本领域正在重新发现这些工具，而直接引入会比自行摸索快得多。

四、数据污染Benchmark Contamination

模型在互联网规模语料上训练，而多数基准也来自互联网，因而测试题很可能已在训练中出现。检测方法包括字符串重叠检索、以及探测式检验——让模型补全被遮盖的选项，若成功率远高于随机，说明它见过这道题。多项研究报告了流行基准上很高的可猜中比例。

后果不只是分数虚高，还有方向性误导：被污染的基准会系统性地高估记忆型能力而低估泛化能力，从而使研究与投资流向错误的方向。

应对措施逐步成形：使用训练截止日之后产生的新题、构造私有的保留测试集、动态生成题目、以及在论文中强制报告污染检测结果。其中「训练截止后的数据」是最可靠的一项，代价是每个模型需要各自的时间窗口，跨模型比较随之困难。

更根本的困境是结构性的：只要评测公开，它迟早会进入训练语料。因而基准具有内在的寿命，评测体系必须像密码体系一样定期轮换——这是本领域尚未建立的基础设施。

从制度上看，这个问题的最终解法可能不是技术而是安排：建立由独立第三方持有、定期轮换、且从不公开的保留测试集。这与临床试验的盲法、与考试的题库管理是同一类制度设计，而本领域尚无对应机构。

五、用模型作裁判LLM-as-a-Judge

开放式生成没有唯一正确答案，人工评价昂贵且慢。用强模型给输出打分或做成对比较，成本低数个量级，且在多项研究中与人类评价有中等到较强的相关。它迅速成为事实标准，包括在训练中作为奖励信号。

系统性偏差随后被记录：偏好更长的回答、偏好与自身风格相近的输出、受选项顺序影响、以及对自身模型族的偏袒。更根本的是循环——用模型评价模型，等于把评价标准也交给了被评价的技术。

多语言场景下问题被放大：审查显示相关研究普遍把裁判的偏好当作黄金标准而不加验证，且裁判在非英语上的可靠性显著低于英语，覆盖语言的报告也常常不完整。一个在英语上勉强可用的方法，被不加检验地推广到了数十种语言。

当前较稳的做法是把它当作筛选而非判定：用于大规模粗筛与回归检测，关键结论仍需人评或可自动核验的确定性指标。同时要求报告裁判模型、提示与其与人评的一致性——即把裁判本身当作需要被评测的对象。

值得强调的是它在训练中的角色：当模型裁判被用作奖励信号，其偏差会被优化过程放大——模型会学会迎合裁判的偏好而非提高真实质量。这是一个把评价偏差转化为能力偏差的机制，比单纯的评价失真严重得多。

六、机器翻译评价的革命Machine Translation Evaluation, Rebuilt

机器翻译长期用词重叠指标评价，其与人类判断的相关在系统质量提高后急剧下降——当译文都足够好时，用词不同不等于质量不同。取代它的是基于预训练模型的学习型指标，其与人评的相关显著更高，并可给出细粒度的错误定位。

人评一侧同样重建：从笼统的五分制打分，改为按错误类型与严重程度标注的多维质量框架。这使得「哪里错了、错得多重」可被记录，而不只是「大概几分」，也使人评本身的一致性可以被测量。

最具方法论价值的是元评价传统：本领域每年举办的评测活动会系统检验各指标与人评的一致性，并公开排名。这一「评价指标必须被评价」的制度，在整个人工智能领域中是罕见且先进的。

这一经验正被反向输出到通用评测：把机器翻译几十年积累的元评价方法用于评价大模型的多语言生成。一个老子领域的方法学积累，在其技术被吸收之后，成为它对新范式最有价值的贡献。

这条线最值得输出的是它的制度：每年公开地检验各项评价指标与人评的一致性并排名。任何一个依赖自动指标的领域都应当建立类似机制，否则指标的失效只会在若干年后被偶然发现。

七、多语言与低资源Multilinguality and Low-Resource Languages

多语言模型使一个模型服务上百种语言成为可能，跨语言迁移让低资源语言从高资源语言的数据中受益。评测集的建设同步推进，覆盖上百种语言的平行测试集成为基础设施。

而评测本身的问题在这十年被揭示：多数多语言基准由英语翻译而来，因而携带英语的话题、文化预设与句法痕迹；用机器翻译构造的评测会系统性高估模型在低资源语言上的表现；而语言选择本身偏向有现成资源的语言。

由此产生的方向是本土构建：由母语者直接采集与标注、覆盖本地文化情境的问题、并检验译制基准与本土基准的结论差异。已有研究显示两者的模型排名可以不一致，这意味着此前基于译制基准的多语言结论需要重估。

更结构性的问题是数据与算力的分布：语言的数字资源量与其使用者数量严重不成比例，而模型能力大体跟随数据量。「技术会自动惠及所有语言」这一乐观预期没有实现，缩小差距需要专门的数据建设投入，而非等待模型变大。

还有一层与数据基础设施相关：低资源语言的差距不能靠模型规模弥补，只能靠语料建设，而语料建设是长期、劳动密集、且没有论文产出的工作。这类工作在现行学术评价下几乎无人愿做，是差距持续存在的制度性原因。

八、分词与文本表示的底层Tokenization and Its Discontents

模型不直接处理字符而是处理子词单元，切分表由语料统计得到。这一选择带来两类后果。其一是语言公平：切分表主要由高资源语言的语料决定，因而同一段意思在某些语言上需要数倍的单元数，直接导致更高的成本、更短的有效上下文与更差的性能。

其二是能力的怪异边界：字符级操作（数字符、押韵、拼写变换）、数字与算术、以及罕见词的处理，都受切分方式影响。许多被归因于「推理能力不足」的失败，实际来源是文本被切开的方式。

回应有两条：改进切分（按字节、按等价压缩率跨语言平衡、数字逐位切分）与取消切分（直接在字节或字符上建模，用层次结构补偿序列变长）。后者在这十年后期取得实质进展，但计算代价仍是主要障碍。

这一条的普遍教训值得记：底层表示的选择会在很远的地方产生看起来毫不相关的能力差异。当一个系统的能力边界令人困惑时，先检查它的输入是怎么被切开的。

它还解释了成本上的不平等：同样一句话在某些语言上消耗数倍的词元，因而按词元计费的服务对这些语言的使用者系统性更贵。一个纯技术的实现细节，直接转化为可测量的经济不平等。

九、检索增强生成Retrieval-Augmented Generation

把知识存在参数里有三个问题：更新需要重训、来源不可追溯、且容量与规模绑定。检索增强的做法是先从外部语料中检索相关片段，再让模型基于这些片段生成，从而使知识可更新、可溯源、可按权限控制。这三点是工业采纳的真正原因，而非性能。

工程上的关键环节被逐一识别：切分策略决定召回的完整性、混合检索（关键词加向量）优于任一单独方式、重排序对最终质量的影响常大于检索本身、而「检索到了却没被用上」与「没检索到」是两类需要分别诊断的失败。

评价因此变得复杂：需要分别评价检索质量与生成的忠实度，而后者要求判断输出是否被给定片段支持——这本身是一个需要被评价的判定任务。可归因性成为这一形态的核心指标，其自动化评价仍不可靠。

结构性的限制是它不解决推理与冲突：当检索到的片段互相矛盾、或问题需要跨多个片段综合，简单的检索加生成会失败。由此产生的多轮检索与查询分解，把这一形态推向了智能体式的流程。

从系统角度看，这一形态的真正价值是把「知识」与「能力」解耦：模型负责语言与推理，外部存储负责事实与权限。这一分工使得同一模型可以服务于权限完全不同的用户，而这是企业部署的硬需求。

十、幻觉与校准Hallucination and Calibration

生成模型输出流畅且格式正确的错误内容，这与传统系统的失败方式完全不同——传统系统失败时显然失败，生成系统失败时看起来成功。这使得下游的人工核验成为必需，也使自动化部署的风险评估变得困难。

机制上的分解已有共识性的部分：训练目标奖励流畅与看起来合理，而非「不知道就说不知道」；训练数据中本身包含错误；检索与上下文不足时模型会用先验补齐。其中「训练与评测都不奖励弃权」是一个可以被直接修正的制度性原因。

校准是可操作的抓手：模型的置信度与其正确率的对应关系可以被测量并被改善，而校准良好的系统即使能力不变，其可用性也显著提高——因为可以按置信度分流（见人机交互面板的互补性条）。

评价与缓解的现状是分层的：在有明确参考的封闭任务上，事实性可自动评价并已有可测量的改善；在开放式生成上，评价本身仍依赖人或模型裁判。因而「幻觉率下降了多少」这类跨模型比较，在开放任务上应当谨慎对待。

值得单列的是弃权的制度性缺失：几乎所有基准都按正确率排名，而不给「说不知道」任何奖励。只要评测不奖励弃权，模型就会被训练成永不弃权——这是一个可以由评测设计直接修正的问题。

十一、标注者分歧Annotator Disagreement as Signal

传统做法把多个标注者的分歧用多数票消解，得到一个「黄金标签」。这十年的工作指出：在情感、冒犯性、蕴含关系与自然语言推理等任务上，分歧是系统性的且与标注者的背景相关，多数票等于让多数群体的判断成为唯一真值。

由此产生的方法转向包括：保留完整的标注分布而非单一标签、把模型训练与评价改为拟合分布、以及记录标注者的相关背景信息以便分析。「谁的标签算数」由此成为一个必须被明说的设计决定。

对模型评价的直接后果是天花板的重新计算：当人与人之间的一致率只有某个水平，模型超过该水平的分数就无法解释。若干经典基准的「超越人类表现」由此被重新审视。

这条线与内容审核、价值对齐直接相接：审核标准在不同社群间本就不同，而把一套标注变成全球统一的规则，是把某一群体的判断制度化。技术上的多数票，在部署时就是一个治理决定。

它对「超越人类」这类说法是一次根本性的纠正：当人与人之间的一致率有限，任何超过该上限的分数都说明测的不是原来那个东西。这一判据应当成为所有此类宣称的必要检验。

十二、长上下文与记忆Long Context and Memory

上下文窗口在数年间从数千扩展到百万量级，使整本书、整个代码库或长对话可以一次性放入。但检验显示有效使用与名义长度存在明显差距：信息位于上下文中部时的利用率显著低于首尾，且随长度增加、跨片段综合的能力下降。

由此形成的工程共识是：长上下文与检索不是替代关系而是互补——用检索缩小范围、用长上下文容纳必要的完整片段。纯靠塞进全部内容的做法在成本与效果上都不占优。

记忆是另一条线：跨会话保留信息需要在「写入什么、何时召回、如何遗忘」上作出设计，而这些是系统问题而非模型问题。其难点与数据治理相同——什么该记、记多久、谁能读，且涉及隐私与用户预期。

评价方法本身在这十年被重建：简单的「大海捞针」式检索测试很快饱和且不反映真实能力，因而转向需要跨多处综合、需要顺序推理、以及需要在干扰信息中辨别的长文本任务。评测的难度必须与能力同步增长，否则立刻失去区分度。

从产品角度看，长上下文最被低估的代价是成本与延迟：把全部内容塞入上下文的做法在计费与响应时间上都不划算。检索与长上下文的最优配比是一个可以逐场景计算的工程问题，而多数实现凭直觉选择。

十三、语音与文本的统一Speech and Text, Unified

语音识别长期需要按语言、按领域、按口音分别建模与适配。用大规模、弱监督的多语言音频文本对训练的模型改变了这一点：同一个模型在数十种语言上达到可用水平，并同时具备翻译与语种识别能力，且对噪声与口音的鲁棒性明显更好。

随后语音被纳入统一的生成框架：语音被离散化为单元序列，从而可以与文本共用建模方式，实现语音到语音的直接转换而不必经过文本中转。这使得没有书写系统的语言第一次进入了技术视野——文本中转在这些语言上根本不可行。

工程上的现实收益是巨大的：转写、字幕、会议记录与语音接口的成本下降一个量级，直接推动了无障碍能力的普及（见人机交互面板）。

遗留的问题集中在低资源与安全：语言之间的性能差距与文本侧同样悬殊；而高质量的语音合成使声音伪造成本骤降，声纹作为身份凭证的可靠性因此被削弱，相关的检测与凭证机制远未成熟。

还有一层无障碍意义值得记：实时转写与字幕的质量跃升，使听障者在会议、课堂与公共场合的参与条件发生了实质改变。这可能是这十年语言技术产生的最确定的社会收益，且它不依赖任何前沿能力。

十四、信息抽取与结构化输出Information Extraction and Structured Output

命名实体识别、关系抽取与事件抽取曾是各自独立的子领域，各有标注规范与专用架构。如今的通行做法是给通用模型一个模式定义（字段、类型、枚举值），要求其按该结构输出，并在解码时用语法约束保证输出一定合法。

约束解码是关键的工程环节：通过在每一步限制可选词元，可以保证输出满足给定的语法或模式。这把「格式正确」从概率问题变成了确定性保证，是把生成模型接入既有系统的必要条件。

剩下的问题是内容而非格式：字段合法不等于抽取正确，而错误的抽取会安静地进入下游数据库。因而这一环节的核心是可核验性——要求模型给出原文中的证据片段，使每一个抽取结果可回溯。

对既有资源的影响值得记：几十年积累的标注规范（什么算一个实体、边界如何划分）在通用模型的使用中大量被绕过，而这些规范中包含着对语言现象的真实认识。这是任务坍缩带来的知识流失中最具体的一例。

约束解码这一技术值得推荐给所有把生成模型接入系统的人：它把「希望模型输出合法格式」变成「模型不可能输出非法格式」。凡是能用语法描述的输出约束，都不应该靠提示与重试来保证。

十五、对话与任务型系统的重构Dialogue Systems, Rebuilt

任务型对话此前是一条严格的管线：识别意图、抽取槽位、跟踪状态、查询后端、生成回复，每一环有专门的模型与数据集。端到端的生成模型可以在无专门训练的情况下完成大部分环节，使搭建一个可用系统的成本从数月降到数天。

代价是可控性与可测试性：管线系统的每一步都可检查、可断言、可回归测试，而端到端系统的行为只能通过样例观察。因而工业实践是折中的——用生成模型做理解与回复，用显式的状态机与工具调用保证流程与副作用可控。

评价同样退化：管线时代有槽位准确率与状态跟踪准确率这类明确指标，而端到端系统的评价依赖对话级的人评或模型裁判。「更好用但更难测」是这次重构的准确概括。

留下的具体教训是：凡涉及真实副作用（下单、转账、发信）的环节，必须由确定性的代码而非生成来执行，模型只负责决定调用什么。这条边界在这十年被反复的事故教训所确认。

这条线给出的边界规则值得写成工程铁律：决定可以由模型作出，执行必须由代码完成。模型输出一个结构化的动作意图，由确定性代码校验权限与参数后执行——这样错误可被拦截，且责任可被追溯。

十六、语言模型作为语言学研究对象Models as Objects of Linguistic Inquiry

理论语言学的核心争论之一是人类语言的习得需要多少先天偏置。此前无法实验，因为不能控制儿童的输入。语言模型提供了一个替代对象：可以精确控制训练数据、可以训练在人类语言与「不可能语言」上并比较学习难度。

已有的实验给出了具有分量的结果：模型在人类语言上的学习明显快于在结构上被打乱的不可能语言，这削弱了「模型能学任何模式因而对语言学无信息」的批评（另见理论语言学面板）。而它并不直接支持任一具体的语法理论。

探针方法是另一条线：训练小分类器从模型内部表示中读出句法与语义属性，用以判断这些信息是否被编码。方法学上的关键教训是「可解码不等于在使用」——探针能读出的信息，模型未必用于其预测，因而需要因果性的干预实验来验证。

这条线的定位需要谨慎：模型的训练数据量远超儿童、模态与交互条件完全不同，因而它是关于「学习这类模式需要什么」的证据，而不是关于人类如何习得语言的直接证据。混淆两者是这一交叉领域最常见的过度解读。

从方法论看，这条线对整个可解释性研究都有借鉴意义：「能被读出」与「被用于计算」是两件事，区分它们需要干预而非观察。这与机制可解释性面板中的探针教训完全一致。

十七、水印与来源标注Watermarking and Provenance for Text

区分机器生成与人写文本的需求来自教育、新闻与平台治理。基于统计的水印在生成时对词元选择施加一个只有持钥方能检测的偏置，在文本足够长且未被改写时检测率很高，且对可读性影响很小。

脆弱性同样明确：改写、翻译、截断与混合编辑都会显著削弱信号；而水印只覆盖愿意加水印的模型，开放权重模型可以直接移除。因而它能提供「这段文字很可能出自某个加了水印的系统」，而不能提供「这段文字不是机器写的」。

被动检测（训练分类器识别机器文本）的可靠性更差，且已被证明对非母语写作者存在系统性误判——把非母语者的规范化表达误判为机器生成，这一偏差在教育场景中造成了真实伤害。

由此形成的现实判断与图形学面板一致：溯源只能证明来源，不能证伪。把检测结果用于对个人的处罚性判定，在当前的技术水平下缺乏依据——这一点在多国教育机构的政策中已被逐步接受。

关于误判的伤害需要再强调一次：检测工具在非母语写作者上的假阳性率更高，而受影响者恰是最缺乏申诉能力的群体。任何把检测分数用于处罚的制度，都应当先公开其在不同人群上的错误率。

十八、智能体化与工具使用Tool Use and Agentic NLP

把外部工具（检索、计算、代码执行、接口调用）暴露给模型，使其可以在生成过程中调用并使用结果，弥补了模型在事实、计算与时效上的固有短板。这一形态把语言模型从「回答者」变成了「协调者」。

可靠性的瓶颈在多步任务上显现：错误会沿步骤累积，且模型难以判断何时应当停止或求助。成功率随步骤数快速下降是这一形态最稳健的经验规律，因而实用系统普遍限制步骤数并在关键节点要求确认。

安全问题随之出现且具有新形态：提示注入——外部内容中携带指令，被模型当作用户指令执行。由于模型无法在原理上区分「数据」与「指令」，这一漏洞难以彻底修复，只能靠权限最小化、输出过滤与关键动作的人工确认缓解。

评价方式也随之改变：从单轮问答的准确率，转向任务完成率、步骤效率、失败模式分布与副作用安全性。这套评价与软件工程的基准建设合流（见软件工程面板），也继承了同样的污染与代表性问题。

提示注入这一问题的结构值得记：它源于「指令与数据在同一通道」这一根本设计——与缓冲区溢出、与结构化查询注入是同一类漏洞的第三次出现。前两次的最终解法都是在通道层面分离，而这里目前还没有对应的机制。

十九、数据来源与语言的权力Data Provenance and the Politics of Language

对公开语料库的审计发现了几类系统性问题：语言分布极度倾斜、大量文本来自少数几类来源、包含未经授权的受版权保护内容、以及未被充分清洗的有害内容。而多数商业模型的语料构成不公开，使外部审计不可能。

这引出了三条并行的议题线：法律（训练是否构成合理使用，多国诉讼与立法正在给出不同答案）、伦理（社群是否同意其语言数据被用于训练）、以及技术（数据来源如何被记录与追溯）。三者的进展速度差异很大。

语言社群的立场在这十年被明确表达：多个原住民语言社群主张对其语言数据的主权，要求参与决定其是否以及如何被用于训练。「语言不是无主的自然资源」这一主张，与生态学、考古学中的数据主权议题完全同源。

技术上的对应物是数据溯源工具与许可标注：为语料建立可机读的来源与许可记录，使模型可以声明其训练数据的合规范围。其覆盖率仍低，而它正在成为企业采购模型时的实际条款。

从治理看，这条线正在把「语料是什么」变成一项可被审计的产品属性。训练数据的可追溯性，正在走上与食品配料表、软件物料清单相同的道路——先是自愿披露，再是采购要求，最后可能是法定义务。

二十、这门学科对自己的重新定位Redefining the Field

预训练的规模使能力的前沿由算力与数据决定，而这两者集中在少数机构。这对学术研究构成了直接挑战：无法训练前沿模型的研究者，还能对这门学科作出什么不可替代的贡献。

已经浮现的答案集中在几处：评测与测量（前沿机构最不愿也最不适合评价自己）、低资源语言与本土数据（需要长期的社群工作而非算力）、失败模式与安全（对抗性研究需要独立性）、以及语言学与认知的交叉（把模型当作研究对象而非产品）。这四项都具有「不依赖前沿算力而依赖专门知识与独立性」的特征。

制度上的配套仍不足：模型访问权由提供方控制、评测所需的算力仍然可观、而研究者豁免与安全研究的法律保护在多数辖区不明确。知识生产的独立性问题，在这里与平台研究、网络测量完全同型。

更根本的重新定位是问题的更换：这门学科的核心问题正从「如何让机器理解语言」变成「如何知道机器理解到了什么程度、以及在什么情况下不能信任它」。前者是工程问题，后者是测量问题——而测量恰恰是本领域这十年最薄弱的一环。

最后补一句关于本领域自我认知的判断：把评测视为二等工作，是这门学科当前最昂贵的一个习惯。在能力由少数机构决定的格局下，可信的、独立的测量恰恰是最稀缺也最有杠杆的贡献。

二十条排在一起，这门学科二十年的形状极其清楚：上半程是能力的爆发与任务体系的坍缩，下半程是评测的全面危机。当几十个子任务被一个统一范式吸收，剩下的唯一硬问题就是「怎么知道它到底行不行」——而这门学科在此处的准备最不充分。构念效度普遍未被检验、基准被训练数据污染、用模型当裁判引入循环、标注的多数票掩盖了合法分歧、多语言评测把这些问题再放大一倍。能力增长的速度，超过了测量能力增长的速度，这是本面板最核心的一条判断。

第二条主线是被坍缩掩盖的知识流失。分词方式决定了哪些语言更贵、哪些能力更弱；信息抽取的标注规范里凝结着对语言现象的真实认识；对话管线的显式状态使系统可测试；机器翻译几十年积累的元评价方法，如今成了通用评测最需要的东西。这些积累在范式更替中被大量绕过，而其中相当部分并未过时。一门学科在技术跃迁时最容易丢掉的，恰是它上一代最扎实的那部分方法学。

第三条主线是这门学科正在重新划定自己的位置。当能力的前沿由算力决定，独立研究者的比较优势就落在了测量、低资源语言、失败模式与语言学交叉这四处——它们的共同点是依赖专门知识与独立性，而非依赖规模。这一转向与它当前最紧要的问题恰好吻合：核心问题已经从「如何让机器理解语言」变成「如何知道它理解到了什么程度、以及何时不能信任它」。前者是工程，后者是测量；而一门学科能否诚实地测量自己，最终决定它能走多远。