近年来围绕大型语言模型(LLM)是否真正"懂语法"的讨论愈发激烈。表面上,LLM在生成流畅文本、完成句子和应答任务上表现卓越,但能否凭借输出概率准确区分语法上可能(grammatical / well-formed)与不可能(ungrammatical / ill-formed)的句子,是一个更深层且具争议的问题。2025年一篇题为《Large Language Model probabilities cannot distinguish between possible and impossible language》的论文(arXiv:2509.15114)对该问题给出了警示性的证据,指出字符串概率并非可靠的语法能力代理。理解这一结论对于语言学研究者、模型工程师和产品决策者都至关重要。本文将从研究设计、核心发现、原因分析、对评估方法的启示以及改进方向逐步剖析,以便读者把握该结论的含义与后续实践方向。 研究核心与方法概述 论文通过一个看似直观却富含哲学与方法论意义的检验入手:如果LLM的下一个标记或整句概率能反映模型对"语法可能性"的内部表示,那么在一组控制良好的最小对比条件中,明显的语法错误应在概率或surprisal(惊讶度)上产生与其他类型语言异常不同的"峰值"。
研究者以最小对比对(minimal-pair)为单位,构造并比较四类句子:常规且频率较高的句子、低频但语法合法的句子、语法不合法的句子(明显违反句法规则)、以及语义或语用上怪异但合法的句子。作者对四种不同的主流模型内部概率进行了提取和计算,观察不同条件下的surprisal差异。 论文的关键发现是:在这些比较中,语法不合法句子并没有呈现出独特的概率/惊讶度签名。相反,语义奇怪和语用奇怪的句子往往显示出更高的surprisal。换言之,模型分配给"明显不合语法"的句子的低概率,常常并不足以显著超越那些语义上异常但句法合法的表达。研究团队得出结论:字符串概率不能作为模型内部语法知识的可靠代理,进而对以概率为依据判断LLM"是否掌握语言能力"的研究范式提出质疑。
为什么概率不能直接说明语法能力 理解为何概率不等同语法判断,需要把概率的来源和模型的学习机制放在语料统计和信息论的语境中考量。LLM通过海量语料的共现统计训练,学到的是表层的分布式模式,包括词序列的联合概率、搭配偏好和上下文相关的主题信息。概率高低反映的更多是数据中的频次、语境可预测性及语义连贯性,而不是抽象的句法规则。语法不合法但依赖高频搭配的表述可能仍被赋予比较低的惊讶度,而语义或语用上罕见但句法可接受的组合则因稀有或不可预测而更"惊讶"。 此外,模型的概率计算是对下一个标记的条件概率进行连续乘积(或对数和),这种逐标记的累积机制会放大语义不连贯处的惊讶度,而语法错误不一定在逐标记层面立即显现,尤其当语法违背发生在结构层面(如主谓一致、嵌套界限)而不是词序上较显眼的位置时,概率信号可能显得更微弱或被分散。 语义与语用异常更容易引发高surprisal 研究中语义和语用异常比语法不合法产生更高surprisal的现象并不令人惊讶。
LLM在训练中接触到大量主题连贯、语义一致的文本,因此遇到逻辑上矛盾或常识违背的句子时,内部预测分布会显著扩散,从而在概率流形上产生明显的异常。例如,把两个常见搭配错位或在不合适的上下文中使用罕见短语,往往引发模型对下一个词的预测高度不确定,使整体句子惊讶度急剧上升。相比之下,某些语法违规在语料中可能存在噪声实例(口语、错误写作、方言变体),因此模型并不把它们完全视作零概率事件,而是赋予了一定的统计权重。 对"模型懂语法"的评估如何被误导 许多早期声称LLM"掌握语法知识"的研究,采用了基于概率或surprisal的判据:如果模型对语法正确句子赋予更高概率或更低惊讶度,就被视为模型感知到语法结构。但当前研究表明,这类结论容易被语料偏差、频率效应和语义信息污染所误导。概率信号无法区分是因模型学到抽象规则还是仅仅捕获了局部统计关联。
此外,未能区分语义、语用与句法层面的异常会导致对模型能力的过度乐观或错误归因。 这对实际应用意味着什么 在产品层面,若以概率阈值来过滤不合语法或不合规范的生成,可能会错过很多语义上危险或不合适的输出,同时误判一些语法错误为可接受。举例而言,内容审核或自动修改工具若把低概率视为"错误语句",可能会对语义怪异但语法上合法的文本产生过度修正或屏蔽,而对某些语法错误的容忍则可能导致质量问题未被察觉。 在语言研究与认知类比方面,这一发现也带来警示。把模型的概率行为直接类比为人类心理中的语法判断,是不严谨的。人类在语法判断中依赖抽象规则、可组合的句法结构和语用推理,而LLM的概率输出主要反映了训练语料的统计结构,两者的机制并不等同。
对研究方法的反思与替代策略 若概率不是评估语法知识的可靠代理,研究者需要转向更直接探测模型内部表征或采用更精细的行为实验。一种路径是使用探针任务(probing)来检验模型隐藏层中是否编码了句法树、依存关系或其他结构性信息。另一种路径是通过因果干预和对抗测试来评估模型在操纵结构信息时的稳健性,例如通过控制语料频次、替换语义成分或构建严格的对照集来拆解概率与结构的贡献。 还可以借鉴心理语言学的范式,设计类似人类受试者的实验,比较模型和人类对一组经过严格控制的句子在反应时间、置信度打分或二元判断上的表现差异。这类实验有助于区分模型是否依赖统计提示还是内在的规则式推理。 建议与可行实践 在评估LLM语法知识时,研究者应避免单靠生成概率或整体surprisal的结论。
需要多模态证据,包括对比不同模型层次的表征、分析注意力结构、利用合成语料控制频率以及引入人类基准。对于工程师而言,在用概率作为过滤或置信度衡量时,应结合其他信号,例如语义一致性检测、常识推理模块、语法解析器结果或专门的违例检测器,以降低误判风险。 监管与伦理考量也须纳入视野。若监管策略基于模型概率来判定文本合规性或风险性,则可能产生偏差性错误,忽视语义风险而误拦合法但少见的表达,或者容忍低概率但语义危险的句子。透明的评估报告和多层次检测机制可以缓和这些问题。 未来研究方向 未来的研究可以在几个方面展开。
首先,扩大模型与语言类型的覆盖范围,检验在多语言、低资源语言或具有强形态变化的语言中,概率信号与语法能力的关系是否一致。其次,开展更细粒度的控制实验,系统操纵语料频率、话语背景与结构复杂度,以量化各因素对surprisal的贡献。第三,发展新的可解释性工具,揭示模型内部何种表征或路径在处理语法与语义信息时发挥主导作用。 结语 arXiv:2509.15114提出的结论提醒我们,对LLM"懂语法"的判断不能仅凭表面概率或生成质量。概率反映的是数据分布和可预测性,而非必然的规则性理解。无论是科研还是工业应用,评估语言模型的结构性能力都应采用多证据、多方法的严谨框架,避免将统计表象误读为认知等价。
通过结合内部表征分析、对抗式验证以及借鉴心理语言学的方法,研究与工程社区可以朝着更可信、更可解释的语言模型能力评估迈进。 。
