随着人工智能技术的飞速发展，大型语言模型（LLM）在自然语言处理领域扮演着愈发重要的角色。近年来，模型能够处理的上下文长度持续增加，最先进的模型如GPT-4.1、Claude 4以及Gemini 2.5等，已经支持数十万乃至数百万级别的输入token。然而，这种输入长度的大幅扩展，是否意味着模型性能能够保持一贯稳定，依旧是学术界和工业界广泛关注的问题。近期由Chroma团队发布的《Context Rot技术报告》深刻剖析了输入长度对大型语言模型性能的影响，揭示了一个被称为“上下文衰减（Context Rot）”的现象。该现象表明，尽管模型架构设计旨在均匀处理整个上下文，但实际表现中，随着输入长度增加，模型的性能却逐渐降低且表现不均匀。 报告中通过18款不同语言模型的对比实验，包括封闭源代码的领先模型和开放权重模型，采取了精心设计的任务和测试框架。
与传统的测试方法不同，报告创新性地排除了任务本身复杂度随上下文增长而变化的干扰因素，严格控制任务难度，单独探讨上下文长度本身对模型性能的影响。实验涵盖语义问答、简单文本复述以及包含大量长文本内容的检索任务，从多角度验证了上下文扩展带来的性能衰减现象。值得一提的是，该报告还扩展了经典的“针在草堆（Needle in a Haystack，NIAH）”检索任务，不仅测试了字面匹配，也加入了更多具有语义含义的检索，进一步彰显了现实应用中上下文对模型影响的复杂性。 该技术报告的重要发现之一是模型对上下文内容的处理并非均匀一致。传统观点认为，模型应当同等对待输入中的任意token，然而现实中，远距离信息的利用效率显著下降。模型对与查询高度相似的“针”保持较好识别能力，但当语义相似度降低时，长上下文环境对模型准确率的负面影响尤为显著。
此现象反映出现有模型在扩展语义理解和推理能力时，面对长上下文时遇到了天然的瓶颈。 此外，文本中存在的“干扰项”也被证明是影响模型表现的关键因素之一。报告区分了“相关干扰项”和“无关内容”，指出当文本中包含与查询主题相关但实际无助于回答的内容时，模型容易受到误导，表现出更高的错误率或生成虚假信息。干扰项的数量与性质随上下文长度增加而加剧这一问题，使得理解和提取关键信息更加困难。报告还展示了不同模型家族在面对这些干扰时表现出的差异；例如，Claude系列模型倾向于更谨慎，面对不确定时更倾向于放弃回答，而GPT系列则更容易产生自信但错误的答案。 在“针-草堆相似度”实验中，研究人员探讨了位置语境和主题匹配度对模型性能的影响。
令人惊讶的是，结构严谨、逻辑连贯的文本反而使模型更难提取针的信息，而无序打乱句子顺序（保持主题一致但丧失语义连续性）则提升了模型在长文本中的识别能力。这一逆向现象启示我们，语言模型的注意力机制可能更依赖于句子之间的局部差异度，而非逻辑连贯性，提示未来对模型的解释性研究和架构优化方向。 在实际应用场景的验证中，利用LongMemEval数据集对聊天助理的表现测试进一步揭示了上下文长度与任务表现之间的关系。包含大量无关会话历史的全量输入导致模型性能明显下降，而只保留精简相关历史的输入则能显著提升答案准确率。此结果在当前全场景语言模型和对话系统设计中具有重要启示，提示开发者应重视上下文选择与管理，避免模型被无关信息淹没，保证模型推理的有效性。 报告还特别设计了“重复词汇复制”任务，挑战模型在输出长度随着输入增长而线性扩张时的表现。
在理论上，简单的复述任务应当是一项基础且稳定的能力，但实验显示，不管是Claude、GPT还是Gemini系列，都随着长度增加出现了性能下降，包括生成错误、遗漏、随机输出甚至拒绝回答的现象。此任务直接暴露了大型语言模型在长文本生成的稳定性问题，强调了长上下文管理与推理之间的紧密联系。 了解上下文衰减的现象与机制，对于未来语言模型的训练优化和应用设计至关重要。首先，模型架构或需在自注意力机制、记忆增强结构等方面进行改进，以有效处理百万级别的上下文输入，同时避免信息遗失或被干扰。其次，任务设计和上下文工程的优化不可忽视，将最相关的信息高效聚焦于模型接收区间内，可以最大限度地缓解性能下降风险。此外，模型应进一步提升在面对语义模糊和干扰时的稳健性，例如通过引入更先进的判别机制和不确定性估计策略，降低虚假回答概率。
此次技术报告为该领域提供了大量开放数据和完整代码，方便研究人员复现和拓展相关工作。在模型评估指标设计上，报告充分利用了多种嵌入模型计算相似度，并结合基于GPT-4.1的对齐判别器，确保评价质量与一致性。多维度、多任务的实验方法为今后构建更真实、更具挑战性的长上下文测试集奠定了坚实基础，也为模型开发者提供了更准确的性能诊断方案。 总体而言，“Context Rot”揭示了大型语言模型在长上下文处理上的一系列不足和隐忧。随着输入长度从几千扩展至百万甚至千万，模型难以保持一致性和准确性，尤其是在语义复杂及存在干扰的场景中表现尤为突出。围绕上下文衰减展开的研究，对推动更加可用、可靠的语言智能系统落地应用意义重大。
未来，结合模型结构优化、上下文选取策略与任务适配技术的协同发展，将是突破长上下文瓶颈的关键方向。业界和学界都应当基于这些发现，进一步探索与创新，打造真正具备长文本理解与生成能力的泛用型人工智能系统。
