当我意外将大语言模型记忆系统转化为程序分析:一段技术探索之旅

比特币 挖矿与质押 去中心化金融 (DeFi) 新闻

在大语言模型应用开发的广阔天地中,记忆系统的构建始终是困扰开发者与研究者的一道难题。长久以来,我们习惯于依赖向量数据库来实现语义检索,通过嵌入向量与余弦相似度来寻找历史对话中的相关内容。然而,当处理复杂的多步骤推理任务时,这种方法暴露出一个根本性的缺陷:它能够回答「过去有哪些信息与当前问题相关」,却无法回答「基于我们目前掌握的所有信息,什么结论是真实可信的」。这个区别看似细微,却在实际应用中造成了巨大的差异。让我们设想一个典型的漏洞研究场景。研究人员与大语言模型代理协作分析某个软件的安全漏洞,在数小时的探索过程中逐步建立了许多关键认知。

代理可能已经确认攻击者能够控制某个对象,该对象指向另一个内核对象,从而推断出攻击者可以操控内核对象这一重要结论。然而,当研究进行到后期,使用调试器发现之前观察到的指针关系实际上是错误的假设时,问题就出现了。传统的记忆系统会保留所有历史信息,包括最初被否定的事实与依赖该事实推导出的结论,然后期望大语言模型能够从这堆混杂着正确与错误信息的记录中自行判断哪些结论仍然有效。这种做法不仅效率低下,更是在根本上将推理责任错误地分配给了概率模型,而非确定性计算引擎。这个困境让研究者开始重新审视记忆系统的本质需求。在漏洞研究或复杂推理任务中,代理真正需要的并非简单的信息存储与检索,而是一套能够维护当前知识状态的机制。

这套机制应当能够追踪事实之间的依赖关系,在某个输入事实发生变化时自动使依赖它的所有推导结论失效,同时保留撤销操作的完整轨迹以便追溯推理过程。程序分析领域数十年来一直在解决类似的问题,从数据流分析到符号执行,从依赖图到增量计算,这些成熟的技术积累为解决大语言模型的记忆困境提供了极具价值的思路。程序分析的核心范式与上述需求呈现出惊人的契合度。在进行程序分析时,我们通常拥有大量关于程序的事实以及从这些事实推导出新事实的规则。例如,已知函数A调用函数B,函数B调用函数C,通过定义传递性规则,我们可以推导出函数A能够到达函数C。这一过程最终会收敛到一个包含所有可推导结论的固定点。

更为关键的是,当某个输入事实发生变化时,程序分析领域已经发展出成熟的增量技术,能够仅更新受影响的结果而无需重新执行整个分析过程。将这一范式映射到大语言模型的记忆系统上,输入事实对应于观察与假设,规则对应于观察之间的关系与约束,推导结论对应于研究假设与最终结论,固定点则对应于当前已知的所有信息,而增量更新则对应于当新观察否定旧假设时自动使相关结论失效的机制。正是基于这一认识,研究者开发了名为Lemmalog的系统,其核心是一个专门为大语言模型设计的Datalog引擎。Datalog是一种声明式的逻辑编程语言,允许用户描述事实与规则,而非编写详细的计算步骤。在Lemmalog中,大语言模型负责处理模糊的自然语言理解工作,将来自源代码、调试器输出、自然语言笔记等杂乱信息转换为结构化的事实。这些结构化事实随后被送入Datalog引擎进行确定性推理,系统自动计算所有可推导的结论并维护一个始终与输入事实保持一致的当前知识状态。

大语言模型在这个架构中扮演的是前端解析器的角色,负责将现实世界的信息翻译为精确的逻辑表达式,而Datalog引擎则充当中间表示与推理引擎,负责在这些表达式之间执行演绎推理。这种架构设计蕴含着深刻的工程洞见。大语言模型在处理模糊、不完整、充满歧义的自然语言信息方面表现出色,但在需要精确、可重复的推理任务中容易产生幻觉或前后不一致。通过将模糊理解与精确推理分离,我们能够让大语言模型专注于它真正擅长的任务,同时将推理一致性的责任交给确定性引擎。这与编译器设计的经典思想高度一致:前端负责解析与语义分析,后端负责代码生成与优化,两者各司其职又紧密协作。在Lemmalog的架构中,大语言模型就是编译器的前端,将各种非结构化的信息源转换为结构化的中间表示,而Datalog引擎则是编译器的后端,在这一中间表示上进行高效的程序分析。

在实现过程中,研究者遇到了若干技术挑战,其中最值得关注的是事实撤销的处理。向Datalog数据库添加事实相对直接:新事实被加入后,系统评估可能因此产生新结果的规则。然而,移除事实则要复杂得多。考虑一个简单例子:假设我们同时拥有事实A与事实B,并且规则C由A或B共同推导得出。如果移除事实A,我们不能简单地删除C,因为B仍然提供了C的另一个推导路径。只有当A和B都被移除时,C才应该消失。

在漏洞研究的语境下,这一特性至关重要,因为一个结论可能同时被多个独立观察所支持。例如,某个漏洞利用候选方案可能被认为可利用,即使某个特定的利用原语被证明不可行,因为还存在另一条独立的攻击路径。Lemmalog必须追踪每个结论的推导来源,当输入事实变化时自动评估哪些结论失去了所有支持并将其移除,同时保留那些仍有其他支撑的结论。这一追踪机制带来的一个意外收获是系统能够回答「为什么某个结论为真」这个问题。在传统的记忆系统中,如果一个运行数小时的代理最终得出某个结论,用户往往无法理解代理是如何得出该结论的。而在Lemmalog中,由于系统记录了每个结论的完整推导链,用户可以随时查询某个结论的来源与依赖关系。

例如,对于「候选漏洞三可利用」这一结论,系统可以返回其完整的推导树,清晰展示攻击者控制指针这一结论依赖于哪个观察,指针到达目标这一关系依赖于哪些观察与哪条规则。这种可解释性不仅有助于验证代理推理的正确性,更能帮助研究者理解整个分析过程的逻辑结构。更重要的是,如果某个观察后来被证明是错误的,系统能够自动识别所有依赖该观察的结论并将其标记为无效,从而防止代理基于已经被否定的假设继续推理。时间维度是另一个需要特别处理的问题。假设我们最初认为某个利用原语是可行的,后来经过进一步分析发现该原语实际上不可行。对于当前的大多数查询,我们可能只关心最新的状态,即该原语不可行。

然而,在理解为什么我们之前探索了某个特定的利用策略时,历史的中间状态仍然具有重要价值。Lemmalog通过为每个事实关联有效时间区间来解决这一问题。系统维护一个包含时间戳的知识库,允许查询当前状态、查询特定历史时刻的状态,以及追踪某个结论在整个分析过程中的演变历程。这种设计避免了将明显矛盾的陈述同时保留在记忆中的尴尬,而是让时间本身成为知识表示的有机组成部分。在基准测试中,这一架构展现出了令人鼓舞的潜力。在LongMemEval测试集上,Lemmalog取得了0.463的F1分数与0.575的准确率,虽然略低于表现最好的PropMem系统,但显著超过了简单的全上下文方法。

更有意义的是,在专门测试知识更新能力的类别中,Lemmalog以0.579的分数位居榜首,超过了PropMem的0.528以及全上下文方法的0.202。知识更新正是这一系统设计的核心应用场景:之前相信某个命题为真,后来发现该命题不再成立,系统应当如何调整其知识状态。这一结果表明,当任务的重点从「检索相关信息」转向「维护当前有效知识」时,基于程序分析思想的架构确实展现出了独特优势。在LoCoMo测试集上,Lemmalog同样表现稳健,取得了0.533的F1分数,在所有参测的专用记忆系统中位列第三。在对抗性问题的处理上,系统展现出尤为突出的能力,能够正确识别问题中包含虚假前提的情况并拒绝回答,而传统的全上下文方法则往往被语义相似的内容误导而给出错误答案。在时间推理任务上,经过对日期表示方式的修正与规范化,性能从最初的0.257提升至0.454,提升幅度接近二十个百分点。

这些数字背后是若干具体的技术改进:实体解析确保同一实体在不同对话中的不同表述能够被正确关联;混合检索策略结合关键词匹配、图结构提升与语义嵌入来定位相关事实;聚合操作的结果被正确渲染并呈现给推理模块;以及时间与数值数据被规范化为可比较的内部表示形式。值得注意的是,这些改进没有一项涉及让语言模型变得更大或更强大。它们都是围绕语言模型构建的确定性基础设施,负责维护更好的状态与管理信息流动。这与研究的初始动机形成了有趣的呼应:研究者的目标从来不是给大语言模型更好的记忆,而是让它停止遗忘我们为什么相信某些事情。如果一个代理已经推导出A蕴含B、B蕴含C,后来又发现A实际上为假,我们不需要将五十条历史消息塞入上下文窗口并期望模型自行推断C是否仍然可信。同样,如果某个利用策略依赖于一个刚刚在调试器中被证伪的假设,模型不应该在两个小时后再次建议该策略,即使某段旧对话在语义上与当前情境相关。

这些经验揭示了一个更广泛的原则:在构建大语言模型应用时,我们不必总是追求更大的上下文窗口或更长的注意力范围。有时候,真正需要的是在语言模型周围构建更好的状态维护机制。程序分析领域数十年来积累的技术 - - 依赖图、增量计算、固定点迭代、可撤销语义 - - 为解决这类问题提供了丰富的工具箱。将这些成熟的确定性技术而非纯粹的概率推断作为推理一致性的保障,可能比简单地扩大模型的记忆容量更具工程价值。当然,当前的系统仍有明显的局限性。在推理类任务上,Lemmalog的表现相对较弱,因为将复杂的条件偏好表达压缩为简单的无条件事实会丢失大量语义信息。

未来的发展方向包括支持条件性知识的直接表示,让知识能够在不同情境下表现出不同的真值,同时保留原始文本作为结构化表示可能遗漏细节的备选来源。从架构角度看,一个理想的记忆系统应当同时包含演绎状态与情景记忆,前者负责精确的事实、规则、时间与推导链,后者负责模糊的上下文、语义检索与原始文本,三者协同工作才能为代理提供既精确又灵活的知识支持。大语言模型记忆系统与程序分析的融合仍处于探索阶段,但其基本思想 - - 用确定性引擎维护推理状态而非依赖概率模型重建历史 - - 已经得到了初步验证。随着更多研究者认识到这一方向的潜力,我们或许能够看到更多将经典程序分析技术应用于人工智能系统的创新尝试。在追求更强大语言模型的同时,也许我们也应该更多地思考如何在语言模型周围构建更可靠的基础设施,让它们能够真正记住并正确地运用我们教给它们的知识。 。