随着生成式人工智能在内容创作、对话系统和长文本写作等领域的广泛应用,如何在保证文本质量的前提下提升生成速度,成为工程与研究双重关注的问题。传统自回归语言模型(ARM)以逐步预测下一个词的方式获得高似然与高质量结果,但其固有的串行属性导致生成长文本时延迟和吞吐量瓶颈明显。近日被接收为ICLR 2026论文的FS-DFM(Few-Step Discrete Flow-Matching)提出了一条有吸引力的替代路径:在离散扩散/流匹配框架内,通过设计能在极少采样步数下也能稳定生成高质量文本的模型,实现长文本生成的速度与精度兼顾。 要理解FS-DFM的意义,首先需要回顾两类主流范式的优缺点。自回归模型以条件概率乘积的方式逐步生成,每个时间步都依赖先前已生成的令牌,优点是训练与采样目标直接一致、通常能取得很高的似然值和人类可读的输出。但其串行推理无法并行化同一序列位置的预测,生成1,024个令牌需要1,024次模型前向计算,导致延迟与能耗随着序列长度线性上升。
相比之下,扩散语言模型(DLM)和流匹配方法通过并行地在所有位置上建模概率分布的演化,理论上可以在每一步同时更新整句,具有天然并行优势。但实际离散扩散模型通常需要数百到数千次迭代以将噪声逐步去除,才能达到与自回归模型相当的质量,从而把串行深度转换为了迭代宽度,仍难以满足在线或低延迟场景。 FS-DFM的核心思想在于把"采样步数"作为显式训练的条件,让模型学会在不同步数预算下均能输出一致且高质量的结果。换言之,作者并非只训练一个在长跑多步迭代下表现良好的去噪器,而是训练一个能在少量大步更新中直接到达与多步轨迹终点相近分布的模型。为实现这一目标,FS-DFM包含三个关键设计:将步数预算纳入训练的条件化机制、一个防止概率过冲的可靠更新规则,以及从长轨迹中蒸馏出的教师引导以稳定少步采样。 把步数预算作为条件信息意味着模型在训练时看到的不仅是输入与目标分布的映射关系,还会学习如何在不同次数的更新里分配"移动概率质量"的策略。
理论上,若训练充分,这会使得在8步、16步或更少步数的预算下,模型都能做出合适的"大跳",将当前分布推向高质量文本的区域,而不是仅仅依赖细小的增量修正。 更新规则是FS-DFM稳健性的另一核心。离散概率空间的直接大步移动有过冲风险,即在一次更新中把概率质量移向错误的符号或结构,从而导致生成失败或不稳定。论文中提出的更新法则能在少步设置下引导概率朝向正确方向同时避免剧烈振荡,这为少步扩散在离散文本空间中可靠工作奠定了基础。此外,作者借助长期(长步数)轨迹生成的高质量样本作为"教师",对少步模型进行蒸馏训练,从而把许多小步的累积效果浓缩到少量大步的参数化更新中。教师引导不仅提升了最终质量,也增强了采样时的稳定性。
在评估方面,作者在语言建模任务上展示了令人瞩目的结果。论文报告称,FS-DFM在生成1,024个令牌时,仅用8步采样就能达到与一个使用1,024步离散流基线模型相当的困惑度(perplexity),并且总采样时间相比基线可以快到128倍。换言之,FS-DFM并非在质量上做重大妥协来换取速度,而是通过结构化训练与教师蒸馏在少步设置下也能保持高质量输出。这一结果对需要高吞吐量或低延迟的长文本生成场景具有极大的实用价值。 从实际应用角度看,FS-DFM的潜在影响广泛。长文案生成、长篇摘要、多轮对话历史重写以及代码或技术文档的自动补全等任务都对生成长度和质量有高要求。
在这些场景中,能够用极少步采样并行生成整段文本,意味着显著降低的响应延迟、更高的服务器吞吐量和更低的能耗,尤其对大规模在线服务和边缘推理部署更为关键。此外,少步离散流匹配还可能与模型蒸馏、量化和剪枝等工程化手段结合,进一步实现资源受限环境下的高效部署。 当然,任何方法都有适用边界和需要注意的问题。首先,将采样步数作为训练条件虽然能提升少步能力,但可能会增加训练复杂性与资源开销,因为模型需要在更多条件下学习鲁棒的映射策略。其次,论文结果主要对比的是相似规模模型下的采样步数与困惑度,真实应用中还需评估生成文本的语义连贯性、多样性与事实性等方面,特别是在需要严格事实核验或逻辑一致性的任务上,还需更多样化的人类评估。此外,少步大跳有时可能倾向于更"保守"的输出策略以降低风险,这可能影响输出的创造性或多样性,这种权衡需要根据具体应用场景调优。
从研究方向来看,FS-DFM为离散扩散模型的实用化打开了新思路。未来工作可以继续探索更高阶的更新规则、更高效的教师蒸馏策略,以及如何与条件生成(如提示、约束解码、控制生成风格)无缝整合。另一个值得关注的方向是对少步扩散模型在事实性、偏见与鲁棒性方面的系统评估,尤其是在多模态生成或跨语言生成场景中,验证其泛化能力和风险边界。此外,结合模型压缩与硬件友好的并行化策略,或能进一步推动少步离散流匹配在工业界的落地。 对于工程实践者,有几个可操作的思路可以借鉴。考虑到FS-DFM使用了教师蒸馏,从已有的长步扩散模型或自回归模型导出高质量长轨迹样本,作为少步模型的训练目标,是一种可行的迁移路径。
另一个策略是在训练时显式引入不同步数的条件,以便在模型推理时能够灵活控制速度与质量的折中。最后,在生产部署前应进行针对性的人类评估与安全检查,确保少步生成在目标任务上的语义与事实完整性满足需求。 总的来说,FS-DFM展示了通过算法与训练范式设计,能够在保留生成质量的同时显著提升长文本生成效率的可能性。它既回应了自回归方法在长序列推理中的性能瓶颈,也为扩散类并行生成方法在实际工程中的适用性提供了新的证据。未来随着该方向的深入,结合更完善的评测与系统工程优化,少步离散流匹配有望成为长文本生成场景中兼顾速度、质量与资源效率的重要工具。 。
