近年来,大型语言模型在自然语言处理任务中的表现日益突出,然而在需要快速、精准的结构化决策场景中,传统的文本生成方式仍然带来高延迟和高计算成本。 这种情形在高并发的业务系统中尤为突出,例如客服路由、合同条款分类或票务分配等,需要模型在毫秒级别内给出明确的选项并附带置信度。 传统的做法是让模型生成完整的 JSON 对象,这不仅增加了 token 数量,还导致模型在每一步都需要进行采样,从而使响应时间延长、费用上升。 为了突破这一瓶颈,研究团队提出了将通用的 GLM-5.3-Flash 模型转化为类 Jev 的决策模型的思路,即在一次前向传递中直接输出选项的索引及其概率分布。 核心思想是利用模型的概率分布而非生成完整文本,通过提示工程让模型在第一步就给出选项索引,再读取该位置对应的 logits,对有效选项进行归一化得到每个选项的置信度。 这样即可在单一步骤完成决策,避免了多轮采样和额外的后处理,从而大幅降低延迟和费用。
为了实现该方案,团队采用了 vLLM 提供的 allowed_token_ids 与 logprob_token_ids 功能,将输出词表限制在预定义的选项索引范围内,并使用服务器端的 token oracle 获取精确的 token 编码信息,确保不同模型的 tokenizer 差异不影响结果的准确性。 通过在提示中预填充 choice_index: 并让模型在第一个 token 直接给出对应的索引,随后读取该位置的概率向量,再对选项进行重新归一化,即可得到每个选项的置信度。 这种做法不需要对模型进行微调,仅需在提示中加入明确的指令和选项列表,即可在 Privatemode 部署的 GLM-5.3-Flash 上实现。 实验表明,GLM-5.3-Flash 在单步决策时的准确率与专门训练的 Jev 模型相当,甚至在部分数据集上略有优势。 具体 benchmark 包括 28 个公开标注数据集,涵盖意图路由、情感分析、主题分类、内容审核、蕴涵、问答、法律文本以及扫描文档等多种任务,数据集的选项数量从 2 到 151 之间变化。 在这些数据集上,GLM-5.3-Flash 与 Jev 的准确率差距在多数案例中不超过 1 个百分点,统计显示没有显著差异,说明该方法在保持高精度的同时实现了与专用决策模型相当的表现。
与 Laya 这类拥有数百万参数且需要推理的模型相比,GLM-5.3-Flash 的准确率显著更高,表明在相同资源条件下,通用大模型经过适当提示即可媲美专用决策模型的性能。 除了准确率,latency 与 cost 也是评估的关键指标。 在德国地区,GLM-5.3-Flash 通过 Privatemode 的响应时间约为 180 毫秒,而 Jev 在同等条件下约为 264 毫秒,体现出更快的响应速度。 从美国地区的测试来看,两者的响应时间趋势相反,GLM-5.3-Flash 为 299 毫秒,Jev 为 164 毫秒,这说明网络与部署位置对整体延迟有显著影响。 成本方面,一百万次决策的费用中,GLM-5.3-Flash 约需 62 欧元,而 Jev 仅需 16 欧元,这主要归因于输入 token 的数量差异。 Jev 在提示中加入了约 270 个固定 token 以及每个选项约 10 个 token 的开销,而 GLM-5.3-Flash 的固定开销约为 55 个 token,每个选项约 20 个 token,在选项数量较少时整体 token 数更少,但在选项超过 21 个后则略有上升。
为了验证多模态决策的可行性,团队在播放器中加入了图像输入,利用 GLM-5.3-Flash 的视觉感知能力,使得模型能够直接对扫描件、照片或截图进行结构化决策,这在 Jev 等文本-only 模型中是不可实现的。 在 RVL‑CDIP 数据集上,GLM-5.3-Flash 达到 70.2% 的分类准确率,而其他两个文本-only 模型均无法处理图像输入,凸显了该方案在跨模态场景的独特优势。 进一步的实验表明,在选项数量较多的情况下,模型仍能保持相对稳定的置信度分布,尽管 token 数量增加会导致单次请求的耗时上升,但通过 vLLM 的高效缓存与并行处理,整体延迟仍保持在可接受范围。 为了提升决策的可靠性,研究团队还尝试在模型前进行链式思考(chain‑of‑thought)推理,让模型在给出最终选项前先进行数百字的内部推理,这在所有数据集中都带来了显著的准确率提升,但相应地增加了 token 消耗和费用,约为每百万决策 350 欧元。 因此在实际部署时,需要在准确性提升与成本之间权衡,选择是否开启推理环节。 从安全与合规角度来看,GLM-5.3-Flash 在 Privatemode 环境下运行于受保护的可信计算容器中,数据在内存加密状态下处理,客户端在发送请求前必须验证部署的验证报告,确保数据在处理全程不被外部访问。
这种 confidential computing 的特性使得金融、医疗、法律等受监管行业能够放心使用大模型进行决策,而不必担心数据泄露的风险。 除了文本决策,该方案还支持图像输入,为文档扫描、商品检测、损伤评估等场景提供了新的可能性。 例如,在扫描发票时,模型可以直接判断款项是否异常并将其路由至支付或审计团队,整个过程在几百毫秒内完成,显著提升业务效率。 综合来看,将 GLM-5.3-Flash 转化为 Jev 式决策模型的方法在准确性、速度、成本以及多模态能力方面均展现出强大的竞争力,为高并发、低延迟的结构化决策需求提供了全新的解决方案。 通过开源的 token oracle 与提示库,开发者可以轻松在自己的 vLLM 部署上复现该技术,并根据业务场景进行进一步的提示优化与模型微调。 随着 confidential computing 的普及以及大模型在跨平台的持续改进,这一决策范式有望在更多行业中得到广泛应用,推动 AI 驱动的自动化决策迈向更高效、更安全的未来。
。
