在生物医学研究与临床实践中,图像分割是许多关键任务的核心环节,包括器官勾画、病灶检测和定量分析。然而,面对每一个新的影像数据集,研究者和临床医生常常面临标注成本高、模型不适配、交互工作量大等难题。MultiverSeg 提出一种具有实践价值的解决思路:通过将已标注的若干示例作为上下文输入模型,使得单个模型能够在没有预先针对目标任务大规模标注的情况下,交互式高效地适配并分割新数据集。该方法兼具交互分割的灵活性与基于上下文的快速迁移能力,为生物医学图像处理工作流带来显著改进。 MultiverSeg 的设计哲学围绕"少量示例+用户交互=快速高质量分割"展开。传统交互式分割方法通常只针对单张图像接收用户点击、划线或框选等输入进行实时修正,而每张图像仍然需要较多人工干预。
另一类方法依赖预先手工标注的大量数据训练模型,当面对新成像模态、新器官或新病变时,往往需要重新标注或精调,耗时且不够灵活。MultiverSeg 将上下文信息直接作为模型输入:当用户开始分割某个数据集时,首批人工标注的若干张图像连同对应分割标签被加入上下文集。随后模型在每次分割时不仅读取当前目标图像和用户交互(如点击或涂抹),还同时读取上下文集中过去的图像-分割对,利用这些示例在推断过程中提供任务特异性的先验信息。随着上下文集逐步增长,模型在新图像上的表现显著提升,需要的交互次数与时间逐步减少,从而实现分割工作的规模化与可持续化。 从模型架构角度看,MultiverSeg 采用类似 UNet 的编码器-解码器框架以保留多尺度特征融合能力,同时通过创新模块 CrossBlock 实现目标图像特征与上下文特征之间的交互。CrossBlock 机制在网络的多个层级上引入交叉注意与归一化操作,使得上下文样例的信息能够贯穿整个特征提取与重建过程,而不仅限于最高层或简单拼接。
输入通道除了目标影像本身外,还可以包含用户的交互信号(例如正负点击、边界框或涂抹痕迹)以及上一轮预测的分割结果,形成一个多通道的目标输入栈。对于上下文集中的每一对图像-分割标签,模型会提取其对应的特征表示,再通过 CrossBlock 将这些表示与目标特征进行融合,帮助模型捕获任务相关的外观、形态和位置分布。此设计使得模型在面对同一任务的一组相关图像时,能够借助上下文实现快速的"在域内适应"。 在交互体验方面,MultiverSeg 既支持常见的点击式纠正,也支持更精细的涂抹(scribble)操作和边界框提示。用户在分割流程中可以先对几张典型图像进行较完整的标注以构建初始上下文集,之后在剩余图像上以少量交互进行修正。重要的实验结果显示,MultiverSeg 在未知任务和新数据集上能够显著降低人工交互成本:与先进的交互式分割方法相比,达到 90% Dice 分数时,所需的点击数量减少约 36%,涂抹步骤减少约 25%。
这些数据表明,通过在推理时引入上下文,模型成功将从少数示例中学到的任务特征应用到新样本上,减少了对每幅图像重复修正的需要。 评价 MultiverSeg 的对照方法包括传统的交互式分割工具以及结合现有模型的混合方案。例如 ScribblePrompt 等先进交互方法在单张图像的反馈循环中表现优异,但在无先验知识的新任务上仍然需较多交互步骤。将离线训练的通用分割模型与交互模块结合的做法(例如 SP+UVS)可以在某些情况下提供零样本或少样本能力,但通常缺乏在单一任务内部动态调整的灵活性。MultiverSeg 的优势在于其端到端的上下文整合能力,不依赖于任务特定的再训练阶段,同时能随着用户的持续标注在内部累积知识,从而实现逐步提升的分割效率。 MultiverSeg 的潜在应用场景十分广泛。
对于放射科、病理学和研究机构,常见的需求包括对新显微镜样本、不同成像模态(如超声、CT、MRI)或罕见病变的快速标注。对于这些场景,数据集常常是小规模且具有专属性的,预先准备大规模标注集既不现实也不可取。MultiverSeg 适合在这样的低标注预算下快速构建高质量分割集,进而支持下游的统计分析、形状学研究或机器学习模型训练。在临床试验和多中心研究中,变量来自扫描协议与设备,MultiverSeg 的上下文机制也能借助少量中心内标注示例,有效校正域偏差,减少跨机构标注与审核的工作量。 在实际部署时,推荐的工作流程体现出可扩展性与用户友好性。初期可从数据集中随机抽取或由专家挑选几张代表性图像进行高质量标注,构建初始上下文集。
随后,使用 MultiverSeg 对剩余图像进行批量处理,优先对模型不确定性较高的样本进行人工校正,将这些新标注迭代加入上下文。随着上下文样例的累积,系统会自动减少每张图像需要的交互次数并提高初次预测质量,最终实现半自动化乃至近乎全自动的分割流程。该流程既保留了临床专家对关键样本的把控,又显著节约时间和人工成本。 尽管 MultiverSeg 展示出诸多优点,但需要注意若干局限与挑战。首先,上下文示例的多样性对模型性能有重要影响。如果上下文集中的样本过于同质化或不足以覆盖目标任务的变异,模型在极端样本上的泛化仍可能受限。
其次,如何在有限计算资源下实现高效的上下文处理与跨样本交互,涉及模型设计与推理优化问题。此外,临床部署需要关注数据隐私与合规性,尤其是在多中心共享上下文时,需要设计安全的数据隔离或联邦学习策略。最后,人机交互界面的易用性、交互延迟与对临床工作流的集成也是实现落地的关键因素。 未来研究可从多个方向扩展 MultiverSeg 的能力。增强上下文表示的表达力与压缩效率可以使得更多示例参与上下文而不显著增加计算负担。引入不确定性估计或主动学习策略能够引导用户优先标注对模型提升最大的信息样本。
结合联邦学习或隐私保护机制可实现跨机构共享上下文知识而不泄露敏感信息。更广泛的跨模态与多标签扩展将增强系统对复杂医学任务的适用性,例如同时分割多个器官或分层标注病理特征。最后,长期随访研究可以评估 MultiverSeg 在真实临床环境中对工作效率、诊断一致性和科研产出的长期影响。 为了推动社区采用,MultiverSeg 的研究团队提供了论文与开源代码,方便研究者在不同成像任务上复现并扩展结果。对于希望迅速投入使用的团队,先在小样本数据集上试验上下文策略与交互界面,逐步调整示例选择与交互优先级,通常能够在较短时间内见到效率与精度的双重提升。通过与现有影像存储与标注工具集成,可以将 MultiverSeg 嵌入现有标注管道,实现无缝过渡。
总之,MultiverSeg 将"以少量示例引导模型"的思想与高效交互式分割相结合,为生物医学影像的标注与处理提供了一个可扩展、实用的路径。对于需要在有限标注资源下快速适配新任务的研究者与临床实践者而言,MultiverSeg 的上下文驱动机制可以显著降低人工负担、提高标注一致性并加速数据集构建。随着相关技术的进一步优化与工程化实现,它有望成为未来生物医学图像处理中的重要工具之一。引用信息:MultiverSeg: Scalable Interactive Segmentation of Biomedical Imaging Datasets with In-Context Guidance, H. E. Wong, J. J. Gonzalez Ortiz, J. Guttag, A. V. Dalca, ICCV 2025. 。
