探讨如何利用视觉语言模型(VLMs)将机器人视频和第一人称视频转换为带时间戳的子任务注释,介绍WGO-Bench基准测试及最佳实践,帮助机器人学习领域提升数据标注效率。
在机器人学习领域,如何将长时序任务分解为可执行的子任务是一个关键挑战。传统的人工标注方式不仅耗时耗力,而且随着数据量的增长,其可扩展性也面临严峻考验。近期,Macrodata Labs团队通过大量实验,探索了如何利用视觉语言模型(VLMs)自动化地将机器人视频分割为精确的子任务,并提出了WGO-Bench基准测试,为机器人学习领域提供了新的解决方案。 子任务标注的重要性 在机器人学习中,高层次的任务指令往往不足以指导机器人完成复杂操作。例如,当机器人接收到"制作牛肉汤"的指令时,它需要明确每个步骤的具体操作,如打开左边的柜子、取出砧板、将洋葱削皮等。这些细节构成了子任务,是机器人学习长时序任务的关键信号。
近期研究表明,子任务标注在多个机器人学习框架中显著提升了性能,例如π系列模型和RT-H模型都通过子任务预测与低级动作学习的结合,实现了显著的性能提升。 WGO-Bench基准测试 为了评估视觉语言模型在子任务标注中的表现,Macrodata Labs团队构建了WGO-Bench基准测试集。该基准集包含100个视频片段,涵盖Galaxea World、DROID和HomER三个数据集,共743个标注段落,覆盖62个不同的高层次任务指令。基准测试集的构建过程严格遵循了子任务标注的协议,确保每个子任务描述的是一个完整的操作事件,并且子任务的边界基于物体状态的变化。 子任务标注的挑战 尽管视觉语言模型在子任务标注中表现出了潜力,但仍面临诸多挑战。首先,第一人称视频中的操作速度快,子任务时长短,且双手可能同时执行不同操作,这使得子任务边界的识别变得复杂。
其次,标注的精确性要求高,需要准确描述操作对象和位置,而低分辨率的视频和快速的动作进一步增加了标注的难度。此外,人工标注的成本高昂,随着数据量的增长,人工标注的可扩展性受到限制。 最佳实践与优化策略 Macrodata Labs团队通过60多次实验,探索了多种子任务标注的方法。实验结果表明,Gemini 3.5 Flash模型在子任务分割和标注中表现最佳,其性能超过了其他模型24.5%。在子任务分割方面,最佳方法的F1分数达到0.306,子任务标注的准确率为61.0%,而端到端的最佳管道的F1分数为0.168。 在子任务分割方面,团队采用了联系表(contact sheets)的方法,将多个视频帧压缩到一张图片中,并通过时间戳标注每个帧的时间信息。
这种方法不仅降低了计算成本,还提高了标注的准确性。实验表明,联系表的方法比逐帧输入的方法更高效,成本降低了19倍。 在子任务标注方面,团队发现,提供前后上下文信息可以显著提高标注的准确性。通过提供前一个、当前和下一个子任务的视觉信息,模型能够更准确地理解当前子任务的内容。此外,团队还发现,Gemini 3.5 Flash模型在子任务标注中表现最佳,其准确率达到了61.0%。 未来展望 尽管视觉语言模型在子任务标注中取得了显著进展,但仍有许多挑战需要解决。
例如,短子任务的识别仍然是一个难点,尤其是在第一人称视频中。此外,如何进一步降低计算成本,提高标注的效率,也是未来研究的方向。 Macrodata Labs团队将继续探索机器人数据标注的最佳实践,并致力于构建更高效、更可扩展的数据标注管道。通过不断优化视觉语言模型和标注方法,团队希望能够推动机器人学习领域的发展,使机器人能够更好地理解和执行复杂任务。 总结 WGO-Bench基准测试和Macrodata Labs团队的研究为机器人学习领域提供了重要的参考。通过利用视觉语言模型和联系表方法,团队成功地将机器人视频分割为精确的子任务,并提高了子任务标注的准确性和效率。
未来,随着技术的不断进步,子任务标注的方法将进一步优化,为机器人学习领域带来更多的可能性。 。
