随着人工智能技术的不断进步，数据的多模态处理和可视化变得日益重要，尤其是在物理人工智能领域中，如何高效管理和呈现复杂的数据成为团队面临的重大挑战。作为多模态数据堆栈解决方案的开拓者，Rerun在其0.24版本中推出了多项革新功能，极大地提升了用户体验和功能实用性。本文将深入解读Rerun 0.24的主要更新，涵盖系统主题自动切换的轻模式、支持实时流式视频的VideoFrame原型以及标签组件的引入，从多角度剖析其如何推动物理人工智能数据处理进入新的阶段。 首先，轻模式的引入让Rerun的视觉体验更加符合现代操作系统的设定。众所周知，暗模式曾因其护眼和节能的优势而风靡，但在某些使用环境下，轻模式更为适用。Rerun 0.24版顺应系统主题变化，自动切换暗、亮模式，不仅满足了不同用户的审美和使用习惯，也保证了嵌入网页和Jupyter笔记本中的查看器能够与环境完美融合。
这种无缝切换机制不仅提升了工作环境的统一性，更减少了因视觉反差导致的疲劳感，特别是对长时间使用数据可视化工具的专业人士而言，极具实用价值。 在视频数据的处理和可视化方面，Rerun 0.24实现了重大突破。摄像头视频流一直是机器人和物理AI研究的重要数据来源，但未经过压缩的原始图像序列往往体积庞大，存储与处理均带来压力。传统Rerun支持的视频管理依赖AssetVideo方法，适用于处理完整的视频文件，难以实现实时预览。新版本引入了VideoFrame原型，支持从编码流中直接记录视频数据包，这意味着用户可以同时享受视频压缩带来的存储节省和低延迟的实时视觉反馈。利用标准编码方式如H.264配合pyav库，用户可以轻松进行实时视频记录和传输。
虽然当前只支持H.264编码且不支持B帧，但这些功能已经显著推动了实时视频日志的应用场景，尤其是在需要即时反馈的机器人系统中表现突出。 此外，随着流式视频功能的完善，Rerun也考虑到不同平台的解码性能差异，建议在使用本地Rerun查看器遇到播放延迟时，切换至基于现代浏览器的Web查看器以利用GPU加速的视频解码能力。同时，面向ROS视频消息的支持也日益完善，未来版本将实现更自然的整合，为机器人系统提供更优质的视频数据流分析体验。 在数据模型方面，Rerun 0.24引入了标签组件（Tagged Components）以彻底优化组件与原型的关系。此前，用户在同一实体路径上只能记录一种组件类型，导致在处理多种视觉元素如3D箭头和箱体时，颜色组件等信息会相互覆盖，影响数据表达的完整性与灵活性。标签组件通过为每个组件赋予原型标签和字段名，解决了这一限制。
新结构不仅提升了日志记录的灵活性，也在用户界面端带来了显著改进，将组件根据其原型分组，移除冗余指示器，减轻视觉负担的同时降低存储占用。 这种细化组件标识的设计，使得用户能够更精准地管理复杂的多组件数据，同时方便在选择面板、流面板及悬停提示中获得丰富而清晰的组件信息。更重要的是，标签组件为未来的动态重解释功能奠定了基础，用户可以根据需要实时调整数据的呈现方式，例如将3D变换信息重新诠释为标量数组并进行时间序列分析，无需更改原始数据结构，极大增强了数据处理的灵活性和深度。 此外，Rerun 0.24还引进了内置URDF（统一机器人描述格式）数据加载器，简化了机器人运动学数据的导入与动画生成。这对于从事机器人研究与开发的团队来说，无疑节约了大量时间和精力。只需简单调用API，便可动态展示机器人关节角度变化，配合标签组件功能，能够灵活地把控机器人各关节的可视化效果。
这种集成大大缩短了从数据采集到可视化演示的链路，提升了机器人仿真和调试的效率。 多流（Multi-Sink）支持的加入也是本次更新的一大亮点。通过同时配置多个输出目标，用户可以在进行实时数据可视化的同时，实现日志的文件保存，大幅提升了数据管理和回溯的便捷性。无论是连接本地查看器还是生成持久化存档，Rerun 0.24都能灵活应对。用户只需简单调用set_sinks API，即可根据自身需求调整日志的流向。同时，微型批处理器的设计允许用户通过调整缓冲区大小，在存储效率和可视化延迟之间权衡取舍，进一步优化体验。
在实际应用层面，Rerun 0.24的这些改进已被成功应用于LeRobot等机器人平台，展示了强大而灵活的数据采集与展示能力。无论是机器人视觉数据的实时压缩传输，还是复杂的机器人关节动态动画，Rerun的新功能均能为开发者与研究者带来极大助力。 综合来看，Rerun 0.24不仅在功能上实现了全面升级，更在用户体验、技术灵活性和数据处理效率方面取得突破。轻模式的引入满足不同使用场景的视觉需求，流式视频的支持解决了高清视频存储与实时观看难题，标签组件的革新增强了数据模型的表达力和管理能力，多流支持则助力多任务数据处理的高效实现。依托于不断完善的SDK和丰富的示例文档，Rerun正稳步构建起物理人工智能多模态数据栈的核心地位。 未来，随着对更多视频编码格式的支持、标签组件动态重解释功能的实现以及与ROS生态系统的深度整合，Rerun将进一步提升其作为开源数据查看器和分析平台的竞争力。
对于机器人开发者、AI研究人员和数据科学家而言，Rerun 0.24无疑为他们的数据管理和可视化提供了强大且灵活的新工具，推动物理人工智能相关领域迈入更高水平的发展阶段。随着生态的不断完善和功能的持续丰富，Rerun在多模态数据处理领域的影响力将持续扩大，成为行业不可或缺的技术基石。
