物理人工智能（Physical AI）正逐步成为推动未来经济变革的重要力量。当前，全球绝大部分经济活动依托于物理世界，物理AI的崛起不仅带来了产业变革，也创造了巨大的商业机遇。由于计算机视觉和机器人技术的快速进步，物理AI领域的发展速度远超过大多数人的预期，从而对数据基础设施提出了全新且更高的要求。当前，建设和完善适用于物理AI的完整数据堆栈，成为推动这一技术领域走向成熟的关键所在。 物理AI涵盖自动驾驶车辆、机器人、无人机以及空间计算等多个领域。传统上，这些领域的复杂硬件设计和高昂的前期投入使市场规模受到限制，而智能算法的泛化能力不足也制约了大规模推广的可能性。
然而，近年来人工智能技术特别是深度学习的快速发展，极大改变了这种状况。AI的进步不仅推动了资金流入，还促进了硬件部署数量的增长，进而带来更多数据的积累，这形成了一个强大的正反馈循环。随着可用数据的丰富，物理AI系统的智能水平不断跃升，其潜在市场也在逐渐扩大。 打造高效的物理AI产品需要两类系统的协同运行：在线系统和离线系统。在线系统负责机器人实时感知与动作决策，是机器人在物理环境中的直接表现形式。离线系统则承担对数据的分析、训练和模型优化，通常运行于数据中心，支持在线系统的持续改进。
过去，复杂的智能行为主要依靠手写规则和算法编码实现，在线系统承担了大部分复杂度，而离线系统则更多专注于测试与评估。随着深度学习的普及，越来越多的在线逻辑被训练模型取代，从输入视频和原始传感器数据直接输出控制指令，极大简化了在线代码的复杂度。 然而，将复杂的智能功能转移到机器学习模型的背后，离线数据处理管道的复杂度急剧增加。构建高效的数据管道需要收集、管理、清洗和标注大量多模态数据，同时设计合理的训练策略。面对更大规模和更复杂的任务，离线的数据处理工作也愈发庞杂，例如对机器人环境进行3D重建、自动标注数据，从而提高模型训练的性能和准确性。数据的质量和结构化水平直接决定了模型训练的效果，因而高性能的数据基础设施成为不可或缺的关键要素。
目前，物理AI领域的数据处理面临一个核心难题：在线和离线系统往往采用完全不同的数据栈，导致数据流转过程出现诸多摩擦。传统的机器人数据工具如RViz及其衍生产品，原本针对在线系统的日志可视化设计，虽然提供了基础的观察能力，但缺乏对大规模离线数据处理的支持。而现有的数据湖和数据仓库架构虽适合大规模分析和机器学习，却难以直观理解含时空关系且异步采样的物理AI数据。试想将一款包含3D动态环境的多玩家游戏状态，硬塞进表格数据结构中，显然难以完美描述其复杂的时间和空间变化。 在线日志数据的上下文和语义信息在脱离原始存储格式后往往被丢失，加之多种数据格式之间转换带来的信息损耗，使研究人员难以全面观察和理解整体数据管道。缺乏统一的数据语义，也迫使研发团队编写大量转换和适配代码，显著降低了研发的效率和迭代速度。
在高速发展的物理AI应用中，任何因数据基础设施局限导致的瓶颈，都将严重制约创新步伐。 物理AI的快速进步，依赖于高效、低摩擦且具备全链路可视化能力的数据基础设施。研究人员和工程团队需要一个既能操作原始日志数据，又能够无缝处理清洗及训练数据的统一平台。这个平台应允许用户方便地对数据集进行扩展，例如附加新的向量嵌入，实现训练样本与采集记录之间的快速跳转，并提供任意阶段数据的直接可视化功能。通过支持矢量搜索和SQL查询结合的灵活检索手段，用户能够便捷地对数据集进行智能编排和管理，而无需依赖多个割裂的子系统。 支撑这一切的基础在于一个一致且强大的物理AI数据模型。
该模型需要兼顾灵活性和规范性，既要能够精准地描述复杂的多模态数据流，如视频、3D空间点云和多速率异步传感器数据，又要兼顾性能优化，确保数据存储和查询的高效性。基于统一数据模型的架构，能够实现对物理AI数据的跨环节可视化体验，避免额外格式转换与语义丢失。例如通过数据库查询即可完成空间变换链的解析及时间对齐操作，显著简化数据分析过程。 开源可视化工具的存在对物理AI数据生态建设不可或缺。二十年来，可视化在信息传播中的重要性不言而喻，类似于文本离不开印刷品，物理AI数据也高度依赖可视化来理解环境与模型表现。从算法原型设计、模型训练与调优，到传感器调试、仿真和数据标注，再到流水线调试与质量检测，物理AI产品开发的各个环节无时无刻不需要直观准确的可视化支持。
由于应用场景分布于边缘设备、交互式Notebook、云端大规模批处理以及多样化的定制工具，依赖闭源商业方案存在巨大风险。开源解决方案则保证了持续创新的可能性和广泛适用性，使各类用户均能享受高质量低摩擦的可视化体验。 物理AI数据的异构性也给底层存储与查询引擎提出了挑战。在线系统中，运动传感器数据频率可能高达千赫兹，摄像头则在几十赫兹，规划模型或决策模块更新频率更低。如此多速率、非对齐的消息流难以被传统表格数据库高效存储与索引，因而往往采用MCAP、uLog、rrd等专有日志格式以支持快速写入和高效存储。离线数据则多依赖Parquet、Avro等结构化格式，与多媒体文件配合使用以便分析和训练。
在这一过程中，频率不一致的原始数据常被采样对齐与插值，导致信息丢失和额外计算。不仅如此，查询引擎需要具备解析多种数据格式和存储形式的能力，支持同时处理在线非结构化日志与离线结构化数据的联合查询，才能保证数据生命周期各阶段的无缝衔接。 Rerun作为推动物理AI数据基础设施发展的先锋，致力于打造一套完整的数据栈。其开源项目着重于物理AI数据的建模、日志记录及可视化，秉持宽松许可协议以促进广泛应用和社区共建。公司基于成熟的数据模型，打造数据库与云端数据平台，整合了存储、查询与可视化功能，为团队提供跨线上线下系统的快速数据观察和分析能力。融合矢量搜索与传统数据框查询的技术，支持机器人感知智能数据科学与数据集治理，大大提升了物理AI产品研发的速度与质量。
目前，Rerun正在与多家设计合作伙伴共同研发该数据平台，旨在为行业带来全新范式的数据处理工具。该平台已吸引包括Meta、Google、Hugging Face旗下LeRobot和Unitree等头部企业的关注，并被其采纳于开源工作中。作为生态建设的一部分，Rerun开放招聘各类岗位，欢迎有志于推动物理AI革命的专业人才加盟。 总结来看，物理人工智能作为当前最具潜力的技术前沿，其数据基础设施的完善是实现技术落地和规模化应用的前提。统一且高性能的数据模型是连接在线感知与离线训练的桥梁，可视化则是贯穿整个研发流程的神经系统。未来，随着数据堆栈的逐步成型，物理AI的研发门槛将大幅降低，创新速度持续提升，从而加速这一新兴领域的爆发式增长。
致力于解决数据基础设施缺失的技术团队，将在这场变革中扮演关键角色，引领物理人工智能迈向大规模商用与智能时代的新篇章。
