随着机器人技术的迅猛发展，传统刚性结构机器人在工业生产和自动化领域展现了卓越性能。然而，面对仿生、多材料混合及柔性结构的复杂机器人，传统的建模和控制方法难以有效应对。这类机器人常具备软材料组成、非线性动力学、多自由度和传感器缺失等特性，给精准控制带来巨大挑战。最新的研究成果表明，深度神经网络结合视觉感知，尤其是推断Jacobian场的方法，为多样化机器人控制注入了全新活力，推进机器人设计解耦，并降低自动化门槛。机器人控制的核心在于将期望的动作转换为执行器命令，传统方法多依赖精准的运动学模型和嵌入式传感器。然而，仿生软体机器人因材料的高变形性、非均匀性及动力学复杂性，难以用传统刚体链模型准确描述。
此外，软材料的时间相关性如粘弹性和材料老化效应进一步加大了建模难度。为此，研究者们提出了一种利用深度学习从单摄像头视频直接推断机器人体感知与运动学——具体即为Jacobian场的方法。该方法借助神经网络从单一视频流中恢复机器人三维形态及其对输入指令的敏感性映射，构建出覆盖全身每个三维点对各输入指令敏感性的Jacobian字段。这种空间密集的Jacobian场不仅具备传统Jacobian的线性化特征，还兼顾了空间局部性和机器人结构的复杂性，极大提高了模型泛化能力和对未知动作的适应能力。在训练阶段，系统借助12台RGB-D摄像头从多个视角采集机器人执行随机动作的视频，无需专家干预，无需人工标注，通过光流及点追踪技术自动获取运动信息，结合神经辐射场（Neural Radiance Fields, NeRF）实现对三维结构及运动的联合重建。训练过程中，系统将预测的Jacobian场用于推断任意三维点在输入指令变化下的移动，利用可微分渲染技术将三维运动场渲染为二维光流，与实际观测光流进行对比，从而完成自监督学习。
该策略不仅保证了对机器人几何形态的精确恢复，还保证了动态响应预测的高度准确性。推断得到的Jacobian字段具备极佳的空间分辨率，能够精准判别不同控制通道对机器人不同部位的驱动力，使得系统无需任何先验机器人动力学模型即可实现高精度的运动预测和控制。实验证明，该视觉控制框架适用于多种机器人系统，包括三维打印的软刚混合气动手、具有旋转及弯曲能力的手性软体助动器、商用多自由度刚性灵巧手以及低成本的教育机器人臂等。通过仅使用单个RGB摄像头作为传感器，实现了高达每秒12次的闭环控制频率，成功完成诸如抓取、姿态跟踪、复杂轨迹执行等多样任务。值得一提的是，该系统表现出了极强的鲁棒性和适应性，即使在机器人动态特性大幅变化或者视觉遮挡严重的情况下，也能持续保持稳定且准确的控制效果。横跨材料、结构和执行机制的多样性，该方法为机器人设计带来了更大的自由度，不再强制依赖高精度机械加工、复杂传感器体系或昂贵装置，极大降低了低成本机器人自动化应用的技术壁垒。
同时，凭借视觉感知这一非侵入式、普适性极强的方式，机器人控制的环境适用性获得显著提升，并为人机协作、软体机器人快速部署及远程操作拓展了新路径。研究的另一个亮点在于支持示范转移，即使部署摄像头与训练摄像头视角迥异，系统依然能够通过三维点云的映射机制实现对示范轨迹的准确跟踪，保障机器人能从先前录制的视频学习并完成任务。未来该视觉Jacobian场推断框架具备广阔的提升空间，诸如结合触觉传感器以补充视觉所不能感知的接触状态，实现对动态运动学的建模以适配高速运动场景，以及将强化学习与神经表示技术融合以提升自适应能力。基于该方法的机器人技术有望催生更加智能、灵活且价格亲民的软硬结合机器人，使其成为工业、医疗、教育等多领域的关键工具。总结来说，借助深度学习推断Jacobian场的控制策略开辟了机器人视觉控制领域的新方向。从只需单摄像头的视频数据中自监督学习机器人的三维结构与动态行为，摆脱了以往对硬件、传感与模型的限制，极大丰富了机器人硬件设计及控制实现的可能性。
该技术不仅体现了计算机视觉与机器人控制的深度融合，也标志着未来机器人智能控制迈向更普适、更经济、更灵活的新时代。
