随着计算设备在日常生活中的普及,人们对更自然、便携且高效的人机交互方式需求日益增长。传统的输入设备如键盘、鼠标和触控屏尽管成熟,但在移动场景或手部被占用时存在较大局限。近年来,基于手势的交互获得关注,然而依赖摄像头或惯性传感器的方案往往受环境光线、遮挡等因素影响,限制了其实用性。所谓“神经运动接口”通过检测人体运动神经信号,将意图直接转为计算机输入,成为人机交互领域的研究热点。尤其是非侵入式神经运动接口,因其无创、安全且易用的特性被广泛期待,正在为复杂而多样的交互方式提供全新解决方案。 非侵入式神经运动接口的核心在于对肌肉电信号的采集和解码。
肌电信号是肌肉运动时产生的电活动,反映了中枢神经系统对动作的指令。相比大脑皮层脑电等信号,肌电信号信噪比更高,且能通过表面电极非侵入式采集,赋予设备无缝佩戴和长时间使用的潜力。本文关注的神经运动接口基于腕部的表面肌电图(sEMG)技术,利用高密度、多通道的干电极腕带,同时搭配先进的深度学习解码模型,形成了一套通用且高效的输入系统。 腕部作为采集部位具备多重优势。人类手部动作丰富且高频使用,腕部集聚了手、腕、前臂多组肌肉群的电信号,能够捕捉到复杂精细的动作指令,同时腕部易于佩戴,社会接受度高。该系统采用了48个电极针配置为16个双极通道覆盖腕部特定区域,通过精巧的机械设计兼顾不同用户的手腕尺寸和形态。
设备具备高采样率、低噪声和无线传输功能,支持实时数据采集与解码,且佩戴便捷。 大规模、多样化的数据收集是该系统成功的基石。通过数千名用户参与的行为引导式数据采集,覆盖了不同性别、年龄、体型和手腕特征,形成了丰富的训练数据集。用户根据提示进行三种核心任务的肢体动作:腕部连续角度控制、九种离散手势识别和手写字符输入。通过实时同步采集肌电信号与动作标签,结合转录文字信息,建立了监督学习所需的精准数据基础。此外,为解决动作标签时间戳的误差,研发出基于生成模型的时间校准算法,实现了训练数据的准确对齐。
在信号特征提取上,采用多变量功率频率(MPF)特征,综合频域与协方差信息,保持通道间的时频相关,实现了对肌电信号复杂动态的敏感捕获。针对不同任务设计相应的神经网络架构,连续控制任务结合旋转不变模块和LSTM循环网络,离散手势识别则使用卷积层叠加多层LSTM,而文字识别选择了融合卷积与注意力机制的Conformer模型,兼顾了信息提取的上下文依赖和时序连续性。 面对不同用户和会话之间信号的高度多样性,单独用户模型虽在本用户表现优异,但跨用户或跨会话泛化能力不足。为此,开发了通用预训练模型,支持开箱即用,不依赖用户特定的训练或校准。研究显示,模型性能随训练集用户数量和模型参数规模呈幂律递减误差趋势,说明大规模多用户数据对提升泛化极为关键。闭环测试阶段,初次使用该系统的用户均能完成基于腕部连续控制定位、离散手势导航和无笔书写三类交互任务,表现出明显的学习进步,完成速度和准确度均达到实用水平。
在闭环手写输入中,用户平均速度达到每分钟20.9词,误码率体现为字符错误率约为7%,虽不及使用传统输入设备,但在无设备负担的条件下已非常可行。对于连续腕部控制和离散手势指令,系统实现了每秒0.66次目标定位和每秒0.88次手势识别。与传统设备比较,固然存在性能差距,但考虑到设备的便携性和持续可用性,这一表现极具创新意义。 模型解释方面,离散手势解码器的卷积滤波器学习出类似于表面肌电中肌肉单元动作电位(MUAPs)的特征模板,证明了深度网络能够挖掘和利用生理信号本身的时空结构。循环层的隐藏状态表现出能剥离个体差异、电极佩戴位置和运动强度的影响,专注于手部动作类别的识别,体现了模型对“噪声变量”的抑制能力,从而实现跨个体的泛化识别。 针对个体性能优化,系统支持使用少量个性化数据对预训练通用模型进行微调。
实验验证,在已有庞大预训练基础上,利用20分钟个体数据微调可提升手写字符识别准确率16%,尤其对初始表现较差用户效果更为显著,展现了二次学习提高用户体验的潜力。值得注意的是,个体微调的模型难以迁移至其他用户,强调了个性化训练的专一性与必要性。 该非侵入式神经运动接口的优势主要体现为操作无创、设备便捷、训练数据规模庞大和应用广泛。系统克服了传统肌电接口对电极位置依赖强、信号不稳定和个体差异显著等瓶颈,推动了肌电信号从临床和假肢控制扩展到日常智能设备交互方向。其技术核心结合硬件创新和尖端机器学习,为手部动作解码开辟了新的路径。 未来方向丰富且充满期待。
随着硬件感知精度的提升,未来可实现对多自由度运动的并行控制,甚至对肌肉运动意图中的力变量进行精准感知,从而为机器人控制、虚拟现实交互和辅助设备提供更自然的操控手段。针对临床群体,尤其是运动障碍或肢体残疾人士,本接口有望通过定制化训练与灵活解码,提供更有力的助力方案。此外,结合其他生物信号如惯性测量单元(IMU)、光学传感等多模态数据,可进一步增强信号鲁棒性和功能多样性。 总结而言,基于腕部表面肌电信号的非侵入式神经运动接口,依托海量多样用户数据和先进神经网络模型,实现了跨个体即用性强、交互性能高的人机接口系统。其成功验证非侵入式高带宽神经运动解码的可行性,标志着人机交互进入了一个全新的阶段,未来它有望成为智能设备和增强现实等多场景不可或缺的交互桥梁,推动技术与人类行为的深度融合,开启更加便捷、高效和个性化的数字生活体验。