人形机器人行业日报这个栏目我盯了一阵子,隔三差五就有“机器人又会了新技能”的新闻出来,但今天这两个点确实戳中了我:一个是机器人对着镜子练唇形,一个是代号Bolt的机器人跑出35km/h。前者看着有点萌,后者听着有点猛。但你仔细琢磨一下,这俩事背后其实是同一个词:运动控制。一个是精细的面部运动控制,一个是爆发式的全身运动控制。正好借这两个热点,把行业里最近值得关注的技术脉络、工程量级和一线的实操经验捋一捋。
1. 照镜子练嘴皮子:自监督的视觉-运动闭环
1.1 机器人“照镜子”到底在练什么
先说“照镜子练嘴皮子”。你如果只看演示视频,会觉得这是不是团队在整活——给机器人面前摆块镜子,让它看着自己嘴巴一张一合,像小孩学说话一样。但做机器人的人都明白,这个行为背后的技术含量一点都不低。
它本质上是在解决一个经典问题:机器人怎么知道自己做对了没有。
拿机械臂拧螺丝举例,传统的做法是靠力传感器、视觉传感器去检测螺丝是否拧紧。但面部运动不一样,嘴部动作的精度要求虽然低一些(毫米级就够用),可它的自由度多、运动频率高、还有严格的时序对齐要求——说一句“你好”,上下嘴唇、下颌、甚至脸颊的肌肉模拟单元需要在几百毫秒内按特定顺序动完。更麻烦的是,嘴巴动了之后,你得有办法告诉机器人“你刚才动错了”。
以前这个反馈靠什么?靠人工标注。让工程师逐帧看视频,把“正确嘴型”的位置标出来,再作为监督信号训练网络。这个做法有效,但极度费人,换个说话人、换个口音就得重新标。而且它不具泛化性——换一张面孔、换一套执行机构,标签就废了。
镜子方案的精妙之处,在于它把反馈信号变成了机器人自己可以获取的视觉输入。机器人对着镜子,摄像头捕捉自己嘴部的图像,通过识别唇形特征点,和预期发音频谱对应的目标唇形做对比,误差直接回传给运动控制器。这是一个极其自然的自监督闭环,绕开了人工标注,也让系统具备了持续自我修正的能力。
1.2 这个“练”字背后的技术路径
实现“照镜子”训练,业内目前主流是这么拆解的:
第一步,建立语音到唇形的映射模型。把目标音频切成音素序列,每个音素对应一组唇形特征参数(上下唇开合度、嘴角拉伸、下颌开度)。这一步本质上是一个离线模型,可以预先训练好。
第二步,执行器跟踪。机器人嘴部的执行机构可能是微型电机、连杆、甚至柔性材料,你需要把唇形参数映射到关节角度,这就是逆运动学求解。
第三步,闭环修正。这一步是用镜子场景的关键。机器人做出动作后,摄像机拍下镜子里的实时图像,用轻量级的人脸关键点检测网络(一般在嵌入式设备上跑得动的那种)提取实际唇形,和目标唇形做对比,差值通过一个简单的PID或者更高级的模型预测控制器来修正关节指令,形成闭环。
第四步,经验累积。每一次镜子练习,实际上都在给机器人积累“我动成什么样”和“应该动成什么样”的配对数据。这些数据回流到映射模型里,逐步减少模型误差。
这里有个容易被忽视的细节:延迟补偿。摄像头采集、关键点检测、控制指令下发都是有延迟的,加起来可能有一两百毫秒。如果你不做延迟补偿,控制回路看到的永远是“过去的自己”,修正效果会非常差,甚至发散。实操中常见做法是加一个卡尔曼滤波对唇形轨迹做短期预测,把这一百多毫秒的延迟补上。
1.3 为什么这件事比“能说话”更进一步
过去带语音交互的机器人,很多其实只是“播放音频 + 嘴巴随机动一动”,并没有真正的音画同步。稍微好一点的做法是预设几组嘴型动画,根据音频的振幅粗略切换。但那是开环控制,声音是声音,嘴是嘴,合起来是“配音”,不叫“说话”。
镜子训练让机器人第一次有能力通过自我观察,把音频、唇形、动作对齐到自然状态。这件事落到产品上,最直接的价值是交互体验质的提升。你在跟一个有唇形同步的机器人对话时,会明显觉得它“活”了——人会下意识地把嘴部动作当作交流的一部分,哪怕声音是合成的,对得上嘴型和不对上嘴型,信任感天差地别。
另外,这个思路还能延伸到表情管理。嘴部是一个通道,面部其他区域同样可以用类似的自监督方式去学。比如通过对镜子观察来调整眉毛、眼睑的模拟动作,让表情和语气配对。这些都属于“表现型能力”,在服务机器人、教育机器人、陪伴机器人这类场景里,是和用户粘性正相关的关键指标。
2. Bolt跑出35km/h:双足动态奔跑的全新标尺
2.1 35km/h是什么概念
先把这个数字掰开了看。35km/h,换算一下就是每秒9.7米。人类短跑运动员的极限速度大概是每秒12米左右(百米跑进10秒的水平),正常人慢跑也就每秒2到3米。也就是说,Bolt这个速度已经超过绝大多数人全力冲刺的水平,标题问“你追得上吗”——如果你没练过短跑,大概率是真的追不上。
在足式机器人领域,四足机器人早就突破这个速度了,但双足人形机器人因为重心高、支撑面积小、单腿切换时的不稳定性,一直很难在高速下维持动态平衡。此前行业内常见的双足奔跑速度,基本在5到10km/h区间徘徊,那更接近“竞走快进版”,而不是真正的空中腾跃式奔跑。35km/h意味着Bolt的步态里已经出现了明显的腾空相,脚在空中离地,身体有一段完全不受支撑的时间。这是从“快走”到“跑”的分水岭。
2.2 高速奔跑的控制难点:我看过的那些坑
双足奔跑和行走的最大区别,在于行走永远有一个脚在地上,而奔跑阶段存在一个飞行期,身体重心在飞行期里做的是弹道运动,不受任何外力修正。这就意味着控制器必须在触地瞬间加回巨大且极其精确的修正量,否则一步错,步步错。
这里有几个绕不开的底层问题:
问题一:步态规划的稳定性指标。行走时你可以用零力矩点(ZMP)来评估稳定性,脚全域都在接触地面,ZMP落在支撑多边形内就是稳的。但奔跑时没有ZMP了,因为脚离开了地面。工程上常用的是步态特征点或者质心动态轨迹的方式,预先规划好质心的抛物线轨迹,腾空阶段严格按这个抛物线走,触地点根据轨迹反推。这个过程对时间精度要求极高,迟个几毫秒,质心落点就偏了。
问题二:地面反作用力冲击。双腿交替频率越高,触地冲击越剧烈。35km/h的速度下,单次触地冲击力可以达到机器人自重的数倍。关节减速器、电机、结构件都要按这个动态载荷设计,不然跑几次就散架了。我见过有测试机器人跑高速时大腿连接件直接崩断的,就是因为只按静载强度校核,没算疲劳冲击。
问题三:执行器的带宽。奔跑的步频一般在3Hz上下,但控制器需要修正的扰动频率远高于此,关节电机必须有足够的力矩带宽,才能跟上控制指令的变化。很多机器人跑起来看起来“僵硬”,就是因为电机响应太慢,控制指令到了关节那里已经被削成了平滑的曲线,自然做不出爆发力动作。
2.3 Bolt跑得快,硬件和算法谁更关键
业内有个争论:机器人跑得快,到底是算法好还是硬件好?以我这些年看项目的经验,到35km/h这种量级,已经没法简单归功于某一方面了。
算法层面,核心是模型预测控制(MPC)加全身运动控制(WBC)的搭配。MPC负责在线求解未来几百毫秒的质心轨迹和足端着力点,WBC负责把质心任务分解到各个关节的力矩指令。这套路径在四足机器人上已经相当成熟,迁移到双足时,难点在于动力学建模的复杂度大幅上升——一条腿着地、一条腿摆动、躯干和手臂的姿态调整,全都在同一个控制周期内耦合求解,计算量相当可观。
硬件层面,跑得快的前提是功率密度。要支撑高速奔跑,关节电机的峰值扭矩、转速和重量比必须足够高。轻量化的骨骼结构同样关键,每减轻一公斤的腿重,都能直接降低触地冲击和飞行期姿态调整难度。这个迭代方向跟跑车轻量化一个道理:不是说马力大了就快,是推重比大了才开始真正快起来。
我在评估这类项目时,习惯先看一个数据:机器人重量除以腿的截面刚度。这个比值基本决定了一条腿在高速运动下会不会出现明显的结构变形。Bolt能做到35km/h,大概率在这上面下了很大功夫,因为单纯堆算法解决不了结构刚度的物理极限。
3. 把两个技术放到同一张工作台上
3.1 同一个底层能力:本体感觉与外部感知的融合
回到前面说的“镜子”和“奔跑”,你会发现它们共享同一个底层逻辑:本体感觉和外部感知的融合。
镜子训练里,机器人需要知道自己的嘴“应该”在哪个位置(来自音频映射模型),也需要知道自己的嘴“实际”在哪个位置(来自镜子中的视觉反馈)。奔跑控制里,机器人需要知道质心理论上在哪(来自动力学模型),也需要知道质心实际上在哪(来自IMU和关节编码器数据)。两个系统都在做同一件事:用测量值修正模型预测值。
这就是为什么很多做双足控制的团队,转去做表情交互机器人时上手特别快——他们熟悉那一套“状态估计 + 预测控制 + 反馈修正”的框架,只不过把腿部模型换成了嘴部模型,把足端力传感器换成了摄像头。反过来也一样,精通交互表现的团队,如果他们补上动力学这块短板,也能在运动控制领域找到新的切入点。
3.2 仿真环境:照镜子和跑步之前都得先“去线下的次数”
不管是练嘴皮子还是练跑,都不可能只在真机上硬调。真机调试成本高、周期长、还有损毁风险。业界通用的做法是在仿真环境里先跑通。
但仿真跟真实之间有“域差距”。镜子里的图像渲染得再逼真,和真实相机的噪点、畸变、光照还是有差异;仿真里的地面摩擦系数设得再仔细,和真实塑胶跑道也还是不一样。具体到高速奔跑,摩擦系数差0.1,触地特性就完全变了,原本稳定的步态很可能直接摔。
所以现在团队普遍的做法是:仿真里练出“初代技能”,真机上做小样本微调。跑通一版控制策略,丢到真机上跑几步,采集真实数据,再用这些数据去微调仿真参数。这么做看起来多一步,实际上省掉了大量盲调的时间。
3.3 实操角度:如果你想复现或验证这两个方向,可以这样切入
结合我自己和一些同行交流的经验,如果你想低成本验证“照镜子”这个思路,可以不走人形整机,先做一个等效验证平台:
- 用一个欠驱动机械臂模拟唇部动作(两个关节就够),末端装个小板子,板上画一个假嘴巴。
- 摄像头对着机械臂,面前放一面镜子(或者直接用齐平的屏幕显示画面也行)。
- 播放一段固定音频,给机械臂设定对应的目标轨迹,让它在镜子反馈下跟踪。
这个方案的性价比在于,你不需要真的造一张会说话的机器人脸,只需要验证“视觉反馈能否降低唇形跟踪误差”这个核心逻辑。实测下来,加载反馈回路之后,稳态跟踪误差通常能下降40%~60%,这个数据很有参考意义。
验证高速奔跑的方向就复杂多了,没有真机基本没法动。但你可以先在仿真里跑强化学习训练步态策略,再把策略导出到MPC控制器里作为参考轨迹生成器。这种“RL生成轨迹、MPC做执行跟踪”的混合架构,是当前高速足式运动比较热门的方向,也适合用仿真先啃下大半工作量。
4. 常见问题与技术陷阱
4.1 镜子训练的那些坑
过拟合到镜面。这是镜子训练里最要命的问题。机器人在镜子环境里练出来的控制策略,很可能会依赖“镜子里自己的位置”这个信息来修正动作。换个没有镜子的环境,或者镜子角度变了一点,性能立刻崩。解决思路很简单:训练时要刻意做环境随机化,比如随机挪镜子位置、随机改变光线、加入遮挡物,让模型学的是“视觉反馈”本身而不是“那个位置的镜子”。
摄像头标定误差。关键点检测的像素偏移换算成物理距离,误差可能达到几毫米。唇形跟踪要求不高还好,但如果要做更精细的表情控制,这点误差会被后续控制器放大。建议在系统里加入标定板,定期自动校验摄像头外参。
唇形目标和音频节奏的对齐。不同语速、不同情绪状态下,同一个音素的时值差别很大。如果在模型里把时间轴切得太硬,就会听起来断断续续。比较稳妥的做法是对音频先做韵律分析,提取音节边界,再在音节内部做柔性时间规整,让嘴形跟随有一点“弹性”。
4.2 高速奔跑的那些坑
MPC求解太慢导致指令滞后。奔跑状态下控制器频率一般要求500Hz以上,MPC要在每个控制周期内完成优化求解,计算压力非常大。常见做法是降维:把质心运动简化为线性倒立摆模型去在线求解,把全身关节协调放到WBC层去计算。如果你发现真机跑起来有明显的“一步一抖”,多半是MPC求解时间超标,需要在模型简化和求解器效率上找问题。
散热跟不上。高速奔跑时关节电机接近满功率输出,发热量巨大。我见过一个团队在测试中发现跑完几十秒后,关节扭矩明显下降,一开始误以为是控制问题,排查了半天才发现是电机过热降额。这提醒我们,做高速运动方案,散热设计至少要和算法同步考虑,不然跑不了几分钟就是“假高速”。
结构共振。高速奔跑的激励频率如果和结构固有频率接近,会发生共振。你怎么调参数都抖,其实不是控制器的问题,是腿的固有模态被激发了。解决手段通常是调整膝关节质量分布(加配重),让固有频率避开主激励频率,或者增加结构阻尼(贴阻尼材料有时候都够用)。
4.3 一个容易被忽略的工程习惯
无论是训练“照镜子”还是部署“高速奔跑”,强烈建议全程记录数据回放系统——把控制指令、传感器数据、摄像头画面全同步录下来,出事可以复盘。这个习惯救了我很多次,特别是高速奔跑测试摔机的时候,没有同步回放,根本说不清楚是哪一步控制指令引发的摔倒。
5. 行业观察:从产业演进的视角看两大热点
5.1 为什么“表现型能力”越来越卷
人形机器人前几年还在“会走”和“能走稳”里挣扎,现在头部项目已经在比“谁会说话了”和“谁跑得飙”,说明整个行业正在从“能动的机器人”走向“能融入人的机器人”。
“照镜子练嘴皮子”本质上是交互能力的竞争。当人形机器人的目标场景从工厂搬运切换到家庭陪伴、门店导览之后,用户对它的期待会发生根本性变化——不只是完成指令,而是看起来自然、沟通起来舒服。唇形同步、表情管理、眼神跟随,这些都是交互自然度的基础设施。谁先把这些打磨好,谁就能在服务场景里建立体验壁垒。
这个赛道的逻辑和智能手机早期很像:最开始卷处理器跑分,后来发现日常使用体验跟跑分不完全是线性关系,于是开始卷屏幕素质、卷拍照效果、卷系统流畅度。服务型人形机器人的“跑分时代”正在过去,“体验时代”正在到来。照镜子这件事,就是体验时代的前哨战。
5.2 为什么“极限运动能力”同样值得关注
Bolt跑出35km/h,从商业化角度短期未必有用武之地,但它验证的是技术栈的天花板:电机功率密度、结构强度设计、高速状态估计、动态步态规划。这些底层能力一旦突破,向下兼容低速场景是降维打击。
跑得快的机器人,走起来一定更稳;冲得猛的控制系统,精细操作一定更准。极限性能往往是工程能力的“放大镜”,它把所有短板都暴露出来,逼着团队把每一块都做扎实。所以我的态度是:别觉得35km/h的奔跑离日常应用远就不值得关注,它实际上是整个技术基座的一道压力测试。
5.3 离日常生活还有多远
说实话,照镜子练嘴皮子这项技术,离真正的消费级产品反而比高速奔跑更近。因为交互表现力是软的,可以把成本做得很低,塞进桌面级机器人就能用;高速奔跑则受限于硬件成本和安全法规,距离普及还有不小的距离。
但无论哪一项,人形机器人行业现在的进度都远超五年前的预期。镜子练嘴皮子对应的是自监督学习在机器人技能习得上的落地,35km/h对应的是动态控制在双足平台上的极限突破。你要是问我后续还盯什么,我会盯两个方向:一是镜子训练体系能不能扩展到全身动作的自监督学习,让机器人看着自己的演示视频就能学技能;二是35km/h这个记录会不会在一年内被刷新,刷新之后它能不能稳定跑完全程不掉链子。
这两个技术点,一个向内探索机器人的交互温度,一个向外挑战机器的物理极限。前者决定人形机器人有没有资格走进人的日常,后者决定人形机器人在物理世界里的行动边界。它们一起构成了这个行业在这个阶段最值得看的两条线索。