“人形机器人”的智能感知与控制技术

微纳感知是机器人智能的基础之一。2024年4月，“2024中国人形机器人生态大会”在上海举行，主办单位是中国机器人网和上海智能谷。会议期间，俄罗斯工程院外籍院士、苏州大学机电工程学院机器人技术与系统国家重点实验室副主任孙立宁做了“ 人形机器人智能感知与控制技术”的报告，从多个角度介绍了下当前在这个方面领域中的进展。

背景

从我国近几年制定的发展政策到“十四五”规划，尤其是2023年11月工信部发布了《人形机器人创新发展指导意见》，按照“谋划三年、展望五年”的时间安排做了战略部署，指出:到2025年人形机器人创新体系初步建立，到2027 年达到深入结合²。2024年3月北京又“揭榜挂帅”了19个项目³.....我们看到很多人形机器人项目发展良好。

2024年1月，工信部、教育部、科技部等7部门正式发布《关于推动未来产业创新发展的实施意见》中，在专栏“创新标志性产品”中，第一条就是“人形机器人”，之后的二~四条分别是量子计算机、新型显示、脑机接口。从这一-点来看，我国非常重视人形机器人领域的发展。

近期业内人士也能感受到，无论是科技部还是工信部纷纷对白皮书、路线图进行了制定，而且在各个省市的发展规划中，纷纷成立人形机器人创新中心、研究院等。

人形机器人的优点人们已清楚，主要是从带足形到像人一样，解决复杂场景的应用。

1   进展:自2023年以来再次爆发

人形机器人这几年出现了很多。尤其从2023年至2024年3月这一年多时间里，沉寂了20多年的人形机器人再次爆发。国外的案例，从美国波士顿动力的Atlas，到近期特斯拉的Optimus (擎天柱)，以及英国Ameca、 美国Digit V3、迪士尼双足机器人、Figure 01等，国内有之江实验室的“小之”，优必选的“Walker x”.“星动纪元”、云深处“悟空”、追觅人形机器人、乐“星动纪元”、云深处“悟空”、追觅人形机器人、乐聚“夸父”等。

2   人形机器人的发展目标

这要从两个方面来看。

①技术层面，想使机器人像人一样一能动、能跑、能越障;更重要的是提升智能化水平，例如能针对任务②市场层面，尽管各种应用场景还在探索之中，但灵活、 稳定、智能。

②市场层面，尽管各种应用场景还在探索之中，但至少市场目标没有改变，希望达到:低成本、高可靠性、用于军事场景、家用场景、抢险救援等。

网上有很多视频。例如，波士顿动力的AI建筑机器人，还有海尔和乐聚推出的“家庭服务机器人概念演示”。2024 年3月，在“2024年中国家电及消费电子博览会”上，海尔机器人与乐聚机器人联合展出了国内首款面向家庭场景的人形机器人Kuavo (夸父)。这款作功能，还展示了洗衣、浇花、插花、晾衣服等近期学作功能，还展示了洗衣、浇花、插花、晾衣服等近期学习的手部操作成果。该机器人可以炒菜，这是否采用了数学模型?可能不是，是人的经验、行为能够数据化，这一点非常关键。

未来人形机器人怎么实现?人们上班后，家里收拾桌子和打扫卫生，包括把家电之间(洗衣机、冰箱、洗碗机等)连起来，变成了一个电子保姆，慢慢帮人们做家务，这应该是对我们生活有帮助的一种理想场景 。

3   感知/环境感知技术

回到技术层面，人形机器人有五六项关键技术，如下所示。

●   高爆发力的驱动一这与工业机器人不一样， 而是有爆发力、高功率密度；

●   环境感知；

●   任务和运动控制； 

●   本体；

●   大模型，像计算机、手机一样。

本次重点在感知和控制方面做介绍。

过去的半闭环系统更关注内在的闭环，像工业机器人的码盘。现在人形机器人出现以后，更关注外部的传感，像听、看、闻，以及内部的陀螺和惯性等，用于外部的手、足和皮肤等(如图1)。

图1 感知技术向微型化、多功能化、数字化和智能化方向发展

近期孙立宁院士团队在探索MEMS技术与机器人的结合。

首先，做了柔性电子皮肤，用基于纳米摩擦发电的柔性传感器进行设计，研制出了便携式、低功耗、低成机交互系统，实现机器人末端的实时三维轨迹交互控制。这里的自发电指运动过程中的摩擦发电，是用先进材料研制出来的可穿戴的皮肤。这个研究较为实用。

第二，在传统的、未来不可少的灵巧手传感方面，有力的感知/触觉。为了实现小型化和集成化，采用了更多的先进材料，利用了柔性和压铸等原理。在这方面，国内团队做了很多工作。

从感知外部来看，机器人无论是在AGV (自动引导车) 1移动方面普遍存在挑战。环境感知方面的挑战涉及如下。

●   环境几何特征感知。基于IMU+激光雷达+视觉的几何特征感知:足底冲击振动下的多帧图像去噪与配准，像人一样，建立室外大场最地图，通过回环检测与回环验证对自身进行重定位，提供图像的精度。

●   地形感知与分割。基于视觉的野外地形感知：建立具有典型地形的野外地形图像数据集;根据野外地形特征设计地形分割网络，并进行训练和测试;最终可通过视觉图像推断地形类型。与过去的机器人的吻合。

●   多信息地图建立。基于视觉进行三维建图:进行稠密深度估计，对薄结构及低纹理区域(如树干、水面)建模：通过视觉SLAM架构建立具有三维信息、地形以及物理特征信息的多信息稠密地图。

●   面向操作物体感知。这是协作机器人与人形机器人特有的问题。例如炒菜，主要是面向操作任务的目标物感知:实时建图与动态物体检测，防止操作碰撞，基于卷积神经网络目标物分类，进行特征点匹配，依据非完整点云数据估计目标物6维位姿。

●   类人时空域信息感知。基于脉冲神经网络的时空域信息感知:突破以空间信息为主的静态感知范式，将视觉感知的维度扩充至时空维度，提高机器人在动态、开放环境下的感知能力。

体感知方面，早期做视觉已比较多了，现在对软体或复杂的形状，触觉就发挥了很大的作用，所以对完整的估计等，包括清华等高校研究单位做的MEMS传感器的项目，已经能够对材质(钢铁、玻璃还是木头等)能够识别了，包括手指已经有了纹理,这方面就更精准化了。

4   运动控制

●   系统建模。系统建模是在运动控制层面，是比较难的，主要依据人体运动特征，构建基于倒立摆模型：如线性倒立摆，弹簧负载倒立摆模型，用于行走与跳跃运动控制，还有被动动力学、单刚体1多刚体动力学模型进行人形机器人控制(如图2)。

图2系统建模

●   动步态运动。静态1准静态运动的特点是依赖较大脚掌，行走缓慢，采用位置控制;动态运动无需大脚掌保持静态稳定性，行走速度大幅提高，由位置控制转为力控方案，有一定的鲁棒性。高动态运动的人形机器人软硬件成本最高，追求极致的运动性能，以突破人类运动的极限。

早期仿生机器人主要是四足机器人，做了多少年都本体，这很复杂，然后再降维。应该说从机械动力学方面有很多科学问题，非常难。但是如果能把系统动力学面有很多科学问题，非常难。但是如果能把系统动力学模型与大数据结合，可能是一种解决办法。再加上人形机器人的自学习训练，像人一样—人实际 上没有模型，通过训练学习的过程把AI问题解决了。这两方面可以结合。

机器人的自学习训练，像人一样—人实际上没有模型，通过训练学习的过程把AI问题解决了。这两方面可以结合。

动态运动控制方面。实际上机器人的发展也经历了从静态、准动态到高动态的发展过程，这方面已经看到了挑战，无论是Atlas还是擎天柱(Optimus)，都是向动第二，控制也是一个大的问题，包括控制目标与模态和高动态发起了挑战，使之能够更好地得到应用。

第二，控制也是一个大的问题，包括控制目标与模型的问题。如前所叙，这里是模型与训练。底层来看，工业机器人是多关节位置控制，现在是全身运动控制，需要全身的力学模型。目前国内很多学者和高校开展了这方面的研究。

从这两方面的手段来看，我们早期的控制手段、控制要素、执行的变化基本是动力学的问题。

现在全身动力学要搞关节的位置控制、冲击力的柔性、接触、执行(让人跳起来)等问题。这些模型的基础原理也是多方面的，有基于动量、动能的，还包括机械动力学模型等。

发展趋势如前所述：准动态做了10年，然后运动控制/力控又做了10年，高动态是当前发展是最为火热的技术，最终的目标是类人化。

在这里，模型研究还是很关键的，尤其对于从事机械系统的人。

●   四肢协调

两条腿、两条胳膊以及两只手做复杂动作的时候，对协调控制带来挑战:怎样来把人的行为复用到机器人上?这非常重要，需要数据驱动。

想比之下，模型驱动很难做得非常精准一由于计算量要特别大，因此很难做到真实。所以数据驱动是非常重要的。因为刚才提到，人的行为可能没有太多的模型，是通过学习进化的，最后能够与外部环境进行协调和适应，因此需要跟大模型、数据平台结合。

未来的发展可能在手的操作方面会有很多挑战。抓取相关的技术问题，包括无缝地融合物理模型，最终是多模态一--通过大模型将不同传 感器的信息融合处理，通过语言实现机器人智能控制。

总之，把底层运动和行为结合做好，是比较现实的亟待解决的问题。

5   运动和感知技术的创新

无论从运动模型还是感知，人形机器人跟人不完全一样，现在只能是从工程的角度改进。例如人类有39万亿个细胞/节点，我们对其认识太有限了。人运动最基本的是运动神经元。神经元来自于生物，截至2008年，孙立宁老师团队通过机械模型的方法建立了神经时空分布模型、突触生长模型以及神经电学模型，设计并搭建了神经电路。这个模型准不准?他们把一个水蛭的腿切断了，然后结合电生理实验平台(膜片钳)进行了运动供了基础。现在来看这是生物芯片的概念，至少说明这个模型是成功的，通过条件反射就能实现肌肉的控制。

如果这项工作能跟当前的算力模型结合，可能效果就更好。

会有什么样的效果呢?对于神经元模型，我们看一朵花在含苞待放的时候，只要-滴水就会突然爆发， 这是神经发育的过程。包括动物生下来的时候，神经很快就会发育了，这是生物进化的现象。

所以能不能把这个模型建好?通过一定的训练， 它自己就能爆发出一个神经元?这个问题很重要一结合生物学原理。

实际上，我们人类的神经元，包括人类对于声觉和视觉的认识是因为大脑里有个海马体，这个海马区域的所以通过海马体脑区的情感认知，把拓扑关系找出来，可能这样一个宏观模型对嵌入运动控制是一种非常好的原理。

前期工作已做到了包括建图、采集，通过复杂环境导航、仿真强化学习等结合起来，算力非常快，相对比较前沿。在未来的研究.上如果这样结合起来，是否是一种新的思路？

6   ChatGPT的加持

ChatGPT已火热一年多了，现在已司空见惯，但对我们的发展是很有帮助的。孙立宁教授非常关注神经网络和生成数据，这两者是非常重要的。前边的感知是作为采集，从算法、AI到落地机器人的时候，主要有两个大问题，数据如何来?神经网络怎么做?

如果能够把像神经元这种生物学的原理，借鉴我们现在的神经网络，可能进展更快更好，但这需要人们的探索。

7   其他挑战

人形机器人的应用前景已经非常肯定。关键问题是在我们的生活、生产/工作的各个方面怎么用? 一个自然语言的模型，另一个是操作，尤其操作是很难的，一个动作如果描述出来有很多数据。操作发展的过程都存在鲁棒性。

还有数据存储、技能的存储，例如一段视频或照相需要上G、几百兆，因此一个动作的存储恐怕是非常巨大的，海量数据怎么样存储？后边还有模型神经网络？这方面很重要。

有了数据以后，我们人的行为有了，那么怎么迁移到机器人里?还得有异构吧?包括4足机器人迁移到两足机器人，人的行为迁移到机器人里，所以数据迁移问题非常重要了。从大样本的、小样本的、特征的、模型的，不同的角度来迁移数据。

所以我们在面临人形机器人方面大的战略思路也非常清楚，但细节的问题还是很难在机械本体存在着一些瓶颈，在感知方面也需要创新，最重要的是结合AI技术怎么落地?数据、操作这些问题也给我们带来很多挑战。

这些问题如果能够解决，相信就回到人形机器人的特种环境，最终可能在像工厂里，这样几大技术结合起特种环境，最终可能在像工厂里，这样几大技术结合起来，希望从业者能够从不同角度去合作、交叉，解决共性技术，最后迁移到产业的载体，使人形机器人的性能不断提高，好使好用，就达到了我们的梦想。

注：

1:《人形机器人创新发展指导意见》中提到，到2025年人形机“大脑、小脑、肢体”等一批关键技术取得突破，确保核心部组件安全有效供给。

2:《人形机器人创新发展指导意见》中指出，到2027年人形机器人技术创新能力显著提升，形成安全可靠的产业链供应链体系，构建具有国际竞争力的产业生态，综合实力达到世界先进水度融入实体经济，成为重要的经济增长新弓|擎。度融入实体经济，成为重要的经济增长新弓|擎。

3: 2024年3月13日，人形机器人大赛暨人形机器人百人会论坛在经开区开幕，其中参赛的116个项目均是围工信部关于人形机器人“揭榜挂帅”任务榜单的4大板块19个方向展开。4大板块为：核心基础，重点产品，公共支撑，典型应用。19个方向分别传感器，触觉传感器，旋转型电驱动关节，直线型电驱动关节，传感器，触觉传感器，旋转型电驱动关节，直线型电驱动关节，机械臂与灵巧手，高算力主控制器，高能量密度电池，人形机器人端到端仿真开发平台，人形机器人的标准、测试与评估，人形机器人的机器脑智能控制技术，面向工业制造的典型应用，面向灾害救援的典型应用，面向危险作业的典型应用，面向智慧物流的典型应用，面向安防巡逻的典型应用，面向服务娱乐的典型应用。