逆天 哥大华裔学生开发人脸机器人 表情超逼真(图)
表情生成模型
研究人员还提出了一个升级版逆向模型，可使机器人在相同的计算硬件上生成电机指令的速度比上一代产品快五倍以上。
他们提出了一种自我监督学习过程，以训练研究人员的面部机器人在没有明确的动作编排和人类标签的情况下生成人类面部表情。
控制机器人的传统方法依赖于运动学方程和模拟，但这只适用于具有已知运动学的刚体机器人。
机器人有柔软的可变形皮肤和几个带有四个套筒关节的被动机构，因此很难获得机器人运动学的运动方程。
研究人员利用基于视觉的自我监督学习方法克服了这一难题，在这种方法中，机器人可以通过观察镜子中的自己来学习运动指令与所产生的面部表情之间的关系。
机器人的面部表情由 19 个电机控制，其中 18 个电机对称分布，一个电机控制下颌运动。
在研究人员的案例中，面部数据集中的表情都是对称的；
因此，对称分布的电机在控制机器人时可以共享相同的电机指令。
因此，实际的控制指令只需要 11 个归一化为 [0, 1] 范围的参数。
面部反演模型是利用机器人自身生成的数据集（下图）进行训练的，其中包括电机指令和由此产生的面部地标。
研究人员以自我监督的方式，通过随机的 “电机咿呀学语 ”过程收集数据。在将指令发送到控制器之前，该过程会自动删除可能会撕裂面部皮肤或导致自碰撞的电机指令。
在伺服电机到达指令定义的目标位置后，研究人员使用 RGB 摄像头捕捉机器人的面部图像，并提取机器人的面部地标。
通过将自我模型和预测对话者模型相结合，机器人可以执行协同表达。
表情预测模型
研究人员还开发了一个预测模型，它可以实时预测对话者的目标面部表情。
为使机器人能及时做出真实的面部表情，它必须提前预测面部表情，使其机械装置有足够的时间启动。
为此，研究人员开发了一个预测面部表情模型，并使用人类表情视频数据集对其进行了训练。该模型能够根据一个人面部的初始和细微变化，预测其将要做出的目标表情。
首先，研究人员使用每组面部地标与每个视频中初始（“静止”）面部表情的面部地标之间的欧氏距离来量化面部表情动态。
[加西网正招聘多名全职sales 待遇优]
无评论不新闻，发表一下您的意见吧
研究人员还提出了一个升级版逆向模型，可使机器人在相同的计算硬件上生成电机指令的速度比上一代产品快五倍以上。
他们提出了一种自我监督学习过程，以训练研究人员的面部机器人在没有明确的动作编排和人类标签的情况下生成人类面部表情。
控制机器人的传统方法依赖于运动学方程和模拟，但这只适用于具有已知运动学的刚体机器人。
机器人有柔软的可变形皮肤和几个带有四个套筒关节的被动机构，因此很难获得机器人运动学的运动方程。
研究人员利用基于视觉的自我监督学习方法克服了这一难题，在这种方法中，机器人可以通过观察镜子中的自己来学习运动指令与所产生的面部表情之间的关系。
机器人的面部表情由 19 个电机控制，其中 18 个电机对称分布，一个电机控制下颌运动。
在研究人员的案例中，面部数据集中的表情都是对称的；
因此，对称分布的电机在控制机器人时可以共享相同的电机指令。
因此，实际的控制指令只需要 11 个归一化为 [0, 1] 范围的参数。
面部反演模型是利用机器人自身生成的数据集（下图）进行训练的，其中包括电机指令和由此产生的面部地标。
研究人员以自我监督的方式，通过随机的 “电机咿呀学语 ”过程收集数据。在将指令发送到控制器之前，该过程会自动删除可能会撕裂面部皮肤或导致自碰撞的电机指令。
在伺服电机到达指令定义的目标位置后，研究人员使用 RGB 摄像头捕捉机器人的面部图像，并提取机器人的面部地标。
通过将自我模型和预测对话者模型相结合，机器人可以执行协同表达。
表情预测模型
研究人员还开发了一个预测模型，它可以实时预测对话者的目标面部表情。
为使机器人能及时做出真实的面部表情，它必须提前预测面部表情，使其机械装置有足够的时间启动。
为此，研究人员开发了一个预测面部表情模型，并使用人类表情视频数据集对其进行了训练。该模型能够根据一个人面部的初始和细微变化，预测其将要做出的目标表情。
首先，研究人员使用每组面部地标与每个视频中初始（“静止”）面部表情的面部地标之间的欧氏距离来量化面部表情动态。
[加西网正招聘多名全职sales 待遇优]
| 分享: |
| 注： | 在此页阅读全文 |
推荐: