华为发明的机器人凝视追踪技术,通过显示模块来模拟真实的机器人面部输出,结合多种偏转角度测量方法,实现了平滑的凝视追踪效果,提高了机器人的拟人化程度。
集微网消息,在现代社会的家庭中,越来越多的父母不能时刻陪伴孩子,而此时可以使用智能机器人进行陪伴以及教育孩子。这种智能机器人可以与孩子进行交流,并且可以基于不同的对话内容学习、更新与孩子的交流方式,可以说非常的人性化。
拟人特性作为衡量机器人智能化的重要指标之一,在人机交互的过程中,目标跟随以及凝视跟踪行为的准确性则直接反映机器人的拟人化程度,技术人员往往通过提高机器人的拟人化程度来提高用户的使用体验。
而所谓的凝视追踪技术,就是在机器人和用户进行对话时捕捉用户的眼睛位置并进行凝视,因为人们在谈话时往往看着对方的眼睛,如果机器人也可以采用这样的技术,将会极大的提高其拟人化程度,并且带给用户极佳的交流体验。
为了实现这个目的,华为在5月8日申请了一项名为“一种机器人的控制方法、装置、机器人以及存储介质”的发明专利(申请号:202010382291.0),申请人为华为技术有限公司。
根据该专利目前公开的资料,让我们一起来看看华为的这项凝视追踪技术吧。
为该专利中发明的机器人示意图,其中包括具有模拟人形形态的a型机器人、模拟动物形态的b型机器人以及非生物形态的c型机器人,这些机器人虽然形状各异,但是均具有运动功能,可以进行移动以及旋转等运动操作,其具体控制方法的实现如下图所示。
可以看到,控制机器人运动的过程分为三步,首先需要获取目标对象的位置信息,其次根据这个位置信息来控制机器人转动。这个相对位置可以通过自动识别或者手动设置来确定,它是机器人与目标对象之间的相对位置,例如正前方、右侧等,也可以是具体多少角度的偏转,例如+60度或者-120度等。
有了相对位置信息后,机器人会根据自身的初始角度以及目标对象的位姿确定目标偏转角度,例如人形机器人可以以其面部为正面。为了实现凝视追踪的目的,可以将目标偏转角度设置为机器人看向的方向,这样就可以使得机器人的视线对准目标对象,从而完成凝视追踪。
并且值得一提的是,该专利采用显示模块的输出画面来完成凝视,这相比于马达驱动的硬件凝视具有更高的响应度,利用这种模拟的凝视界面,可以很好的实现平滑凝视追踪效果。
具体的应用案例如上图所示,这是专利中提供的目标偏转角度的获取示意图,左侧为机器人,右侧为真人,对于凝视追踪而言,最重要的就是将机器人的视线与目标对象的视线进行交汇,即处于同一平面内,因此机器人需要确定自身当前的视线方向以及目标对象的视线方法,并且可以基于两个视线方向确定偏转角度。
该专利提供了三种技术用于确定这个偏转角度:基于距离传感器、基于拍摄图像以及基于语音信号的方式。基于距离传感器的方法就是通过距离探测单元采集的距离值构建机器人所处场景下的深度图,基于深度图来确定当前场景包含的对象,并根据目标的轮廓线来确定目标对象。
基于拍摄图像的方法是通过轮廓识别算法提取该场景图像内包括的轮廓信息,并基于轮廓信息对场景图像进行划分,通过主体类型识别来确定目标对象。而基于语音信号的方法则是基于语音分析结果来确定是否有激活口令,通过口令来确定目标对象。
这三种方式都可以用于完成凝视追踪,并且可以利用多种方法进行组合的方式来提高凝视追踪的准确率。此外,基于拍摄图像的方法还需要对摄像模块上采集的图像进行校准,从而在后续的凝视追踪时,可以使得机器人的眼部视线偏移到目标对象的中心位置。
以上就是华为发明的机器人凝视追踪方法,通过确定机器人与目标之间的偏转角度,并不断调整显示模块的输出内容以及旋转部件来实现凝视追踪。此外,该技术基于三种确定偏转角度的方法,无需借助马达来驱动硬件,响应时间较短,不仅实现了平滑凝视追踪行为,也提高了机器人的拟人化程度。