堀内贵文

关于人与机器人互动设计的硕士论文

概要

在有人操作的大型机器人中,仅依靠周围的传感器很难区分接近作业对象的动作和朝着被忽视的障碍物的动作。因此,我们设计了一种碰撞回避系统,该系统将操作者的可视范围作为“可以接触”的意图线索,当接近看不见的对象时会减速或停止机械臂。

不需要事先将对象注册为“可操作”或“保护对象”。这一区分会根据操作人员在作业中的视线进行更新。在身高1.9米的人型重型机械机器人上实现,在5次演示试验中确认了所定义的行为成立。实际动作可以在演示视频中看到。

作为米兰理工大学设计与工程专业的硕士论文,在株式会社人机一体的研究实习期间进行,并在第39届日本机器人学会学术演讲会(RSJ2021)进行发表。


  1. 标题幻灯片。基于意识的碰撞防护用于人类控制的机器人操作,米兰理工大学设计与工程硕士课程,2020–2021 学年度。
  2. 背景。论文主题是在研究实习期间,在开发人形重机并以主从式操作的公司——株式会社人机一体——中决定的。
  3. 自律机器人与人工操作机器人的比较。前者在栅栏内的设计空间中高效工作,后者在不确定的空间中与人共同工作。
  4. 欧洲、美国、日本的统计。显示与移动物体的接触在建筑工地事故中占相当大的比例。
  5. 关于冲突回避的先行研究。覆盖机械臂的感觉皮肤,以及虚拟重现周围环境的深度传感器。
  6. 当前的问题。现有的系统要求通过佩戴的标签、图像分析和训练好的识别器,事先将对象定义为“保护”或“可操作”。
  7. 提案。传统系统只使用被动的传感器信息,但在人工操作机器人中,人本身就在控制回路中,可以将人的目光作为主动的参数使用。
  8. 分类规则。位于操作者中心视野内的对象可以操作,位于外侧的对象则成为保护对象。
  9. 原型的整体图。结合实际的机器人和虚拟的计算空间,三个技术要素接连出现。
  10. 要素①。将中心视野表示为60°×55°的锥体,并以VR头显的前方方向作为近似。
  11. 要素②。安装在机器人头部的LIDAR扫描周围环境,以点云的形式表示,每个点云被表示为具有碰撞体的体素。
  12. 要素③。机器人的数字孪生与实际设备一样运动,当其机械臂触碰到视野之外的体素时,会发出接近警告。
  13. 概念验证的演示。手伸向杆子上的球的机器人的画面静止图,以及虚拟空间的体素显示。
  14. 今后的课题。在作业空间内检测人员,验证测量视线方向的其他方法,以及进行实际的定量评估。
  15. 结论总结。研究主题、方法的价值、新颖性,以及系统是如何验证的。

课题——为了安全的事前设置,束缚了现场

需要人类操作机器人的地方,是那些未为自主机器人准备的场所。像建筑工地或灾区现场一样,人和设备的布局会发生变化,每项作业可以接触的对象也会不同。要使用机器的巨大力量,必须在防止意外接触的同时,能够接触到必要的对象。

现有的碰撞回避方法包括用近距离传感器覆盖机器人,或用深度传感器在虚拟空间中重现周围环境。不过,无论哪种方法,都需要事先将对象分类为“可操作”还是“保护对象”。如果没有任何登记,为了安全起见什么也无法触碰;如果要全部登记,每个现场都需要进行设置和校准。这种准备负担降低了可以移动到不同场所使用的机器人的实用性。

着想——将视线变为“可以触碰的条件”

在人类操作机器人的控制循环中,已经有人在判断状况。如果能够将人注意的方向传递给机器,我认为可以在作业过程中推测接触的意图,而不必事先注册对象。

因此,以操作者的中央视野为界。在视野内的对象,被视为操作者掌握的“可操作对象”。在视野外的对象,被视为可能被忽视的“保护对象”。无论人的视线位置如何,总是将其视为保护对象。

这不是通过视线向机器人发送命令的机制。而是将操作者的认知状态转换为机器人可以运动的条件的机制。

从上方看到的图。机器人的前方描绘了操作者的中心视野作为锥体。锥体内部的目标A用白色圆表示,外部的目标B、C、D用深色方块表示,两个人分别站在锥体的内外。
位于操作者中心视野内的目标A是可操作的,位于外侧的目标B、C、D是保护对象。无论人站在哪里,都会受到保护。

交互设计

系统不会将视线位置作为简单的开关处理。当接近未注视的目标时,机械臂会根据距离逐渐减速,并在接触前停止。停止后,当操作者将视线转向目标时,限制也会逐渐解除。避免了突然停止或突然移动的行为,使操作者能够预测变化。

另一方面,即使暂时移开对已经接触的对象的视线,也不会停止正在进行的作业。因为仅仅移开视线就中断抓握或操作,反而会变得不稳定。只有接近人这一情况是例外,无论操作员是否在看,都要加以限制。

目标并不是为了安全而统一减慢作业速度。而是在操作员能够掌握的范围内保持机器人的能力,仅保护操作员注意不到的范围,从而实现安全性与作业性的兼顾。

从自由动作状态开始的流程图。根据对象是否在附近、是否为人、操纵器是否在靠近人的方向、对象是否在注视区域而分支,最终达到精密动作、逐步停止或锁定。
在判断的过程中,读取操作者主动参数的节点只有“对象是否在注视区域”这一项。其他分支全部依靠被动的传感器信息运作。

设想的使用场景

针对的是像建筑工地或灾害现场这样,在人附近处理巨大力量的场景。在这些地方,完全用栅栏隔开周围环境或者事先登记所有对象都是困难的。如果每次位置变化都需要重新设置安全机制,就会失去紧急性和通用性。

基于视线的区分不是使用固定的环境模型,而是利用当下人的情境认知。在减少现场准备负担的同时,可能抑制对被忽视对象的接近。不过,这项研究确认的只是系统按定义运行的情况,事故降低的效果尚未进行实地评估。

原型和初步评估

实现

系统被实现于一个身高1.9米、重量600千克、具有30个自由度、形状类似人类上半身的机器人上。操作者佩戴VR头显,通过将机器人的视野和头部方向与自己的动作同步来操作它。

使用机器人上的LIDAR将工作空间作为点云获取,并在虚拟空间中以具有碰撞判定的体素表示。该空间运行着与实机同步的数字孪生。操作者的中心视野表示为60°×55°的锥体,并以头戴显示器的正前方向近似其方向。当机械臂靠近视野外的体素时,会向实机发送警告,使其减速或停止。

虚拟空间的场景。黄色的体素重构着周围,被标记为“操作者的中心视野”的半透明红色区域穿过其中,白色数字孪生机器人正向该区域外的障碍物伸手。
包含了机器人和扫描点云的虚拟空间。在这里,机器人接触到操作者中心视野之外的障碍物。

预备评价

操作员在将视线从目标移开时,将机械臂靠近,停止后再将视线转回到目标以解除限制,最后抓住球的一系列操作进行了尝试。在5次尝试中,4次由熟练的操作员进行,1次由第二次操作的乘员进行。所有尝试中,当视线离开时机械臂会停止,当视线回到目标时操作可以继续。这不是为了测量有效性的用户实验,而是为了确认设计的行为在实际设备上是否可行的初步评估。

机器人的照片。在其上方的框架上,操作员坐在上面,侧身。机器人的手停在黄色杆子上的蓝黄球前面,剩余的距离被显示出来。
操作者的视线移开,机械臂与目标保持一定距离后停止。
从下方角度的照片。操作员正在看着球,机器人手抓住了黄色柱子上蓝色和黄色的球。
只要视线朝向目标,相同的动作就可以不受限制地进行。

极限与下一次验证

原型中未实现人的检测。虽然制定了无论视线如何都始终保护人的规则,但在实际环境中需要有能够可靠识别人的机制。此外,由于不是使用视线本身,而是将头戴设备的正面方向作为代理值,因此只移动眼睛的情况下无法捕捉到。

如果使用固定摄像头或带视线测量的智能眼镜,佩戴设备和估计精度的条件会有所变化。在部署到移动机器人时,还需要能够跟随机器人自身位置变化的点云处理。

评价仅限于通过5次演示试验进行的定性确认。要判断安全性、作业速度和操作人员的负担,需要在实际作业条件下,与传统方法进行定量比较。

从这项研究中获得的视角

在这项研究中,我们不是将人的视线用作输入设备,而是将其作为允许机器行为的条件。根据人当前掌握的内容,对同一对象的机器人的行为会发生变化。我们设计的不是单个动作,而是人的认知状态与机器权限之间的关系。

这种思维方式也与现在的我的设计哲学相连。理解人的状态,并将其转化为系统应遵守的约束,然后机器或人工智能在其中发挥能力。硕士研究成为了那个出发点。

致谢

本研究是在米兰理工大学设计与工程硕士课程的一部分,以及在株式会社人机一体实习期间进行的。对促成这一机会的两家机构表示衷心感谢。

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Conference programme