堀内贵文

人与机器人交互设计硕士论文

概要

对于人工操作的大型机器人,仅靠环境传感器往往难以区分两种情况:有意靠近作业目标,以及无意中靠近被忽略的障碍物。我设计了一套防碰撞系统,将估计出的操作者视野作为判断接触意图的线索;当机械臂靠近视野外的物体时,系统会使其减速或停止。

无需预先将物体分类为“可操作对象”或“保护对象”;这一分类会随操作者转头观察而更新。原型使用头显朝向作为视线方向的近似。我在一台高 1.9 米的人形重型机器人上实现了系统,并通过五次演示试验确认其按预期运行。实际运行情况见演示视频。

这项研究是我在米兰理工大学设计与工程专业的硕士论文工作,在株式会社人机一体(Jinki Ittai Co., Ltd.)实习期间开展,并在第 39 届日本机器人学会学术演讲会(RSJ2021)上发表。


  1. 标题页:Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation。米兰理工大学设计与工程硕士课程,2020–2021 学年。
  2. 背景:论文选题源于在株式会社人机一体的研究实习。该公司开发采用主从控制系统操作的人形重型机器人。
  3. 自主机器人与人工操作机器人的比较:前者在专门布置、设有围栏的环境中高效工作,后者在人们身边、较难预测的环境中作业。
  4. 欧洲、美国、日本的统计。显示与移动物体的接触在建筑工地事故中占相当大的比例。
  5. 既有防碰撞研究:覆盖机械臂的触觉感应表皮,以及用于虚拟重建周边环境的深度传感器。
  6. 当前的问题。现有的系统要求通过佩戴的标签、图像分析和训练好的识别器,事先将对象定义为“保护”或“可操作”。
  7. 提案。传统系统只使用被动的传感器信息,但在人工操作机器人中,人本身就在控制回路中,可以将人的目光作为主动的参数使用。
  8. 分类规则。位于操作者中心视野内的对象可以操作,位于外侧的对象则成为保护对象。
  9. 原型概览:实体机器人与虚拟环境相连接。后续幻灯片介绍系统的三个技术组成部分。
  10. 要素①。将中心视野表示为60°×55°的锥体,并以VR头显的前方方向作为近似。
  11. 要素②:安装在机器人头部的激光雷达获取周围环境的点云,并将其表示为支持碰撞检测的体素。
  12. 要素③:数字孪生随实体机器人同步运动;靠近视野范围之外的体素时触发警告。
  13. 概念验证演示:静帧画面显示机器人伸手去抓杆子上的球,旁边展示其周围环境的体素表示。
  14. 今后的课题。在作业空间内检测人员,验证测量视线方向的其他方法,以及进行实际的定量评估。
  15. 结论总结。研究主题、方法的价值、新颖性,以及系统是如何验证的。
原始汇报幻灯片(英语)。

问题:安全设置可能限制现场作业

需要人类操作机器人的地方,是那些未为自主机器人准备的场所。像建筑工地或灾区现场一样,人和设备的布局会发生变化,每项作业可以接触的对象也会不同。要使用机器的巨大力量,必须在防止意外接触的同时,能够接触到必要的对象。

既有防碰撞方法包括用接近传感器覆盖机器人,或用深度传感器在虚拟空间中重建周边环境。本研究考察的方法都要求预先将物体分类为“可操作对象”或“保护对象”。没有这一分类,机器人就会避开所有接触;若对每个物体逐一分类,又需要针对现场进行设置与校准。这些准备降低了机器人跨场地使用的实用性。

着想——将视线变为“可以触碰的条件”

在人类操作机器人的控制循环中,已经有人在判断状况。如果能够将人注意的方向传递给机器,我认为可以在作业过程中推测接触的意图,而不必事先注册对象。

我以操作者的中心视野作为分界:假设操作者已注意到视野内的物体,将其归为“可操作对象”;视野外的物体则可能被忽略,因此归为“保护对象”。设计规则同时规定,无论视线朝向哪里,人员都必须受到保护。

系统并不通过视线直接发出指令,而是将“假定操作者已注意到物体的区域”转化为机器人运动的约束条件。

机器人与操作者中心视野的俯视图。估计视野内的目标 A 用白色圆圈表示,视野外的 B、C、D 用深色方块表示;视野内外各有一人。
按所提出的规则,目标 A 位于操作者的中心视野内,因此可操作;B、C、D 位于视野外,因此受到保护。无论人员的位置或操作者的视线方向如何,人员都应归为保护对象。不过,本原型尚未实现人员检测。

交互设计

系统不会把视线简单地作为开关。当机械臂靠近操作者视野外的物体时,会随距离缩短逐步减速,并在接触前停止。操作者转向该物体后,限制也会逐步解除。我设计这些过渡,是为了避免突然停止或启动,让变化更容易预判。

操作者短暂移开视线时,已经与机器人接触的物体不会导致作业中断。仅因操作者看向别处就停止抓握或操作,反而可能降低稳定性。设计中,接近人员属于单独处理的情况:无论操作者的视线方向如何,都应保持限制。本原型尚未实现人员检测。

目标是在操作者能够察觉周边情况的范围内,保留机器人的作业能力;在其注意力可能未覆盖的范围内,限制运动。这一设计希望兼顾安全性与操作便利性,而不必让所有动作都减慢。

控制流程图,从不受限制的运动状态开始。各判断节点依次检查附近是否有物体、物体是否为人员、机械臂是否正朝人员移动,以及物体是否位于视野范围内,并据此进入精细运动、逐步停止或锁定状态。
在判断的过程中,读取操作者主动参数的节点只有“对象是否在注视区域”这一项。其他分支全部依靠被动的传感器信息运作。

设想的使用场景

设想的应用场景是建筑工地与灾害现场,机器会在人附近输出很大的力量。这类环境难以完全用围栏隔开,也不适合预先登记每个物体。如果每次布局变化都必须重新配置安全设置,系统的适应性和紧急部署速度都会受到影响。

基于视线的分类利用操作者当下的注意状态,而非对环境中物体的固定分类。在减少现场准备负担的同时,可能抑制对被忽视对象的接近。不过,这项研究确认的只是系统按定义运行的情况,事故降低的效果尚未进行实地评估。

原型和初步评估

实现

系统被实现于一个身高1.9米、重量600千克、具有30个自由度、形状类似人类上半身的机器人上。操作者佩戴VR头显,通过将机器人的视野和头部方向与自己的动作同步来操作它。

使用机器人上的LIDAR将工作空间作为点云获取,并在虚拟空间中以具有碰撞判定的体素表示。该空间运行着与实机同步的数字孪生。操作者的中心视野表示为60°×55°的锥体,并以头戴显示器的正前方向近似其方向。当机械臂靠近视野外的体素时,会向实机发送警告,使其减速或停止。

虚拟空间的场景。黄色的体素重构着周围,被标记为“操作者的中心视野”的半透明红色区域穿过其中,白色数字孪生机器人正向该区域外的障碍物伸手。
虚拟环境中包含机器人的数字孪生与扫描点云。图中展示了位于操作者估计中心视野之外的障碍物。

初步评估

每次试验都按相同顺序进行:机械臂靠近估计视野外的目标;停止后,操作者将头显转向目标以解除限制;最后抓住球。五次试验中,四次由熟练操作者完成,一次由仅第二次使用该驾驶舱的操作者完成。每次试验中,只要目标位于估计视野外,机械臂就会停止;目标进入该区域后,动作便可继续。这些试验检查的是预期行为能否在实体机器人上实现,并未通过用户研究评估其有效性。

操作者坐在机器人上部的框架内,朝侧面看。机器人手部停在黄色杆顶的蓝黄色球前方,图中标出了剩余距离。
目标位于操作者的估计视野外,机械臂在到达目标之前停止。
从下方角度的照片。操作员正在看着球,机器人手抓住了黄色柱子上蓝色和黄色的球。
当目标进入操作者的估计视野后,相同动作便可不受限制地继续。

局限与后续工作

原型未包含人员检测。虽然设计规定人员始终受到保护,但实际系统还需要可靠的人员识别方法。此外,原型用头显的正前方向近似视线,因此无法检测独立于头部运动的眼球转动。

如果使用固定摄像头或带视线测量的智能眼镜,佩戴设备和估计精度的条件会有所变化。在部署到移动机器人时,还需要能够跟随机器人自身位置变化的点云处理。

评价仅限于通过5次演示试验进行的定性确认。要判断安全性、作业速度和操作人员的负担,需要在实际作业条件下,与传统方法进行定量比较。

从这项研究中获得的视角

这项研究利用估计出的操作者视野,确定允许机器执行哪些动作。对于同一物体,机器人会根据操作者是否可能注意到它而改变行为。我的关注点是这种推定的注意状态与机器行动范围之间的关系,而不是单个动作。

这一视角仍影响着我的作品集中的项目:理解人的状态,将其转化为系统必须遵守的约束,再让机器或 AI 在这些边界内发挥能力。硕士研究是这一方法的起点。

致谢

这项研究是米兰理工大学设计与工程硕士课程的一部分,在株式会社人机一体实习期间开展。衷心感谢两家机构为这项研究提供的机会。

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. 会议日程