关于人机交互设计的硕士论文

概述

操作大型机器人的人，一次只能注意作业空间的一部分。这项研究问的是：如果把这份注意力此刻所在的位置告诉机器，会有什么改变。我设计了一套碰撞回避系统，由操作者的视线决定机器人可以怎样动作：落在操作者中央视野内的物体可以自由操作，落在视野之外的则受到保护——手臂会减速，并在触及之前停住。不需要事先为任何物体贴标签。这条界线是在作业发生的当下、从操作者恰好望向的地方划出来的。演示影片见这里（YouTube）。

这项工作是我在米兰理工大学 Design & Engineering 的硕士论文，在日本人机一体股份有限公司的研究实习期间完成，并在第39届日本机器人学会学术讲演会（RSJ2021）上发表。

我如今的设计理念也是从这里开始成形的。这套系统读到的不是指令，而是一种认知状态——某样东西究竟有没有被看见——并把这个状态转化为机器获准动作的条件。被设计的对象不是机器人的动作，而是关系：机器可以做什么，取决于人此刻理解了什么。设计这层关系而不是逐一设计行为，与我如今面对生成式AI而非机械臂时所做的，是同一个动作。

摘要

人为操作的机器人恰恰在自主机器人无能为力之处最有价值：在并非为当前作业而设计的空间里，在不能被撞到的人与设备旁边。既有的碰撞回避系统应对这类空间的方式，是要求每一个物体都事先被声明为操作目标或需要保护之物——对一台要在工地之间搬运的机器来说，这份配置成本会大到无法承受。

本研究提出把这项区分改在运行时作出，依据是操作者的视线。位于操作者中央视野之内的物体视为可操作，之外的视为受保护，而人在任何情况下都受保护。这一方法把一个主动参数——来自人的参数——引入了此前完全由被动传感器数据构成的控制回路。原型实现在身高1.9米的人形重型机械机器人 JINKI type Zero 上，并在五次演示试验中按定义运行。

1. 引言

人为操作的机器人兼具两样难以同时获得的东西：机器的力量与精度，以及人的情境判断。完全自主的机器人尚未提供后者。而且，工业机器人在围栏内经过设计的单元中工作，人为操作的机器人却要在为别的用途布置的场所工作——在现场工人身旁、在精密设备之间、在核设施与建筑工地。因此，能够保证机器人不损坏周围之物，本身就是它可用与否的一部分。

针对意外接触，已确立的两种防护是：以接近传感器覆盖机械臂所有关键部位的感测皮肤，以及把周围环境重建为点云、在虚拟空间中计算距离的深度感测。两者都有效。但两者都预设机器人周围的物体已经被分为可以触碰的与不可触碰的：没有这道分类，一台被禁止碰撞任何东西的机器也就无法操作任何东西。对于一件在工地之间搬运、被放在现场既有环境中的通用工具而言，这道配置与校准的成本，高过它所换来的安全。

本研究切入的口子在于：人为操作的机器人本来就有人处在控制回路之中。关于操作失误的研究把情境意识——准确掌握周围正在发生什么——列为决定性因素，而情境意识已知与视线方向高度相关。碰撞回避历来只由被动信息构成，也就是从传感器读到的数据。加入一个主动参数，即操作者正在看哪里，就给了系统一个线索：与某个物体的接触究竟是不是有意的。

2. 系统行为

操作者有意触碰的物体称为可操作物体，可以不受限制地处理。操作者并无此意的物体则是受保护物体，不得触碰。某个物体在某一瞬间属于哪一类，取决于它相对于操作者中央视野的位置：在视野之内，该物体处在足以视为有意的注意之下；在视野之外，则不然。

由此导出的行为由五条规则规定。机械臂可以自由地与中央视野内的物体发生接触。它不能与视野之外的物体发生接触，并在接近时逐渐停止。停止之后，随着操作者的视野移到它身上而逐渐解除限制。如果视野离开了机械臂已经接触着的物体，则不施加限制，好让进行中的作业不会因为看了一眼别处而中断。而对人，无论那个人站在哪里，机械臂都不得与之发生接触。当机器人有多条机械臂时，规则对每一条分别适用。

操作者由此获得的是：对正在注视的对象全速作业，同时可以信赖机器不会撞上未在注视的设备。现场人员的安全是无条件的，完全不取决于操作者的意图。

3. 预期效益

与这类作业最接近的现有图景是重型机械：巨大的力量施加在人旁边、未经整备的场所。碰撞事故是全世界建筑工地的主要危险之一，而注意力不集中被反复列为原因。2018年欧洲建筑工地记录的362,600起事故中，19.6%与被移动中的物体撞击有关；一项针对起重机相关事故的调查，把其中19%归因于操作者的疏忽。

由于注意力与视线方向高度相关，把这两个比例结合起来，可以粗略估计基于视线的系统所能覆盖的范围——在欧洲约为每年一万三千起。这个数字是由公开统计推论而来，而非测量结果，仅作为量级的参考。

4. 系统验证

作为概念验证，搭建并运行了一套演示系统。

4.1 实现

系统实现在 JINKI type Zero 上，这是人机一体股份有限公司开发的机器人。它具有人的上半身形态，高1.9米，重600公斤，共30个自由度。操作者与机器人处于同一场所，以主从方式耦合：VR头显把操作者的视野与头部转动同步到机器人上，带来与机器合为一体、而非在驾驶机器的感觉。

装在机器人上的激光雷达把周围作业场所扫描成点云，点云在虚拟空间中表示为各自带有碰撞体的体素。机器人的数字孪生在同一空间中运动；当它的手臂与体素重叠时，系统发出接近警告，其作用方式取决于操作者视野的方向。该视野建模为60°×55°（水平×垂直）的锥体——接近于人能够感知符号、颜色与深度的区域——其方向由头显的正前方近似。警告传送到实体机器人，并按上述规则塑造它的动作。

4.2 演示实验

一次初步评估检验了实现是否符合定义。要求操作者：一边望向别处一边把手臂朝立柱移动，确认系统已发出警告并使手臂停止，再把视线转向停住的手臂以解除限制，最后在保持注视的情况下取走立柱顶端的球。共进行五次试验：第一至三次与第五次由熟练操作者完成，第四次由第二次驾驶该机器人的人完成。每次均有录像。五次试验中，系统都按第2节的定义运行。演示可见系统运行中的影片。

5. 局限与未来工作

原型没有实现对人的检测。需要验证的是操作者的视线与物体可操作性之间的关系，而保护人的那条规则是无条件的，并不依赖于它。加入这项检测会让系统更为稳健，也会打开安全之外的应用——例如在操作者的视野中突出显示机器人附近的人，或者在接近警告生效之前发出提示。

视线以头显的正前方近似。之所以这样选，是看中它的直接，这在主从系统中很重要；但其他器材——固定摄像机、智能眼镜中的眼动仪——会以不同方式估计视线，也许能降低在不习惯佩戴设备的行业里引入这套系统的心理门槛。把这一方法用到移动机器人上还会带来另一个问题：JINKI type Zero 在开发阶段是固定不动的，而在作业中会改变位置的机器，需要足以跟上的高效点云处理。

评估本身仍是定性的。要恰当地判断这套系统，正途是在现场做定量研究，而这要等到机器人进入实用阶段。

6. 结论

本研究提出了一套面向人为操作机械臂的碰撞回避系统，利用操作者的视线来防止与人和设备发生意外接触。在意识与视线方向高度相关这一前提下，位于操作者中央视野之内的物体视为可操作，之外的视为受保护。把人的因素放进控制回路，使得这条界线可以在运行时划出，而不需要既有方法所要求的任何准备。

系统在一台通用重型机械机器人上得到验证，并按定义运行。同样的原理应当可以推广到任何本来就有人处在操作回路之中的场合。

致谢

本研究是在米兰理工大学 Design & Engineering 硕士学位的部分要求下，于人机一体股份有限公司实习期间完成的。谨向促成这一机会的两家机构致以谢意。