關於人機互動設計的碩士論文

概述

操作大型機器人的人，一次只能注意作業空間的一部分。這項研究問的是：如果把這份注意力此刻所在的位置告訴機器，會有什麼改變。我設計了一套碰撞迴避系統，由操作者的視線決定機器人可以怎樣動作：落在操作者中央視野內的物體可以自由操作，落在視野之外的則受到保護——手臂會減速，並在觸及之前停住。不需要事先為任何物體貼標籤。這條界線是在作業發生的當下、從操作者恰好望向的地方劃出來的。示範影片見這裡（YouTube）。

這項工作是我在米蘭理工大學 Design & Engineering 的碩士論文，在日本人機一體股份有限公司的研究實習期間完成，並在第39屆日本機器人學會學術講演會（RSJ2021）上發表。

我如今的設計理念也是從這裡開始成形的。這套系統讀到的不是指令，而是一種認知狀態——某樣東西究竟有沒有被看見——並把這個狀態轉化為機器獲准動作的條件。被設計的對象不是機器人的動作，而是關係：機器可以做什麼，取決於人此刻理解了什麼。設計這層關係而不是逐一設計行為，與我如今面對生成式AI而非機械臂時所做的，是同一個動作。

摘要

人為操作的機器人恰恰在自主機器人無能為力之處最有價值：在並非為當前作業而設計的空間裡，在不能被撞到的人與設備旁邊。既有的碰撞迴避系統應對這類空間的方式，是要求每一個物體都事先被宣告為操作目標或需要保護之物——對一台要在工地之間搬運的機器來說，這份設定成本會大到無法承受。

本研究提出把這項區分改在執行時作出，依據是操作者的視線。位於操作者中央視野之內的物體視為可操作，之外的視為受保護，而人在任何情況下都受保護。這一方法把一個主動參數——來自人的參數——引入了此前完全由被動感測器資料構成的控制迴路。原型實作在身高1.9公尺的人形重型機械機器人 JINKI type Zero 上，並在五次示範試驗中按定義運行。

1. 引言

人為操作的機器人兼具兩樣難以同時獲得的東西：機器的力量與精度，以及人的情境判斷。完全自主的機器人尚未提供後者。而且，工業機器人在圍籬內經過設計的單元中工作，人為操作的機器人卻要在為別的用途布置的場所工作——在現場工人身旁、在精密設備之間、在核設施與營建工地。因此，能夠保證機器人不損壞周圍之物，本身就是它可用與否的一部分。

針對意外接觸，已確立的兩種防護是：以接近感測器覆蓋機械臂所有關鍵部位的感測皮膚，以及把周圍環境重建為點雲、在虛擬空間中計算距離的深度感測。兩者都有效。但兩者都預設機器人周圍的物體已經被分為可以觸碰的與不可觸碰的：沒有這道分類，一台被禁止碰撞任何東西的機器也就無法操作任何東西。對於一件在工地之間搬運、被放在現場既有環境中的通用工具而言，這道設定與校正的成本，高過它所換來的安全。

本研究切入的口子在於：人為操作的機器人本來就有人處在控制迴路之中。關於操作失誤的研究把情境意識——準確掌握周圍正在發生什麼——列為決定性因素，而情境意識已知與視線方向高度相關。碰撞迴避歷來只由被動資訊構成，也就是從感測器讀到的資料。加入一個主動參數，即操作者正在看哪裡，就給了系統一個線索：與某個物體的接觸究竟是不是有意的。

2. 系統行為

操作者有意觸碰的物體稱為可操作物體，可以不受限制地處理。操作者並無此意的物體則是受保護物體，不得觸碰。某個物體在某一瞬間屬於哪一類，取決於它相對於操作者中央視野的位置：在視野之內，該物體處在足以視為有意的注意之下；在視野之外，則不然。

由此導出的行為由五條規則規定。機械臂可以自由地與中央視野內的物體發生接觸。它不能與視野之外的物體發生接觸，並在接近時逐漸停止。停止之後，隨著操作者的視野移到它身上而逐漸解除限制。如果視野離開了機械臂已經接觸著的物體，則不施加限制，好讓進行中的作業不會因為看了一眼別處而中斷。而對人，無論那個人站在哪裡，機械臂都不得與之發生接觸。當機器人有多條機械臂時，規則對每一條分別適用。

操作者由此獲得的是：對正在注視的對象全速作業，同時可以信賴機器不會撞上未在注視的設備。現場人員的安全是無條件的，完全不取決於操作者的意圖。

3. 預期效益

與這類作業最接近的現有圖景是重型機械：巨大的力量施加在人旁邊、未經整備的場所。碰撞事故是全世界營建工地的主要危險之一，而注意力不集中被反覆列為原因。2018年歐洲營建工地記錄的362,600起事故中，19.6%與被移動中的物體撞擊有關；一項針對起重機相關事故的調查，把其中19%歸因於操作者的疏忽。

由於注意力與視線方向高度相關，把這兩個比例結合起來，可以粗略估計以視線為基礎的系統所能涵蓋的範圍——在歐洲約為每年一萬三千起。這個數字是由公開統計推論而來，而非測量結果，僅作為量級的參考。

4. 系統驗證

作為概念驗證，搭建並運行了一套示範系統。

4.1 實作

系統實作在 JINKI type Zero 上，這是人機一體股份有限公司開發的機器人。它具有人的上半身形態，高1.9公尺，重600公斤，共30個自由度。操作者與機器人處於同一場所，以主從方式耦合：VR頭戴顯示器把操作者的視野與頭部轉動同步到機器人上，帶來與機器合為一體、而非在駕駛機器的感覺。

裝在機器人上的光達把周圍作業場所掃描成點雲，點雲在虛擬空間中表示為各自帶有碰撞體的體素。機器人的數位分身在同一空間中運動；當它的手臂與體素重疊時，系統發出接近警告，其作用方式取決於操作者視野的方向。該視野建模為60°×55°（水平×垂直）的錐體——接近於人能夠感知符號、顏色與深度的區域——其方向由頭戴顯示器的正前方近似。警告傳送到實體機器人，並按上述規則塑造它的動作。

4.2 示範實驗

一次初步評估檢驗了實作是否符合定義。要求操作者：一邊望向別處一邊把手臂朝立柱移動，確認系統已發出警告並使手臂停止，再把視線轉向停住的手臂以解除限制，最後在保持注視的情況下取走立柱頂端的球。共進行五次試驗：第一至三次與第五次由熟練操作者完成，第四次由第二次駕駛該機器人的人完成。每次均有錄影。五次試驗中，系統都按第2節的定義運行。示範可見系統運行中的影片。

5. 侷限與未來工作

原型沒有實作對人的偵測。需要驗證的是操作者的視線與物體可操作性之間的關係，而保護人的那條規則是無條件的，並不依賴於它。加入這項偵測會讓系統更為穩健，也會打開安全之外的應用——例如在操作者的視野中突顯機器人附近的人，或者在接近警告生效之前發出提示。

視線以頭戴顯示器的正前方近似。之所以這樣選，是看中它的直接，這在主從系統中很重要；但其他器材——固定攝影機、智慧眼鏡中的眼動儀——會以不同方式估計視線，也許能降低在不習慣配戴設備的產業裡引入這套系統的心理門檻。把這一方法用到移動機器人上還會帶來另一個問題：JINKI type Zero 在開發階段是固定不動的，而在作業中會改變位置的機器，需要足以跟上的高效點雲處理。

評估本身仍是定性的。要恰當地判斷這套系統，正途是在現場做定量研究，而這要等到機器人進入實用階段。

6. 結論

本研究提出了一套面向人為操作機械臂的碰撞迴避系統，利用操作者的視線來防止與人和設備發生意外接觸。在意識與視線方向高度相關這一前提下，位於操作者中央視野之內的物體視為可操作，之外的視為受保護。把人的因素放進控制迴路，使得這條界線可以在執行時劃出，而不需要既有方法所要求的任何準備。

系統在一台通用重型機械機器人上得到驗證，並按定義運行。同樣的原理應當可以推廣到任何本來就有人處在操作迴路之中的場合。

致謝

本研究是在米蘭理工大學 Design & Engineering 碩士學位的部分要求下，於人機一體股份有限公司實習期間完成的。謹向促成這一機會的兩家機構致以謝意。