堀內貴文

關於人與機器人互動設計的碩士論文

概要

在人操作的大型機器人中,僅依靠周圍的感測器來區分接近工作對象的動作與向被忽略的障礙物移動的動作是困難的。因此,設計了一種碰撞迴避系統,利用操作員所觀看的範圍作為「可以接觸」的意圖線索,當靠近未被觀看的對象時,會使機械臂減速並停止。

不需要事先將對象登錄為「可操作」或「保護對象」。這種區別會根據操作人員在作業中的視線自動更新。已實裝於身高1.9米的人型重機器人上,並在五次示範試驗中確認了所定義的行為能夠成立。實際動作可以在示範影片中看到。

作為米蘭理工大學設計與工程碩士論文的一部分,這項研究是在株式会社人機一體的研究實習期間進行,並在第39回日本機器人學會學術演講會(RSJ2021)發表。


  1. 標題投影片。基於意識的碰撞預防於人類控制的機器人操作,米蘭理工大學設計與工程碩士課程,2020–2021學年度。
  2. 背景。論文主題是在研究實習期間,在開發人型重機並以主從式操作的企業——株式会社人機一體時決定的。
  3. 自律機器人與人操作機器人的比較。前者在圍欄內的設計空間中有效率地工作,後者在人類共同存在的不確定空間中工作。
  4. 歐洲、美國、日本的統計。與移動物體的接觸,在建築工地事故中占相當的比例。
  5. 關於衝突迴避的先行研究。覆蓋於操作機械手上的感覺皮膚,以及對周圍環境進行虛擬再現的深度感測器。
  6. 當前的課題。現有的系統要求通過佩戴的標籤、圖像解析以及已學習的識別器,事先將目標定義為「保護」或「可操作」。
  7. 提案。傳統系統只使用被動的感測器資訊,但在人工操作的機器人中,人本身就在控制迴路中,且可以將人的視線作為主動的參數使用。
  8. 分類規則。操作員中心視野內的對象是可操作的,外側的對象則是保護對象。
  9. 原型的整體概念。結合實機的機器人與虛擬的計算空間,三個技術要素接續而來。
  10. 要素①。將中心視野表現為60°×55°的錐體,並以VR頭戴顯示器的正面方向來近似其方向。
  11. 要素②。安裝在機器人頭部的LIDAR掃描周圍環境,將其作為點雲表示,每個點雲以具有碰撞器的體素表示。
  12. 要素③。機器的數位孿生機器人將與實機相同地運作,當其機械臂觸碰到視野外的體素時會出現接近警告。
  13. 概念驗證的示範。手伸向桿子上球的機器人畫面靜止圖,以及虛擬空間的體素顯示。
  14. 今後的課題。檢測工作空間內的人、驗證測量視線方向的其他方法,以及在實地的定量評估。
  15. 結論的總結。研究主題、方法的價值、新穎性,以及系統如何被驗證。

課題——為了安全的事前設定,束縛了現場

需要人類操作機器人的地方,是那些未為自律機器人整備的場所。像建築工地或災害現場一樣,人員或設備的配置會改變,每項作業中可以接觸的對象也會不同。要使用機械的巨大力量,必須在防止意外接觸的同時,能夠接觸必要的對象。

現有的碰撞避免方法包括用近接感測器覆蓋機器人或用深度感測器將周圍環境映射到虛擬空間。然而,無論哪一種方法,都需要事先將對象分類為「可操作」或「保護對象」。如果未登錄任何物件,為了安全無法觸碰任何東西;如果全部登錄,則需要針對每個現場進行設定和校準。這種準備負擔降低了可移動使用機器人的實用性。

設想——將視線變為「可以觸碰的條件」

在人類操作機器人的控制迴路中,已經有人在判斷情況。如果能將人注意的方向傳給機器,相比事先登記對象,是否可以在作業中推測接觸的意圖呢?

因此,以操作者的中心視野作為邊界。視野內的對象,視為操作者已掌握的「可操作對象」。視野外的對象,視為可能被忽略的「保護對象」。人無論視線位置如何,始終視為保護對象。

這不是透過視線向機器人下達命令的機制。這是將操作者的認知狀態轉換為機器人可以行動的條件的機制。

從上方看的圖。機器人前方,操作員的中心視野被描繪成錐體。錐體內的目標A是白色圓形,外側的目標B、C、D則以深色方形表示,兩個人站在錐體的內外。
位於操作者中心視野內側的目標A是可操作的,位於外側的目標B、C、D則是保護對象。人無論站在哪裡都會受到保護。

互動設計

系統不會將視線位置變成簡單的開關。當接近未被注視的物體時,手臂會根據距離逐漸減速,並在接觸前停下。停止後,如果操作者將視線轉向物體,限制也會逐漸解除。這樣可以避免突然停止或突然啟動的行為,使操作者能夠預測變化。

另一方面,即使暫時將目光從已經接觸的對象移開,也不會停止正在進行的作業。因為僅僅移開視線就中斷抓持或操作,反而會變得不穩定。只有接近人類才會另作處理,無論操作員是否在看,都會加以限制。

目標不是為了安全而統一地放慢作業速度。目的是在操作者可掌握的範圍內保持機器人的能力,只保護注意力未及的範圍,從而實現安全與作業性的兼顧。

從自由動作的狀態開始的流程圖。根據目標是否靠近、是否為人、操控器是否位於靠近人的方向、目標是否在注視區域而分支,並導向精密動作、階段性停止或鎖定。
在判斷的過程中,讀取操作者的主動參數的節點只有「目標是否在注視區域」這一個。其他的分支全部是依靠被動的感測器信息運作。

預期使用場景

針對的對象是建設現場或災害現場等,在人群附近處理巨大力量的場合。在這些場所中,完全用柵欄隔開周圍環境,或者事先登錄所有目標都是困難的。如果每次配置變動都重設安全設置,緊急性和通用性將會喪失。

基於視線的區分利用當下人的情境認知,而不是固定的環境模型。這有可能在減輕現場準備負擔的同時,抑制對被忽視目標的接近。不過,本研究確認的僅是系統按照定義運作的情況,並未對事故降低效果進行實地評估。

原型和初步評估

實裝

系統被實裝在一個類似人類上半身形狀的機器人上,身高1.9米,重量600公斤,具有30個自由度。操作員佩戴VR頭盔,將機器人的視野和頭部方向與自己的動作同步來操作。

在機器人上的LIDAR中以點雲的形式取得工作空間,並在虛擬空間中表現為具有碰撞判斷的體素。用於與實機同步的數位孿生正在運作。操作者的中心視野以60°×55°的錐體表示,方向以頭戴顯示器的正面方向近似。當機械臂靠近視野外的體素時,會向實機發送警告,使其減速或停止。

虛擬空間的情景。黃色的方塊重新構建周圍,“操作者的中心視野”標記的半透明紅色區域貫穿其中,白色數位孿生的機器人正在伸手觸碰該區域外的障礙物。
存放了機器人和掃描點雲的虛擬空間。在這裡,機器人接觸到位於操作者中心視野之外的障礙物。

預備評估

在操作員將視線從目標移開的狀態下將機械臂靠近,停止後再將視線移回目標解除限制,最後抓取球,試驗了一連串操作。在五次嘗試中,四次由熟練操作員負責,一次由第二次操作的操作員負責。所有嘗試中,在視線離開時會停止,將視線移回時可以繼續操作。這不是用來測量有效性的用戶實驗,而是確認設計的行為在實物上是否成立的初步評估。

機器人的照片。在上方的框架上有操作者乘坐著,身體轉向一旁。機器人手停在黃色桿子上藍黃相間的球前面,並顯示剩餘距離。
操作者的視線移開,機械手臂與目標保持距離停止。
從下方角度的照片。操作者正看著球,機器人手抓住黃色柱子上的藍色和黃色的球。
只要視線朝向目標,同樣的動作就能不受限制地進行。

極限與下一步的驗證

原型並未實作人的檢測。我們設置了無論視線如何,人都始終受到保護的規則,但在實際環境中,需要有能夠可靠識別人的機制。此外,因為使用了頭戴設備的正前方方向作為代理值,而不是視線本身,所以僅移動眼睛時無法捕捉到。

如果使用固定式攝影機或帶有視線追蹤功能的智慧眼鏡,裝置類型和估算精度的條件會有所不同。若要應用於移動機器人,還需要能夠追蹤機器人自身位置變化的點雲處理。

評價僅限於透過五次的示範試驗進行定性的確認。要判斷安全性、作業速度及操作人員的負擔,則需要在實際作業條件下,與傳統方式進行定量比較。

從這項研究中獲得的視角

在這項研究中,我們並不是將人的視線作為輸入裝置使用,而是將其作為允許機械行動的條件。根據人目前掌握了什麼,相同對象的機器人行為會有所不同。我們設計的不是個別的動作,而是人的認知狀態與機械權限之間的關係。

這種思考方式也與現在的我的設計哲學有所連接。理解人的狀態,並將其轉化為系統應該遵守的限制,然後機器或 AI 在其中發揮能力。碩士研究成了這個出發點。

致謝

本研究是在米蘭理工大學設計與工程碩士課程的一部分,於在株式会社人機一體的實習期間進行的。對促成這一機會的兩個組織表示深深的感謝。

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Conference programme