堀內貴文

人與機器人互動設計碩士論文

概要

對於由人操作的大型機器人,僅靠環境感測器,可能難以區分有意接近作業目標與無意接近被忽略障礙物的動作。我設計了一套碰撞預防系統,以操作者的估計視野作為判斷接觸意圖的線索;機械臂接近該視野外的物件時,系統會使其減速或停止。

物件無須事先分類為「可操作」或「保護對象」;分類會隨操作者環顧四周而更新。原型以頭戴裝置的朝向作為視線的替代指標。我在高 1.9 公尺的人形重型機器人上實作這套系統,並在五次示範試驗中確認了預期行為。示範影片呈現了系統的實際運作。

我在株式会社人機一體(Jinki Ittai Co., Ltd.)實習期間進行這項研究,作為米蘭理工大學設計與工程碩士論文,並於第 39 屆日本機器人學會學術演講會(RSJ2021)發表。


  1. 標題投影片:Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation。米蘭理工大學設計與工程碩士課程,2020–2021 學年度。
  2. 背景:論文題目源自在株式会社人機一體的研究實習。該公司開發以主從式控制系統操作的人形重型機器人。
  3. 自主機器人與人工操作機器人的比較:前者在專門規劃、設有圍欄的環境中高效率運作;後者在較難預測的環境中與人一起工作。
  4. 歐洲、美國、日本的統計。與移動物體的接觸,在建築工地事故中占相當的比例。
  5. 既有碰撞迴避研究:覆蓋機械臂的觸覺感測皮膚,以及用來虛擬重建周圍環境的深度感測器。
  6. 問題:既有系統透過附加標籤、影像分析或訓練過的分類器,事先將物件分類為「保護對象」或「可操作」。
  7. 提案。傳統系統只使用被動的感測器資訊,但在人工操作的機器人中,人本身就在控制迴路中,且可以將人的視線作為主動的參數使用。
  8. 分類規則。操作員中心視野內的對象是可操作的,外側的對象則是保護對象。
  9. 原型概觀:實體機器人與虛擬環境相連。後續投影片說明三項技術組成。
  10. 組成一:以 60° × 55° 的視野區域表示中心視野,並以 VR 頭戴裝置的正前方近似其朝向。
  11. 組成二:安裝於機器人頭部的光達取得周圍環境的點雲,並以具備碰撞偵測功能的體素表示。
  12. 組成三:數位分身跟隨實體機器人的動作;接近視野區域外的體素時,系統發出警告。
  13. 概念驗證示範:靜止畫面呈現機器人伸手接近桿上的球,以及以體素表示的周圍環境。
  14. 後續工作:偵測工作空間中的人、研究其他估計視線方向的方法,並進行實地量化評估。
  15. 結論:研究主題、方法的貢獻與新穎性,以及原型評估。
原始英文簡報投影片(歷史資料,內容維持原樣)。

問題:安全設定可能限制現場作業

在尚未為自主運作整備的環境中,需要由人操作機器人。建築工地與災區的人員、設備位置不斷改變,機器人需要接觸的物件也會變動。為了運用機械的力量,操作者必須能處理這些物件,同時避免非預期接觸。

既有碰撞迴避方法包括以近接感測器覆蓋機器人,或利用深度感測器在虛擬空間中重建周圍環境。在本研究檢視的方法中,物件必須事先分類為「可操作」或「保護對象」。缺乏分類時,機器人會避免所有接觸;若逐一分類每個物件,又需要針對各個現場設定與校準。這些準備工作降低了機器人在不同地點使用的便利性。

構想:以視線定義允許接觸的條件

人工操作機器人的控制迴路中,本來就有人在判斷現場狀況。我想知道,若向機器提供操作者注意力的線索,是否就能在作業中推測接觸意圖,而無須事先登錄物件。

我以操作者的中心視野作為邊界,假設操作者已注意到視野內的物件,因此將其分類為「可操作」;視野外的物件可能被忽略,則分類為「保護對象」。設計規定,人員必須始終受到保護,不受視線方向影響。

系統不直接透過視線下達指令,而是將「假定操作者能注意到物件的區域」轉化為限制機器人動作的條件。

機器人與操作者中心視野的俯視圖。估計視野內的目標 A 為白色圓形;外側的目標 B、C、D 為深色方形。視野內外各站著一個人。
依照所提規則,目標 A 位於操作者中心視野內,因此列為可操作對象;目標 B、C、D 位於外側,列為保護對象。設計規定,人員不論位置或操作者的視線方向,都應受到保護。不過,這個原型尚未實作人員偵測。

互動設計

機械臂接近操作者視野外的物件時,會隨距離縮短逐漸減速,並在接觸前停止。之後若操作者轉向該物件,限制也會逐步解除。我如此設計轉換過程,是為了避免突然停止或啟動,讓動作變化更容易預期。

若機器人已接觸物件,操作者短暫移開視線並不會中斷作業。僅因操作者看向別處,就停止抓握或操作,可能使作業更不穩定。設計將接近人員的情況另行處理:不論操作者的視線朝向何處,都應維持限制。不過,這個原型尚未實作人員偵測。

目標是在操作者能注意到周圍狀況的範圍內,保留機器人的作業能力;在注意力可能未及之處限制動作。這項設計希望兼顧安全與操作便利性,而不必降低所有動作的速度。

從不受限動作開始的控制流程圖。依序判斷附近是否有物件、是否為人員、機械臂是否朝人員移動,以及物件是否位於視野區域內,再進入精細動作、逐步停止或鎖定等狀態。
流程圖中,只有「目標是否位於視野區域內」這一項判斷採用操作者的主動輸入,其餘分支皆依據被動感測器資料。

預期應用情境

預期應用於建築工地與災區等機械在人員附近施加巨大力量的場所。這類環境很難完全以圍欄隔離,事先登錄所有物件也不切實際。若配置每次改變都必須重設安全參數,便會降低系統的適應能力,也難以在緊急情況下迅速部署。

以視線為依據的分類,利用操作者當下可能注意到的範圍,而非對環境中物件的固定分類。它或許能減少現場準備工作,同時限制機器人接近被忽略的物件。不過,本研究僅確認系統是否按照設定運作,並未評估這種方法在實際使用中能否減少事故。

原型和初步評估

實作

我將系統實作於一台外形類似人類上半身的機器人,其高度為 1.9 公尺、重量為 600 公斤,具有 30 個自由度。操作者佩戴 VR 頭戴裝置,使機器人的視野與頭部朝向隨自己的動作同步變化。

機器人上的光達將工作空間擷取為點雲,再於虛擬環境中以具備碰撞偵測功能的體素表示。數位分身讓虛擬機器人與實體機器同步。我以 60° × 55° 的視野區域表示操作者的中心視野,並以頭戴裝置的正前方近似其朝向。機械臂接近該區域外的體素時,系統會向實體機器人發出警告,使其減速或停止。

以黃色體素重建的虛擬工作空間。半透明紅色區域標示操作者的中心視野,白色機器人數位分身則向區域外的障礙物伸手。
虛擬環境包含機器人的數位分身與掃描點雲。畫面呈現位於操作者估計中心視野之外的障礙物。

初步評估

每次試驗都採取相同步驟:機械臂接近操作者估計視野外的目標;停止後,操作者將頭戴裝置轉向目標以解除限制;最後抓起球。五次試驗中,四次由熟練操作者執行,另一次由僅第二次使用駕駛艙的操作者執行。每次試驗中,目標位於估計視野外時,機械臂都會停止;目標進入該區域後,動作便可繼續。這些試驗檢查了預期行為能否在實體機器人上運作,並未透過使用者研究評估其有效性。

操作者坐在機器人上方框架內,看向側邊。機器人的手停在黃色桿子上的藍黃相間球體前方;圖中標示了剩餘距離。
目標位於操作者的估計視野之外,機械臂在抵達目標前停止。
低角度照片:操作者看向藍黃相間的球,機器人的手抓住黃色桿子上方的球體。
目標進入操作者的估計視野後,同一動作便可不受限制地繼續。

限制與後續工作

原型未包含人員偵測。雖然設計規定人員必須始終受到保護,但實際部署的系統仍需要可靠的人員辨識方法。此外,原型以頭戴裝置的正前方作為視線的替代指標,因此無法偵測獨立於頭部動作的眼球運動。

若改用固定式攝影機或具備眼動追蹤功能的智慧眼鏡,佩戴裝置的需求與視線估計精度都會不同。若將系統延伸至移動式機器人,點雲處理也必須將機器人自身位置的變化納入考量。

評估僅限於五次示範試驗中的質性檢查。若要評估安全性、作業速度與操作者負荷,仍需要在實際作業條件下,與傳統方法進行量化比較。

研究心得

這項研究以操作者的估計視野,定義機器人可執行的動作。同一個物件,會因操作者是否看似注意到它,而引發不同的機器人行為。我的設計重點是「推估的注意範圍」與「機器可執行的動作範圍」之間的關係,而非個別動作。

這個觀點至今仍影響我的作品集中的專案:理解人的狀態,將它轉化為系統必須遵守的約束,再讓機器或 AI 在這些界限內運作。碩士研究是這種設計方法的起點。

致謝

我在米蘭理工大學設計與工程碩士課程期間,於株式会社人機一體實習並完成這項研究。感謝兩個機構提供這個機會。

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. 會議議程