Takafumi Horiuchi

Magistra disertaĵo pri la dezajno de homa–robota interago

Superrigardo

Ĉe grandaj robotoj regataj de homoj, nur mediaj sensiloj povas malfacile distingi intencan alproksimiĝon al laborobjekto de neintenca alproksimiĝo al pretervidita obstaklo. Mi dezajnis sistemon por preventi koliziojn, kiu uzas la taksitan vidkampon de la funkciigisto kiel indikon de intencita tuŝo, malrapidigante aŭ haltigante la brakon kiam ĝi alproksimiĝas al objektoj ekster tiu kampo.

Objektoj ne bezonas esti klasifikitaj anticipe kiel «manipuleblaj» aŭ «protektendaj»; la klasifiko ĝisdatiĝas kiam la funkciigisto ĉirkaŭrigardas. En la prototipo mi uzis la orientiĝon de kapaparato kiel proksimuman indikilon de rigardodirekto. Mi realigis la sistemon sur pezlaboranta humanoida roboto alta je 1,9 metroj kaj konfirmis la celitan konduton en kvin demonstraj provoj. La demonstra filmeto montras la sistemon funkcianta.

Mi faris ĉi tiun esploron dum staĝo ĉe Jinki Ittai Co., Ltd. por mia magistra disertaĵo en Design & Engineering ĉe Politecnico di Milano. Mi prezentis ĝin ĉe la 39-a Jara Konferenco de la Robotika Societo de Japanio (RSJ2021).


  1. Titola lumbildo. «Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation», magistra programo Design & Engineering ĉe Politecnico di Milano, 2020–2021.
  2. Fono: la disertaĵa temo ekestis dum esplora staĝo ĉe Jinki Ittai Co., Ltd., kiu evoluigas pezlaborantajn humanoidajn robotojn regatajn per ĉef–sekvanta kontrolsistemo.
  3. Komparo inter aŭtonomaj robotoj kaj robotoj regataj de homoj: aŭtonomaj robotoj efike laboras en speciale aranĝitaj, baritaj medioj; robotoj regataj de homoj laboras apud homoj en malpli antaŭvideblaj medioj.
  4. Statistikoj el Eŭropo, Usono kaj Japanio indikas, ke kontakto kun moviĝantaj objektoj kaŭzas signifan parton de akcidentoj ĉe konstruejoj.
  5. Antaŭa esplorado pri evitado de kolizioj: tuŝsenta haŭto ĉirkaŭ manipulilo kaj profundsensilo uzata por virtuale rekonstrui la ĉirkaŭaĵon.
  6. Problemo: ekzistantaj sistemoj anticipe klasifikas objektojn kiel «protektendajn» aŭ «manipuleblajn», uzante fiksitajn etikedojn, bildanalizon aŭ trejnitajn klasifikilojn.
  7. Propono: la antaŭaj sistemoj dependas nur de pasivaj sensildatumoj. Ĉe roboto regata de homo, homo jam partoprenas en la kontrolbuklo, kaj ties rigardo povas servi kiel aktiva parametro.
  8. Klasifikaj reguloj: objektoj ene de la centra vidkampo de la funkciigisto estas manipuleblaj; objektoj ekster ĝi estas protektendaj.
  9. Superrigardo de la prototipo: fizika roboto estas ligita al virtuala medio. La sekvaj lumbildoj klarigas ĝiajn tri teknikajn komponantojn.
  10. Komponanto 1: reprezenti la centran vidkampon per vidvolumeno de 60° × 55° kaj proksimumigi ĝian orientiĝon per la antaŭa direkto de la VR-kapaparato.
  11. Komponanto 2: kapmuntita lidara sensilo kaptas punktonubon de la ĉirkaŭaĵo, reprezentatan per vokseloj kun kolizidetekto.
  12. Komponanto 3: la cifereca ĝemelo sekvas la movojn de la fizika roboto; alproksimiĝo al vokseloj ekster la vidregiono ekigas avertojn.
  13. Konceptpruva demonstro: videokadro montras roboton etendantan la manon al pilko sur stango, apud voksela reprezento de ĝia ĉirkaŭaĵo.
  14. Sekvaj paŝoj: detekti homojn en la laborspaco, esplori aliajn manierojn taksi rigardodirekton kaj fari kvantajn taksojn en realaj laborkondiĉoj.
  15. Konkludo: la esplortemo, la kontribuo kaj noveco de la metodo, kaj la taksado de la prototipo.

Problemo: sekureca agordado povas limigi laboron surloke

Robotoj regataj de homoj estas bezonataj en medioj ne preparitaj por aŭtonoma funkciado. Ĉe konstruejoj kaj katastrofejoj ŝanĝiĝas la lokoj de homoj kaj ekipaĵoj, same kiel la objektoj, kiujn la roboto devas tuŝi. Por utiligi la forton de maŝino, funkciigistoj devas povi labori kun tiuj objektoj evitante neintencan tuŝon.

Ekzistantaj aliroj por eviti koliziojn inkluzivas kovri roboton per proksimecsensiloj kaj rekonstrui ĝian ĉirkaŭaĵon en virtuala spaco per profundsensiloj. En la aliroj ekzamenitaj ĉi tie, objektoj devis esti klasifikitaj anticipe kiel «manipuleblaj» aŭ «protektendaj». Sen tiu klasifiko la roboto evitus ĉian tuŝon; klasifiki ĉiun objekton postulis lokspecifan agordadon kaj kalibradon. Tiu preparado igis la robotojn malpli praktikaj por uzo en diversaj lokoj.

Ideo: uzi rigardodirekton por difini, kiam tuŝo estas permesata

Roboto regata de homo jam havas en sia regbuklo iun, kiu taksas la situacion. Mi demandis min, ĉu doni al la maŝino indikon pri la atento de tiu homo povus helpi ĝin dedukti intencitan tuŝon dum tasko, sen antaŭa registrado de objektoj.

Mi uzis la centran vidkampon de la funkciigisto kiel limon. Objektoj ene de ĝi estas klasifikataj kiel «manipuleblaj», surbaze de la supozo, ke la funkciigisto konscias pri ili. Objektoj ekster ĝi estas klasifikataj kiel «protektendaj», ĉar ili eble estis preterviditaj. La dezajno postulas ĉiam protekti homojn, sendepende de rigardodirekto.

La sistemo ne uzas rigardodirekton por rekte doni ordonojn. Ĝi transformas la regionon, en kiu oni supozas ke la funkciigisto konscias pri objektoj, en kondiĉojn pri la moviĝo de la roboto.

Supra vido de la roboto kaj la centra vidkampo de la funkciigisto. Celo A, ene de la taksita vidregiono, estas blanka cirklo. Celoj B, C kaj D, ekster ĝi, estas malhelaj kvadratoj. Unu homo staras ene de la regiono kaj alia ekster ĝi.
Laŭ la proponitaj reguloj, celo A estas manipulebla, ĉar ĝi troviĝas ene de la centra vidkampo de la funkciigisto. Celoj B, C kaj D troviĝas ekstere kaj estas protektendaj. Homoj ĉiam estas klasifikataj kiel protektendaj, sendepende de sia pozicio aŭ la rigardodirekto de la funkciigisto. Tamen homdetekto ne estis realigita en ĉi tiu prototipo.

Dezajno de interagado

La sistemo traktas rigardodirekton kiel pli ol nur ŝaltilon. Kiam la brako alproksimiĝas al objekto ekster la vidkampo de la funkciigisto, ĝi iom post iom malrapidiĝas laŭ la distanco kaj haltas antaŭ tuŝo. Rigardi al la objekto tiam iom post iom nuligas la limigon. Mi dezajnis tiujn transirojn por eviti abruptajn haltojn kaj ekmovojn kaj faciligi antaŭvidon de ŝanĝoj.

Mallonge forrigardi de objekto jam tuŝata de la roboto ne interrompas la taskon. Haltigi tenadon aŭ manipuladon nur ĉar la funkciigisto forrigardas povus igi la operacion malpli stabila. La dezajno aparte traktas alproksimiĝon al homoj: ĝi devas resti limigita sendepende de la rigardodirekto. Homdetekto ne estis realigita en ĉi tiu prototipo.

La celo estis konservi la kapablojn de la roboto tie, kie la funkciigisto konscias pri la ĉirkaŭaĵo, kaj limigi moviĝon tie, kien ties atento eble ne atingas. Tio celis ekvilibrigi sekurecon kaj facilecon de funkciigo sen malrapidigi ĉiun agon.

Kontrola fludiagramo komenciĝanta per senlima moviĝo. Decidoj kontrolas, ĉu objekto estas proksima, ĉu ĝi estas homo, ĉu la manipulilo moviĝas al la homo kaj ĉu la objekto estas ene de la vidregiono. La rezultoj kondukas al preciza moviĝo, laŭgrada haltado aŭ ŝlosado.
Nur unu decido en la fludiagramo uzas aktivan enigon de la funkciigisto: ĉu la celo troviĝas en la vidregiono. Ĉiuj aliaj branĉoj baziĝas sur pasivaj sensildatumoj.

Celataj aplikoj

La celataj lokoj estis konstruejoj kaj katastrofejoj, kie maŝinoj aplikas grandajn fortojn proksime al homoj. Tiujn mediojn estas malfacile tute ĉirkaŭbari, kaj registri ĉiun objekton anticipe estas nepraktike. Refari la sekurecajn agordojn post ĉiu ŝanĝo de aranĝo malpliigus la adapteblecon de la sistemo kaj malrapidigus ĝian ekuzon en urĝaj situacioj.

Klasifiko laŭ rigardodirekto uzas la konscion de la funkciigisto en ĉiu momento anstataŭ fiksan klasifikon de la medio. Ĝi povus redukti preparadon de la loko, samtempe limigante alproksimiĝon al preterviditaj objektoj. Tamen ĉi tiu studo konfirmis nur, ke la sistemo kondutis laŭ la specifo; ĝi ne taksis, ĉu la aliro reduktis akcidentojn en reala uzo.

Prototipo kaj prepara taksado

Realigo

Mi realigis la sistemon sur roboto kun la formo de homa supra korpo, alta je 1,9 metroj, pezanta 600 kg kaj havanta 30 gradojn de libereco. La funkciigisto portas VR-kapaparaton, kiu sinkronigas la vidon kaj kapan orientiĝon de la roboto kun la movoj de la funkciigisto.

Lidara sensilo sur la roboto kaptis la laborspacon kiel punktonubon, kiu estis reprezentita en la virtuala medio per vokseloj kun koliziodetekto. Cifereca ĝemelo sinkronigis la virtualan roboton kun la fizika maŝino. Mi reprezentis la centran vidkampon de la funkciigisto kiel vidvolumenon de 60° × 55°, uzante la antaŭenan direkton de la kapaparato por proksimumi ĝian orientiĝon. Kiam la brako alproksimiĝis al vokselo ekster tiu regiono, la sistemo sendis averton al la fizika roboto por malrapidigi aŭ haltigi ĝian moviĝon.

Virtuala laborspaco rekonstruita per flavaj vokseloj. Duontravidebla ruĝa regiono markas la centran vidkampon de la funkciigisto, kaj la blanka cifereca ĝemelo etendiĝas al obstaklo ekster tiu regiono.
La virtuala medio enhavas la ciferecan ĝemelon de la roboto kaj la skanitan punktonubon. La sceno montras obstaklojn ekster la taksita centra vidkampo de la funkciigisto.

Prepara taksado

Ĉiu provo sekvis la saman sinsekvon: alproksimiĝi al celo ekster la taksita vidkampo de la funkciigisto, post la halto de la brako turni la kapaparaton al ĝi por nuligi la limigon, kaj poste kapti la pilkon. Sperta funkciigisto faris kvar el la kvin provoj; la restan faris funkciigisto, kiu uzis la pilotejon nur la duan fojon. En ĉiu provo la brako haltis dum la celo estis ekster la taksita vidkampo kaj povis rekomenci kiam ĝi eniris tiun regionon. Tiuj provoj kontrolis, ĉu la celita konduto funkcias sur la fizika roboto. Ili ne taksis ĝian efikecon per studo kun uzantoj.

La funkciigisto sidas en la supra kadro de la roboto kaj rigardas flanken. La robota mano haltis antaŭ blua kaj flava pilko sur flava stango; la restanta distanco estas markita.
La celo troviĝas ekster la taksita vidkampo de la funkciigisto, kaj la brako haltas antaŭ ol atingi ĝin.
Vido de malsupre: la funkciigisto rigardas la bluan kaj flavan pilkon, dum la robota mano kaptas ĝin supre sur la flava stango.
Kiam la celo eniras la taksitan vidkampon de la funkciigisto, la sama moviĝo povas daŭri sen limigo.

Limigoj kaj sekvaj paŝoj

La prototipo ne inkluzivis homdetekton. Kvankam la dezajno postulas ĉiam protekti homojn, sistemo por reala uzo bezonus fidindan manieron identigi ilin. La prototipo ankaŭ uzis la antaŭenan direkton de la kapaparato kiel proksimuman indikilon de rigardodirekto, do ĝi ne povis detekti okulmovojn sendependajn de kapmovoj.

Fiksa kamerao aŭ inteligentaj okulvitroj kun okulspurado ŝanĝus la postulojn pri portata ekipaĵo kaj la precizecon de rigardotakso. Etendi la sistemon al movebla roboto ankaŭ postulus prilaboradon de punktonuboj, kiu enkalkulas ŝanĝojn de la propra pozicio de la roboto.

La taksado limiĝis al kvalitaj kontroloj en kvin demonstraj provoj. Taksi sekurecon, taskorapidon kaj la laborŝarĝon de la funkciigisto postulus kvantajn komparojn kun konvenciaj metodoj en realaj laborkondiĉoj.

Kion mi lernis

Ĉi tiu esploro uzis la taksitan vidkampon de la funkciigisto por difini, kiujn maŝinajn agojn permesi. La konduto de la roboto rilate al la sama objekto ŝanĝiĝis laŭ la ŝajna konscio de la funkciigisto pri ĝi. Mi koncentriĝis pri la rilato inter tiu ŝajna konscio kaj la amplekso de maŝinaj agoj, pli ol pri unuopaj movoj.

Tiu perspektivo ankoraŭ formas la laborojn en mia verkaro: kompreni la staton de homo, transformi ĝin en limigojn respektendajn de la sistemo, kaj lasi maŝinojn aŭ AI labori ene de tiuj limoj. Mia magistra esploro estis la deirpunkto de tiu aliro.

Dankoj

Mi faris ĉi tiun esploron dum staĝo ĉe Jinki Ittai Co., Ltd., kiel parto de la magistra programo Design & Engineering ĉe Politecnico di Milano. Mi dankas ambaŭ organizojn pro tio, ke ili ebligis ĝin.

Takafumi Horiuchi kaj Katsuya Kanaoka. “Gaze-based Unintended Contact Prevention for Human-Operated Robots.” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Konferenca programo