Magistra tezo pri la dezajno de la interago inter homo kaj roboto

Superrigardo

Kiu stiras grandan roboton, tiu povas atenti nur parton de la laborspaco samtempe. Ĉi tiu esploro demandis, kio ŝanĝiĝas, se oni diras al la maŝino, kie tiu atento troviĝas ĝuste nun. Mi dezajnis kontraŭkolizian sistemon, en kiu la rigardo de la operaciisto decidas, kiel la roboto rajtas konduti: kio falas en la centran vidkampon de la operaciisto, tion oni povas trakti libere, dum kio restas ekster ĝi estas protektata — la brako malrapidiĝas kaj haltas antaŭ ol alveni. Nenion necesas etikedi anticipe. La distingo estas tirata en la momento de la laboro, el tie, kien la operaciisto hazarde rigardas. La demonstra video estas ĉi tie (en JuTubo).

La laboro estis mia magistra tezo pri Design & Engineering ĉe Politecnico di Milano, farita dum esplorstaĝo ĉe Man-Machine Synergy Effectors, Inc. en Japanio, kaj prezentita ĉe la 39-a Jarkonferenco de la Robotics Society of Japan (RSJ2021).

Ĉi tie ankaŭ mia dezajna filozofio komencas preni sian nunan formon. Kion tiu ĉi sistemo legas, ne estas ordono sed kogna stato — ĉu io entute estis rimarkita — kaj ĝi transformas tiun staton en la kondiĉojn, sub kiuj la maŝino rajtas agi. Tio, kio estas dezajnata, ne estas la movo de la roboto sed la rilato: kion la maŝino rajtas fari, sekvas el tio, kion la homo en tiu momento komprenas. Dezajni tiun rilaton anstataŭ ĉiun apartan konduton estas la sama movo, kiun mi faras nun, kiam la aganto estas generativa artefarita inteligenteco kaj ne robota brako.

  1. Titola lumbildo: Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, Politecnico di Milano, Laurea Magistrale in Design & Engineering, akademia jaro 2020–2021.
  2. Fono: la temo de la tezo estis decidita dum esplorstaĝo ĉe Man-Machine Synergy Effectors, Inc., firmao kiu evoluigas antropomorfajn pezajn maŝinojn stiratajn per mastro-sklavo-sistemo.
  3. Aŭtonomaj robotoj kompare kun robotoj stirataj de homoj: la unuaj laboras efike en dezajnitaj spacoj malantaŭ bariloj, la duaj en necertaj spacoj apud homoj.
  4. Statistikoj el Eŭropo, Usono kaj Japanio, montrantaj ke trafiĝo de moviĝantaj objektoj konsistigas konsiderindan parton de la akcidentoj sur konstruejoj.
  5. Rilataj esploroj pri kolizievito: sentema haŭto kovranta la manipulilon, kaj profundsensiloj kiuj konstruas virtualan reprezenton de la ĉirkaŭaĵo.
  6. La nuna obstaklo: ekzistantaj sistemoj postulas, ke objektoj estu antaŭdifinitaj kiel protektataj aŭ manipuleblaj — per porteblaj etikedoj, bildanalizo aŭ trejnitaj klasigiloj.
  7. La propono: konvenciaj sistemoj uzas nur pasivajn sensilajn datumojn, dum roboto stirata de homo jam havas personon en sia stircirkvito, kies rigardo povas servi kiel aktiva parametro.
  8. Klasiga regulo: objektoj ene de la centra vidkampo de la operaciisto estas manipuleblaj, tiuj ekster ĝi estas protektataj.
  9. Superrigardo de la prototipo: fizika roboto parigita kun virtuala komputspaco, kun tri teknikaj komponantoj poste.
  10. Komponanto unu: la centra vidkampo reprezentata kiel konuso de 60 oble 55 gradoj, kies direkton proksimumas la antaŭa direkto de la virtualrealeca kasko.
  11. Komponanto du: lidaro muntita sur la kapo de la roboto skanas la ĉirkaŭaĵon en punktnubojn, reprezentatajn kiel vokseloj, ĉiu kun sia propra koliziilo.
  12. Komponanto tri: cifereca ĝemelo de la roboto moviĝas kune kun la fizika, kaj proksimec-avertoj ekfunkcias, kiam ĝia brako renkontas vokselojn ekster la vidkampo.
  13. Demonstro de la koncepto: videa senmova bildo de la roboto etendanta sin al pilko sur stango, kun la virtuala voksela vido enmetita.
  14. Estonta laboro: detekti homojn en la laborspaco, provi aliajn manierojn mezuri la rigarddirekton, kaj taksi la sistemon kvante en la kampo.
  15. Konkluda lumbildo resumanta la temon de la esploro, la valoron de la metodo, ĝian novecon, kaj kiel la sistemo estis kontrolita.
La lumbildoj de la defendo de mia tezo. Rulumu la strion flanken; ĉiu lumbildo malfermiĝas plengrande.

Resumo

Robotoj stirataj de homoj valoras ĝuste tie, kie la aŭtonomaj ne valoras: en laborspacoj neniam dezajnitaj por la nuna tasko, apud homoj kaj ekipaĵoj, kiujn oni ne rajtas trafi. Ekzistantaj kontraŭkoliziaj sistemoj traktas tiajn spacojn tiel, ke ĉiu objekto estu anticipe deklarita aŭ celo de manipulado aŭ io protektenda — aranĝkosto, kiu fariĝas neregebla por maŝino destinita esti portata de loko al loko.

Ĉi tiu esploro proponis fari tiun distingon anstataŭe dum la funkciado, el la rigardo de la operaciisto. Objektoj ene de lia centra vidkampo estas traktataj kiel manipuleblaj, tiuj ekster ĝi kiel protektataj, kaj homoj kiel protektataj en ĉiuj cirkonstancoj. La metodo enkondukas aktivan parametron — homan — en stircirkviton, kiu ĝis tiam estis konstruita tute el pasivaj sensilaj datumoj. La prototipo estis realigita sur JINKI type Zero, antropomorfa pezmaŝina roboto alta je 1,9 m, kaj kondutis laŭ la specifo en kvin demonstraj provoj.

1. Enkonduko

Roboto stirata de homo kunigas du aferojn malfacile akireblajn kune: la potencon kaj precizecon de maŝino, kaj la situacian juĝon de homo. Plene aŭtonomaj robotoj ankoraŭ ne liveras la duan. Kaj dum industriaj robotoj laboras en dezajnitaj ĉeloj malantaŭ bariloj, tiuj stirataj de homoj devas labori en lokoj aranĝitaj por io alia — apud la laboristoj surloke, inter delikataj ekipaĵoj, en nukleaj instalaĵoj kaj sur konstruejoj. Garantii, ke la roboto ne difektas tion, kio ĝin ĉirkaŭas, estas do parto de tio, kio faras ĝin entute uzebla.

La establitaj defendoj kontraŭ hazarda kontakto estas sentema haŭto, en kiu proksimecsensiloj kovras ĉiun kritikan parton de la manipulilo, kaj profunda sensado, en kiu la ĉirkaŭaĵo estas rekonstruata kiel punktnubo kaj la distancoj estas kalkulataj en tiu virtuala spaco. Ambaŭ funkcias. Ambaŭ tamen antaŭsupozas, ke la objektoj ĉirkaŭ la roboto jam estas dividitaj en tiujn, kiujn ĝi rajtas tuŝi, kaj tiujn, kiujn ĝi ne rajtas: sen tiu divido, maŝino al kiu estas malpermesite kolizii kun io ajn, ankaŭ ne povas manipuli ion ajn. Por ĝeneraluza ilo transportata inter lokoj kaj metata meze de tio, kio tie troviĝas, la agordado kaj kalibrado, kiujn tio postulas, kostas pli ol la sekureco, kiun ili aĉetas.

La aperturo, tra kiu ĉi tiu esploro pasas, estas ke roboto stirata de homo jam havas personon ene de sia stircirkvito. Studoj pri operaciaj eraroj indikas la situacian konscion — precizan kaptadon de tio, kio okazas ĉirkaŭe — kiel la decidan faktoron, kaj estas konate, ke tiu konscio forte korelacias kun la rigarddirekto. Kolizievito estis konvencie konstruita el pasiva informo sole, tio estas el datumoj legitaj de sensiloj. Aldoni unu aktivan parametron, kien la operaciisto rigardas, donas al la sistemo indikon pri tio, ĉu kontakto kun difinita objekto estus intenca aŭ ne.

Skemo vidata de supre: konuso markas la centran vidkampon de la operaciisto antaŭ la roboto. Objekto A ene de la konuso estas desegnita kiel blanka cirklo, la objektoj B, C kaj D ekster ĝi kiel malhelaj kvadratoj, kaj du homaj figuroj staras ene kaj ekster la konuso.
Objekto A, ene de la centra vidkampo de la operaciisto, estas manipulebla; la objektoj B, C kaj D ekster ĝi estas protektataj. Homoj estas protektataj, kie ajn ili staras.

2. Konduto de la sistemo

Objekto, kiun la operaciisto intencas tuŝi, nomiĝas manipulebla objekto kaj rajtas esti traktata sen limigo. Objekto, al kiu li ne havas tian intencon, estas protektata objekto kaj ne rajtas esti tuŝata. Kiu el la du objekto estas en difinita momento, sekvas el ĝia pozicio rilate al la centra vidkampo de la operaciisto: interne, la objekto staras sub sufiĉa atento por validi kiel intencata; ekstere, ne.

Kvin reguloj regas la konduton, kiu el tio sekvas. La manipulilo rajtas libere tuŝi objektojn ene de la centra vidkampo. Ĝi ne rajtas tuŝi tiujn ekster ĝi, kaj iom post iom haltas dum ĝi proksimiĝas al unu el ili. Post la halto ĝi estas iom post iom liberigata, dum la vidkampo de la operaciisto transiras al ĝi. Neniu limigo validas, se la vidkampo forlasas objekton, kun kiu la manipulilo jam kontaktas, por ke kuranta laboro ne interrompiĝu pro rigardo aliloken. Kaj la manipulilo ne rajtas tuŝi homon, kie ajn tiu persono staras. Kiam roboto havas plurajn manipulilojn, la reguloj validas por ĉiu aparte.

Kion la operaciisto gajnas el tio, estas la eblo labori plenrapide sur tio, kion li rigardas, fidante ke la maŝino ne trafos la ekipaĵon, kiun li ne rigardas. La sekureco de la homoj surloke estas senkondiĉa kaj tute ne dependas de la intencoj de la operaciisto.

Fluskemo komencanta ĉe manipulado en libera movo kaj branĉiĝanta laŭ tio, ĉu objekto estas proksima, ĉu ĝi estas homo, ĉu la manipulilo iras al tiu homo, kaj ĉu la objekto estas en la fokusa zono — kondukante al precizskala manipulado, laŭgrada halto aŭ ŝlosado.
Nur unu nodo de la decidprocezo — «la objekto estas en la fokusa zono» — legas la aktivan parametron de la operaciisto. Ĉiuj aliaj branĉoj funkcias per pasivaj sensilaj datumoj.

3. Atendataj avantaĝoj

Pezaj maŝinoj proponas la plej proksiman ekzistantan bildon de tia laboro: grandaj fortoj aplikataj en nestrukturitaj lokoj apud homoj. Koliziaj akcidentoj apartenas al la ĉefaj danĝeroj sur konstruejoj tra la mondo, kaj malatento estas ree kaj ree nomata kiel kaŭzo. El la 362 600 akcidentoj registritaj sur eŭropaj konstruejoj en 2018, 19,6 % konsistis en trafiĝo de moviĝanta objekto; esploro pri gruo-rilataj incidentoj atribuis 19 % el ili al malatento de la operaciisto.

Ĉar atento kaj rigarddirekto forte korelacias, tiuj du proporcioj kombineblas en malprecizan takson pri la tereno, kiun rigardbazita sistemo povus kovri — je la ordo de dek tri mil akcidentoj jare en Eŭropo. La cifero estas konkludo el publikigitaj statistikoj, ne mezurita rezulto, kaj estas donata kiel indiko pri grandordo.

4. Kontrolo de la sistemo

Demonstra sistemo estis konstruita kaj funkciigita kiel pruvo de la koncepto.

4.1 Realigo

La sistemo estis realigita sur JINKI type Zero, roboto evoluigita ĉe Man-Machine Synergy Effectors, Inc. Ĝi havas la supran korpon de homo, altas 1,9 m, pezas 600 kg kaj disponas tridek gradojn de libereco. Operaciisto kaj roboto troviĝas en la sama loko kaj estas kunligitaj kiel mastro-sklavo-sistemo: virtualrealeca kasko sinkronigas la vidon kaj la kapturnon de la operaciisto kun tiuj de la roboto, kio donas la senton esti unu kun la maŝino prefere ol stiri ĝin.

Lidaro muntita sur la roboto skanas la ĉirkaŭan laborlokon kiel punktnubojn, reprezentatajn en virtuala spaco kiel vokseloj, ĉiu kun sia propra koliziilo. Cifereca ĝemelo de la roboto moviĝas en tiu sama spaco; kiam ĝia brako kovras vokselojn, la sistemo eligas proksimec-averton, kies efiko dependas de la direkto de la vidkampo de la operaciisto. Tiu kampo estas modeligita kiel konuso de 60° × 55° (H×V) — proksima al la regiono, en kiu homoj perceptas simbolojn, koloron kaj profundon — kaj ĝia direkto estas proksimumata per la antaŭa direkto de la kasko. La averto estas transdonata al la fizika roboto kaj formas ĝian movon laŭ la supraj reguloj.

Virtuala sceno: flavaj vokseloj rekonstruas la ĉirkaŭaĵon, travidebla ruĝa volumeno kun la surskribo «centra vidkampo de la operaciisto» trairas ilin, kaj la blanka cifereca ĝemelo de la roboto atingas obstaklon situantan ekster tiu volumeno.
La virtuala spaco, entenanta la roboton kaj la skanitan punktnubon. Ĉi tie la roboto renkontas obstaklojn situantajn ekster la centra vidkampo de la operaciisto.

4.2 Demonstra eksperimento

Antaŭa taksado kontrolis, ĉu la realigo faras tion, kio estis specifita. Oni petis la operaciiston movi la brakon al stango dum li rigardas flanken, konstati ke la sistemo eligis averton kaj haltigis la brakon, poste rigardi la haltigitan brakon por malŝlosi la limigon, kaj fine preni pilkon de la supro de la stango, tenante ĝin en la vidkampo. Kvin provoj estis faritaj: la unuaj tri kaj la kvina de sperta operaciisto, la kvara de iu, kiu stiris la roboton la duan fojon. Ĉiu estis filmita. En ĉiuj kvin la sistemo kondutis tiel, kiel difinas sekcio 2. La demonstron oni povas spekti en la video de la sistemo dum funkciado.

Foto de la roboto kun la operaciisto pendanta en kadro super ĝi, rigardanta flanken. La robota mano haltis antaŭ blu-flava pilko sur flava stango, kun la restanta interspaco markita.
La rigardo de la operaciisto estas forturnita, kaj la brako haltas je distanco de la objekto.
Foto el pli malalta angulo: la operaciisto rigardas al la pilko, kaj la robota mano kaptas la blu-flavan pilkon sur la flava stango.
Kun la rigardo direktita al la objekto, la sama movo daŭras sen limigo.

5. Limoj kaj estonta laboro

Detektado de homoj ne estis realigita en la prototipo. Kion necesis validigi, estis la rilato inter la rigardo de la operaciisto kaj la manipulebleco de objektoj, kaj la regulo protektanta homojn estas senkondiĉa kaj ne dependas de ĝi. Aldoni tiun detektadon farus la sistemon pli fortika kaj malfermus ankaŭ aplikojn preter la sekureco — ekzemple reliefigi en la vido de la operaciisto la homojn proksimajn al la roboto, aŭ averti antaŭ ol proksimeca limo estas atingita.

La rigardo estis proksimumita per la antaŭa direkto de la kasko. Tio estis elektita pro ĝia rekteco, kiu gravas en mastro-sklavo-sistemo, sed aliaj iloj — fiksaj kameraoj, okulspuriloj en inteligentaj okulvitroj — taksus ĝin alimaniere kaj eble malaltigus la baron por enkonduki tian sistemon en branĉoj ne kutimiĝintaj porti ion. Apliki la metodon al moveblaj robotoj levas plian problemon: JINKI type Zero staras fiksita, dum ĝi estas en evoluigo, kaj maŝino, kiu ŝanĝas sian pozicion dum la funkciado, bezonas punktnuban prilaboron sufiĉe efikan por sekvi ĝin.

La taksado mem restas kvalita. Kvanta kampa studo estas la ĝusta maniero juĝi la sistemon, kaj ĝi atendas, ke la roboto atingu praktikan stadion.

6. Konkludo

La esploro proponis kontraŭkolizian sistemon por robotaj manipuliloj stirataj de homoj, kiu uzas la rigardon de la operaciisto por malhelpi neintencan kontakton kun homoj kaj ekipaĵoj. Sub la premiso, ke konscio kaj rigarddirekto forte korelacias, objektoj ene de la centra vidkampo de la operaciisto estis traktataj kiel manipuleblaj kaj tiuj ekster ĝi kiel protektataj. Meti homan faktoron en la stircirkviton ebligis tiri tiun linion dum la funkciado, sen ia ajn el la preparo, kiun postulas la ekzistantaj metodoj.

La sistemo estis kontrolita sur ĝeneraluza pezmaŝina roboto kaj kondutis laŭ la difino. La sama principo devus transdoniĝi al ĉiu situacio, en kiu homo jam estas parto de la cirkvito, tra kiu maŝino estas stirata.

Dankesprimoj

Ĉi tiu laboro estis farita dum staĝo ĉe Man-Machine Synergy Effectors, Inc., kiel parto de la postuloj de la magistra grado pri Design & Engineering ĉe Politecnico di Milano. Mi dankas ambaŭ organizojn pro tio, ke ili ebligis ĉi tiun okazon.

Takafumi Horiuchi kaj Katsuya Kanaoka. “Gaze-based Unintended Contact Prevention for Human-Operated Robots”. La 39-a Jarkonferenco de la Robotics Society of Japan, 2021, prelego 2J2-07. Programo de la konferenco.