Tesi magistrale sulla progettazione dell’interazione fra persona e robot

di Takafumi Horiuchi

luglio 2021

Panoramica

Chi manovra un robot di grandi dimensioni può badare soltanto a una parte dello spazio di lavoro per volta. Questa ricerca si è chiesta che cosa cambi se alla macchina viene detto dove si trova quell’attenzione in quel momento. Ho progettato un sistema anticollisione in cui è lo sguardo dell’operatore a stabilire come il robot possa comportarsi: ciò che rientra nel suo campo visivo centrale può essere manipolato liberamente, mentre ciò che ne resta fuori è protetto — il braccio rallenta e si ferma prima di arrivarci. Non serve etichettare nulla in anticipo. La distinzione viene tracciata nel momento del lavoro, a partire da dove l’operatore sta guardando. Il video della dimostrazione è qui (su YouTube).

Il lavoro è stato la mia tesi magistrale in Design & Engineering al Politecnico di Milano, svolta durante un tirocinio di ricerca presso Man-Machine Synergy Effectors, Inc. in Giappone, ed è stato presentato alla 39ª conferenza annuale della Robotics Society of Japan (RSJ2021).

È anche il punto in cui la mia filosofia progettuale comincia a prendere la forma che ha oggi. Ciò che questo sistema legge non è un comando ma uno stato cognitivo — se una cosa sia stata notata o no — e converte quello stato nelle condizioni entro cui alla macchina è consentito agire. L’oggetto del progetto non è il movimento del robot ma la relazione: ciò che la macchina può fare discende da ciò che la persona in quel momento comprende. Progettare quella relazione anziché ogni singolo comportamento è lo stesso gesto che compio ora che ad agire è un’IA generativa e non un braccio robotico.

  1. Diapositiva del titolo: Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, Politecnico di Milano, Laurea Magistrale in Design & Engineering, anno accademico 2020-2021.
  2. Contesto: il tema della tesi è stato definito durante un tirocinio di ricerca presso Man-Machine Synergy Effectors, Inc., azienda che sviluppa macchinari pesanti antropomorfi comandati con un sistema master-slave.
  3. Robot autonomi a confronto con robot comandati da persone: i primi lavorano con efficienza in spazi progettati e recintati, i secondi in spazi incerti accanto alle persone.
  4. Statistiche da Europa, Stati Uniti e Giappone che mostrano come l’essere colpiti da oggetti in movimento rappresenti una quota rilevante degli infortuni in cantiere.
  5. Ricerche correlate sull’evitamento delle collisioni: pelle sensibile che riveste il manipolatore e sensori di profondità che costruiscono una rappresentazione virtuale dell’ambiente.
  6. Il nodo attuale: i sistemi esistenti richiedono che gli oggetti siano definiti in anticipo come protetti o manipolabili, tramite tag indossati, analisi delle immagini o classificatori addestrati.
  7. La proposta: i sistemi convenzionali usano solo dati passivi dei sensori, mentre un robot comandato da una persona ha già qualcuno dentro il proprio anello di controllo, il cui sguardo può fare da parametro attivo.
  8. Regola di classificazione: gli oggetti dentro il campo visivo centrale dell’operatore sono manipolabili, quelli fuori sono protetti.
  9. Panoramica del prototipo: un robot fisico affiancato a uno spazio di calcolo virtuale, con tre componenti tecniche a seguire.
  10. Componente uno: il campo visivo centrale rappresentato come un cono di 60 per 55 gradi, la cui direzione è approssimata dalla direzione frontale del visore di realtà virtuale.
  11. Componente due: un LIDAR montato sulla testa del robot scansiona l’ambiente in nuvole di punti, rappresentate come voxel ciascuno dotato del proprio collider.
  12. Componente tre: un gemello digitale del robot si muove insieme a quello fisico, e gli avvisi di prossimità scattano quando il suo braccio incontra voxel fuori dal campo visivo.
  13. Dimostrazione di prova di concetto: un fotogramma del robot che raggiunge una palla su un palo, con la vista virtuale a voxel in sovrimpressione.
  14. Sviluppi futuri: rilevare le persone nello spazio di lavoro, provare altri modi di misurare la direzione dello sguardo e valutare il sistema quantitativamente sul campo.
  15. Conclusione che riassume il tema della ricerca, il valore del metodo, la sua novità e il modo in cui il sistema è stato verificato.
Le diapositive della discussione della mia tesi. Scorri la striscia lateralmente; ogni diapositiva si apre a dimensione piena.

Sintesi

I robot comandati da persone valgono proprio là dove quelli autonomi non valgono: in spazi di lavoro mai progettati per il compito in corso, accanto a persone e attrezzature che non devono essere urtate. I sistemi anticollisione esistenti affrontano questi spazi facendo dichiarare in anticipo ogni oggetto come bersaglio di manipolazione oppure come cosa da proteggere — un costo di configurazione che diventa insostenibile per una macchina pensata per essere portata da un cantiere all’altro.

Questa ricerca ha proposto di operare quella distinzione a tempo di esecuzione, a partire dallo sguardo dell’operatore. Gli oggetti dentro il campo visivo centrale sono trattati come manipolabili, quelli fuori come protetti, e le persone come protette in ogni circostanza. Il metodo introduce un parametro attivo — umano — in un anello di controllo fino ad allora costruito interamente con dati passivi dei sensori. Il prototipo è stato realizzato su JINKI type Zero, un robot antropomorfo da macchinario pesante alto 1,9 m, e si è comportato come specificato in cinque prove dimostrative.

1. Introduzione

Un robot comandato da una persona mette insieme due cose difficili da avere insieme: la potenza e la precisione di una macchina e il giudizio situazionale di un essere umano. I robot pienamente autonomi non forniscono ancora il secondo. E mentre i robot industriali lavorano in celle progettate dietro recinzioni, quelli comandati da persone devono lavorare in luoghi disposti per altro — accanto agli operai in cantiere, fra attrezzature delicate, in impianti nucleari e nell’edilizia. Garantire che il robot non danneggi ciò che lo circonda fa quindi parte di ciò che lo rende utilizzabile.

Le difese consolidate contro il contatto accidentale sono la pelle sensibile, in cui sensori di prossimità coprono ogni parte critica del manipolatore, e il rilevamento di profondità, in cui l’ambiente viene ricostruito come nuvola di punti e le distanze calcolate in quello spazio virtuale. Entrambe funzionano. Entrambe, però, presuppongono che gli oggetti attorno al robot siano già stati divisi fra quelli che può toccare e quelli che non deve: senza quella divisione, una macchina a cui è vietato urtare qualsiasi cosa non può nemmeno manipolare nulla. Per uno strumento generico trasportato da un cantiere all’altro e posato in mezzo a ciò che vi si trova, la configurazione e la taratura che questo richiede costano più della sicurezza che comprano.

Il varco attraverso cui passa questa ricerca è che un robot comandato da una persona ha già qualcuno dentro il proprio anello di controllo. Gli studi sull’errore operativo indicano la consapevolezza situazionale — cogliere con precisione che cosa stia accadendo attorno — come il fattore decisivo, ed è noto che essa correla fortemente con la direzione dello sguardo. L’evitamento delle collisioni era stato costruito per convenzione con la sola informazione passiva, cioè i dati letti dai sensori. Aggiungere un unico parametro attivo, dove l’operatore sta guardando, dà al sistema un’indicazione: il contatto con un dato oggetto sarebbe intenzionale o no.

Schema visto dall’alto: un cono segna il campo visivo centrale dell’operatore davanti al robot. L’oggetto A, dentro il cono, è disegnato come un cerchio bianco; gli oggetti B, C e D, fuori, come quadrati scuri, e due figure umane stanno una dentro e una fuori dal cono.
L’oggetto A, dentro il campo visivo centrale dell’operatore, è manipolabile; gli oggetti B, C e D, fuori, sono protetti. Le persone sono protette ovunque si trovino.

2. Comportamento del sistema

Un oggetto che l’operatore intende toccare è detto oggetto manipolabile e può essere maneggiato senza restrizioni. Un oggetto verso cui non ha tale intenzione è un oggetto protetto e non può essere toccato. Quale dei due sia un oggetto in un dato istante discende dalla sua posizione rispetto al campo visivo centrale dell’operatore: all’interno, l’oggetto è sotto un’attenzione sufficiente perché il contatto conti come intenzionale; all’esterno, no.

Cinque regole governano il comportamento che ne deriva. Il manipolatore può interferire liberamente con gli oggetti dentro il campo visivo centrale. Non può interferire con quelli fuori, e si arresta gradualmente man mano che vi si avvicina. Una volta fermo, viene gradualmente liberato mentre il campo visivo dell’operatore si sposta su di esso. Nessuna restrizione si applica se il campo visivo lascia un oggetto con cui il manipolatore è già in contatto, così che un lavoro in corso non venga interrotto da un’occhiata altrove. E il manipolatore non può interferire con un essere umano, ovunque quella persona si trovi. Quando un robot ha più manipolatori, le regole si applicano a ciascuno separatamente.

Ciò che l’operatore ne ricava è poter lavorare a piena velocità su ciò che sta guardando, contando sul fatto che la macchina non urterà le attrezzature che non sta guardando. La sicurezza delle persone in cantiere è incondizionata e non dipende affatto dalle intenzioni dell’operatore.

Diagramma di flusso che parte dalla manipolazione in movimento libero e si dirama a seconda che un oggetto sia vicino, che sia una persona, che il manipolatore stia avanzando verso di essa e che l’oggetto sia nella zona di messa a fuoco, portando alla manipolazione di precisione, all’arresto graduale o al blocco.
Un solo nodo del processo decisionale — «l’oggetto è nella zona di messa a fuoco» — legge il parametro attivo dell’operatore. Tutti gli altri rami funzionano con dati passivi dei sensori.

3. Benefici attesi

Il macchinario pesante offre l’immagine esistente più vicina a questo tipo di lavoro: grandi forze applicate in luoghi non attrezzati, accanto alle persone. Gli incidenti da collisione sono fra i pericoli principali nei cantieri di tutto il mondo, e la disattenzione viene indicata ripetutamente come causa. Dei 362.600 infortuni registrati nei cantieri europei nel 2018, il 19,6% consisteva nell’essere colpiti da un oggetto in movimento; un’indagine sugli incidenti legati alle gru ne ha attribuito il 19% alla disattenzione dell’operatore.

Poiché attenzione e direzione dello sguardo sono fortemente correlate, quelle due proporzioni possono essere combinate in una stima approssimativa del terreno che un sistema basato sullo sguardo potrebbe coprire — nell’ordine dei tredicimila infortuni all’anno in Europa. La cifra è un’inferenza da statistiche pubblicate e non un risultato misurato, ed è offerta come indicazione di grandezza.

4. Verifica del sistema

Come prova di concetto è stato costruito e messo in funzione un sistema dimostrativo.

4.1 Realizzazione

Il sistema è stato realizzato su JINKI type Zero, un robot sviluppato presso Man-Machine Synergy Effectors, Inc. Ha il busto di un essere umano, è alto 1,9 m, pesa 600 kg e dispone di trenta gradi di libertà. Operatore e robot stanno nello stesso luogo e sono accoppiati come sistema master-slave: un visore di realtà virtuale sincronizza la vista e la rotazione della testa dell’operatore con quelle del robot, il che dà la sensazione di fare tutt’uno con la macchina più che di guidarla.

Un LIDAR montato sul robot scansiona il luogo di lavoro come nuvole di punti, rappresentate in uno spazio virtuale come voxel, ciascuno con il proprio collider. Un gemello digitale del robot si muove in quello stesso spazio; quando il suo braccio si sovrappone ai voxel, il sistema emette un avviso di prossimità il cui effetto dipende dalla direzione del campo visivo dell’operatore. Quel campo è modellato come un cono di 60° × 55° (O×V) — vicino alla regione in cui si percepiscono simboli, colore e profondità — e la sua direzione è approssimata dalla direzione frontale del visore. L’avviso viene trasmesso al robot fisico e ne modella il movimento secondo le regole sopra.

Una scena virtuale: voxel gialli ricostruiscono l’ambiente, un volume rosso translucido con l’etichetta «campo visivo centrale dell’operatore» li attraversa, e il gemello digitale bianco del robot raggiunge un ostacolo posto fuori da quel volume.
Lo spazio virtuale, con il robot e la nuvola di punti scansionata. Qui il robot incontra ostacoli che stanno fuori dal campo visivo centrale dell’operatore.

4.2 Esperimento dimostrativo

Una valutazione preliminare ha verificato se la realizzazione facesse quanto specificato. All’operatore è stato chiesto di muovere il braccio verso un palo guardando altrove, di accertare che il sistema avesse emesso un avviso e fermato il braccio, poi di guardare il braccio fermo per sciogliere la restrizione e infine di prendere una palla dalla cima del palo tenendola nel campo visivo. Sono state condotte cinque prove: le prime tre e la quinta da un operatore esperto, la quarta da qualcuno alla sua seconda volta ai comandi del robot. Ciascuna è stata ripresa. In tutte e cinque il sistema si è comportato come definisce la sezione 2. La dimostrazione si può vedere nel video del sistema in funzione.

Fotografia del robot con l’operatore sospeso in un telaio sopra di esso, lo sguardo rivolto di lato. La mano del robot si è fermata prima di una palla blu e gialla su un palo giallo, con la distanza residua indicata.
Lo sguardo dell’operatore è rivolto altrove e il braccio si ferma a distanza dall’oggetto.
Fotografia da un’angolazione più bassa: l’operatore guarda verso la palla e la mano del robot afferra la palla blu e gialla sul palo giallo.
Con lo sguardo rivolto all’oggetto, lo stesso movimento prosegue senza restrizioni.

5. Limiti e sviluppi futuri

Il rilevamento delle persone non è stato realizzato nel prototipo. Ciò che andava validato era la relazione fra lo sguardo dell’operatore e la manipolabilità degli oggetti, e la regola che protegge le persone è incondizionata e non ne dipende. Aggiungere quel rilevamento renderebbe il sistema più robusto e aprirebbe anche applicazioni oltre la sicurezza — evidenziare nella vista dell’operatore chi si trova vicino al robot, per esempio, o avvertire prima che venga raggiunto un limite di prossimità.

Lo sguardo è stato approssimato dalla direzione frontale del visore. La scelta è stata dettata dalla sua immediatezza, che in un sistema master-slave conta, ma altri strumenti — telecamere fisse, eye tracker negli occhiali intelligenti — lo stimerebbero diversamente e potrebbero abbassare la soglia psicologica per introdurre un simile sistema in settori non abituati a indossare nulla. Applicare il metodo ai robot mobili solleva un ulteriore problema: JINKI type Zero è fisso finché resta in sviluppo, e una macchina che cambia posizione durante il lavoro richiede un’elaborazione delle nuvole di punti abbastanza efficiente da starle dietro.

La valutazione in sé resta qualitativa. Uno studio quantitativo sul campo è il modo giusto di giudicare il sistema, e attende che il robot raggiunga una fase pratica.

6. Conclusioni

La ricerca ha proposto un sistema anticollisione per manipolatori robotici comandati da persone che usa lo sguardo dell’operatore per impedire contatti non intenzionali con persone e attrezzature. Sulla premessa che consapevolezza e direzione dello sguardo siano fortemente correlate, gli oggetti dentro il campo visivo centrale dell’operatore sono stati trattati come manipolabili e quelli fuori come protetti. Mettere un fattore umano nell’anello di controllo ha reso possibile tracciare quella linea a tempo di esecuzione, senza nulla della preparazione che i metodi esistenti richiedono.

Il sistema è stato verificato su un robot da macchinario pesante di uso generale e si è comportato come definito. Lo stesso principio dovrebbe valere in qualsiasi contesto in cui una persona faccia già parte dell’anello attraverso cui una macchina viene comandata.

Ringraziamenti

Questo lavoro è stato svolto durante un tirocinio presso Man-Machine Synergy Effectors, Inc., come parte dei requisiti della laurea magistrale in Design & Engineering del Politecnico di Milano. Ringrazio entrambe le organizzazioni per aver reso possibile questa occasione.

Takafumi Horiuchi e Katsuya Kanaoka, «Gaze-based Unintended Contact Prevention for Human-Operated Robots», 39ª conferenza annuale della Robotics Society of Japan, 2021, contributo 2J2-07. Programma della conferenza.