Takafumi Horiuchi

Tesi di laurea magistrale sul design dell’interazione uomo–robot

Panoramica

Nei grandi robot comandati da persone, i soli sensori ambientali possono faticare a distinguere un avvicinamento intenzionale a un oggetto di lavoro da un avvicinamento involontario a un ostacolo non notato. Ho progettato un sistema di prevenzione delle collisioni che usa il campo visivo stimato dell’operatore come indizio dell’intenzione di contatto, rallentando o arrestando il braccio quando si avvicina a oggetti al di fuori di quel campo.

Non occorre classificare preventivamente gli oggetti come «manipolabili» o «da proteggere»: la classificazione si aggiorna quando l’operatore guarda attorno a sé. Nel prototipo ho usato l’orientamento del visore come approssimazione della direzione dello sguardo. Ho implementato il sistema su un robot umanoide da lavoro alto 1,9 metri e ne ho confermato il comportamento previsto in cinque prove dimostrative. Il video dimostrativo mostra il sistema in funzione.

Ho svolto questa ricerca durante un tirocinio presso Jinki Ittai Co., Ltd., per la mia tesi di laurea magistrale in Design & Engineering al Politecnico di Milano. L’ho presentata alla 39ª conferenza annuale della Robotics Society of Japan (RSJ2021).


  1. Slide del titolo: «Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation», corso di laurea magistrale in Design & Engineering del Politecnico di Milano, 2020–2021.
  2. Contesto: il tema della tesi è nato durante un tirocinio di ricerca presso Jinki Ittai Co., Ltd., che sviluppa robot umanoidi da lavoro azionati tramite un sistema di controllo master–slave.
  3. Confronto tra robot autonomi e robot comandati da persone: i primi operano in modo efficiente in ambienti appositamente predisposti e recintati; i secondi lavorano accanto alle persone in ambienti meno prevedibili.
  4. Statistiche dell'Europa, degli Stati Uniti e del Giappone. Il contatto con oggetti in movimento rappresenta una proporzione significativa degli incidenti nei cantieri edili.
  5. Ricerche precedenti sulla prevenzione delle collisioni: un rivestimento con sensori tattili attorno al manipolatore e un sensore di profondità usato per ricostruire virtualmente l’ambiente circostante.
  6. Problema: i sistemi esistenti classificano preventivamente gli oggetti come «da proteggere» o «manipolabili», usando etichette applicate agli oggetti, analisi delle immagini o classificatori addestrati.
  7. Proposta. I sistemi tradizionali utilizzano solo informazioni dai sensori passivi, ma nei robot controllati dall'uomo l'essere umano è già all'interno del ciclo di controllo, e il suo sguardo può essere utilizzato come parametro attivo.
  8. Regole di classificazione: gli oggetti all’interno del campo visivo centrale dell’operatore sono «manipolabili»; quelli all’esterno sono «da proteggere».
  9. Panoramica del prototipo: un robot fisico è collegato a un ambiente virtuale. Le slide successive illustrano le sue tre componenti tecniche.
  10. Componente 1: rappresentare il campo visivo centrale come un volume di visione di 60° × 55° e approssimarne l’orientamento con la direzione frontale del visore VR.
  11. Componente 2: un sensore lidar montato sulla testa del robot acquisisce una nuvola di punti dell’ambiente, rappresentata come voxel con rilevamento delle collisioni.
  12. Componente 3: il gemello digitale segue il movimento del robot fisico e genera avvisi quando si avvicina a voxel esterni all’area di visione.
  13. Dimostrazione del proof of concept. Immagine fissa di un robot che allunga la mano verso una palla su un palo e visualizzazione a voxel in uno spazio virtuale.
  14. Sfide future. Rilevamento delle persone nello spazio di lavoro, verifica di altri metodi per misurare la direzione dello sguardo e valutazione quantitativa sul campo.
  15. Sintesi delle conclusioni. Tema della ricerca, valore del metodo, novità e come il sistema è stato verificato.
Slide originali della presentazione, in inglese.

Il problema: la configurazione di sicurezza può limitare il lavoro sul campo

I robot comandati da persone servono in ambienti non predisposti per il funzionamento autonomo. Nei cantieri e nelle aree colpite da calamità cambiano sia la posizione di persone e attrezzature sia gli oggetti che il robot deve toccare. Per sfruttare la forza della macchina, l’operatore deve poter lavorare su questi oggetti evitando contatti involontari.

Tra gli approcci alla prevenzione delle collisioni vi sono il rivestimento del robot con sensori di prossimità e la ricostruzione dell’ambiente in uno spazio virtuale mediante sensori di profondità. Negli approcci esaminati in questa ricerca, gli oggetti dovevano essere classificati preventivamente come «manipolabili» o «da proteggere». Senza questa classificazione il robot avrebbe evitato ogni contatto; classificare tutti gli oggetti richiedeva configurazione e calibrazione specifiche per ciascun luogo. Questa preparazione rendeva meno pratico usare il robot in contesti diversi.

L’idea: usare lo sguardo per definire quando consentire il contatto

Nel ciclo di controllo di un robot comandato da una persona c’è già qualcuno che valuta la situazione. Mi sono chiesto se fornire alla macchina un indizio dell’attenzione dell’operatore potesse aiutarla a dedurre l’intenzione di contatto durante il lavoro, senza richiedere la registrazione preventiva degli oggetti.

Ho usato come confine il campo visivo centrale dell’operatore. Gli oggetti al suo interno vengono classificati come «manipolabili», ipotizzando che l’operatore ne sia consapevole. Quelli all’esterno vengono classificati come «da proteggere», perché potrebbero non essere stati notati. Il progetto prevede che le persone siano sempre protette, indipendentemente dalla direzione dello sguardo.

Il sistema non usa lo sguardo per impartire direttamente comandi. Traduce invece l’area in cui si presume che l’operatore sia consapevole degli oggetti in condizioni che regolano il movimento del robot.

Vista dall’alto del robot e del campo visivo centrale dell’operatore. L’oggetto A, nell’area di visione stimata, è contrassegnato in bianco. Gli oggetti B, C e D, all’esterno, sono quadrati scuri. Una persona è all’interno dell’area e un’altra all’esterno.
Secondo le regole proposte, l’oggetto A è manipolabile perché rientra nel campo visivo centrale dell’operatore. Gli oggetti B, C e D ne sono fuori e vengono protetti. Le persone sono sempre classificate come da proteggere, indipendentemente dalla loro posizione e dallo sguardo dell’operatore. Il rilevamento delle persone, tuttavia, non è stato implementato in questo prototipo. Le etichette della figura indicano il campo visivo centrale dell’operatore («operator’s central field of view»), il robot, gli oggetti manipolabili («Manipulable object», simboli bianchi) e gli oggetti da proteggere («Protected object», simboli scuri).

Progettazione dell'interazione

Il sistema tratta lo sguardo come qualcosa di più di un interruttore. Quando il braccio si avvicina a un oggetto fuori dal campo visivo dell’operatore, rallenta gradualmente in funzione della distanza e si ferma prima del contatto. Rivolgere lo sguardo verso l’oggetto rimuove poi progressivamente la limitazione. Ho progettato queste transizioni per evitare arresti e ripartenze bruschi e rendere più prevedibili i cambiamenti.

Distogliere brevemente lo sguardo da un oggetto già a contatto con il robot non interrompe il lavoro. Fermare una presa o una manipolazione solo perché l’operatore guarda altrove potrebbe rendere l’operazione meno stabile. Il progetto tratta separatamente l’avvicinamento alle persone, che dovrebbe restare limitato indipendentemente dallo sguardo. Il rilevamento delle persone non è stato implementato in questo prototipo.

L’obiettivo era mantenere le capacità del robot laddove l’operatore fosse consapevole di ciò che lo circondava e limitarne il movimento dove la sua attenzione poteva non arrivare. L’intento era bilanciare sicurezza e facilità d’uso senza rallentare ogni azione.

Diagramma di controllo a partire dal movimento libero. Le decisioni verificano se un oggetto è vicino, se è una persona, se il manipolatore si muove verso la persona e se l’oggetto è nell’area di visione. Ne derivano movimento di precisione, arresto graduale o blocco.
Una sola decisione nel diagramma di flusso usa un input attivo dell’operatore: se l’oggetto rientra nell’area di visione. Tutte le altre diramazioni usano dati passivi dei sensori.
Lettura del diagramma di controllo in italiano

Le frecce «yes» e «no» indicano rispettivamente sì e no. Il diagramma parte dal movimento libero e ripete i controlli durante la manipolazione.

  1. Movimento libero («manipulation in free motion»): se non c’è un oggetto vicino («object is nearby» → no), il movimento rimane libero.
  2. Se un oggetto è vicino, il controllo successivo chiede: è una persona? («object is human»).
  3. Se non è una persona, si verifica se l’oggetto è nell’area di visione («object is in field of focus»). Se sì, si passa al movimento di precisione («manipulation in precise scale») e poi di nuovo al controllo del movimento libero. Se no, il movimento viene arrestato gradualmente («manipulation gradually halted»), fino al blocco («manipulation is locked»). Dal blocco si ricontrolla l’area di visione.
  4. Se l’oggetto è una persona, si verifica se il manipolatore si muove verso di lei («manipulator is in approaching direction to human»). Se sì, si passa all’arresto graduale e al blocco; se no, al movimento di precisione.

Il rilevamento delle persone è una regola del progetto e non era implementato nel prototipo.

Situazioni d'uso previste

I contesti previsti erano i cantieri e le aree colpite da calamità, dove le macchine esercitano grandi forze vicino alle persone. Sono ambienti difficili da delimitare completamente, nei quali registrare in anticipo ogni oggetto è poco pratico. Riconfigurare le impostazioni di sicurezza a ogni modifica della disposizione renderebbe il sistema meno adattabile e più lento da impiegare nelle urgenze.

La classificazione basata sullo sguardo usa la consapevolezza dell’operatore momento per momento, anziché una classificazione fissa dell’ambiente. Potrebbe ridurre la preparazione sul posto limitando gli avvicinamenti agli oggetti non notati. Questo studio, tuttavia, ha verificato soltanto che il sistema si comportasse come previsto; non ha valutato se l’approccio riduca gli incidenti nell’uso reale.

Prototipo e valutazione preliminare

Implementazione

Ho implementato il sistema su un robot con la forma della parte superiore del corpo umano, alto 1,9 metri, del peso di 600 kg e dotato di 30 gradi di libertà. L’operatore indossa un visore VR che sincronizza la visuale e l’orientamento della testa del robot con i propri movimenti.

Un sensore lidar sul robot acquisiva lo spazio di lavoro come nuvola di punti, rappresentata nell’ambiente virtuale da voxel con rilevamento delle collisioni. Un gemello digitale sincronizzava il robot virtuale con quello fisico. Ho rappresentato il campo visivo centrale dell’operatore come un volume di visione di 60° × 55°, approssimandone l’orientamento con la direzione frontale del visore. Quando il braccio si avvicinava a un voxel esterno a quest’area, il sistema inviava al robot fisico un avviso per rallentarne o arrestarne il movimento.

Spazio di lavoro virtuale ricostruito con voxel gialli. Una regione rossa traslucida indica il campo visivo centrale dell’operatore; il gemello digitale bianco si protende verso un ostacolo esterno a quella regione.
L’ambiente virtuale contiene il gemello digitale del robot e la nuvola di punti acquisita. La scena mostra ostacoli al di fuori del campo visivo centrale stimato dell’operatore.

Valutazione preliminare

Ogni prova seguiva la stessa sequenza: avvicinarsi a un oggetto fuori dal campo visivo stimato dell’operatore, rivolgere il visore verso di esso dopo l’arresto del braccio per rimuovere la limitazione, quindi afferrare la palla. Un operatore esperto ha svolto quattro delle cinque prove; la restante è stata svolta da un operatore che usava la cabina di comando per la seconda volta. In tutte le prove il braccio si è fermato mentre l’oggetto era fuori dal campo visivo stimato e ha potuto riprendere il movimento quando vi è rientrato. Queste prove verificavano che il comportamento previsto funzionasse sul robot fisico. Non ne valutavano l’efficacia attraverso uno studio con utenti.

Foto di un robot. Sul telaio sopra di esso è presente un operatore, che è seduto e guarda di lato. La mano del robot si ferma davanti a una palla blu e gialla sopra un palo giallo, e viene mostrata la distanza rimanente.
L’oggetto è fuori dal campo visivo stimato dell’operatore e il braccio si ferma prima di raggiungerlo.
Foto da un'angolazione dal basso. L'operatore sta guardando il pallone, e la mano robotica sta afferrando la palla blu e gialla sopra il palo giallo.
Quando l’oggetto entra nel campo visivo stimato dell’operatore, lo stesso movimento può proseguire senza limitazioni.

Limiti e prossimi passi

Il prototipo non includeva il rilevamento delle persone. Sebbene il progetto preveda che siano sempre protette, un sistema destinato all’uso reale richiederebbe un metodo affidabile per identificarle. Il prototipo usava inoltre la direzione frontale del visore come approssimazione dello sguardo e non poteva quindi rilevare movimenti degli occhi indipendenti da quelli della testa.

Una telecamera fissa o occhiali intelligenti con tracciamento oculare cambierebbero i requisiti dei dispositivi indossabili e la precisione della stima dello sguardo. Estendere il sistema a un robot mobile richiederebbe anche un’elaborazione della nuvola di punti che tenga conto dei cambiamenti di posizione del robot stesso.

La valutazione si è limitata a verifiche qualitative in cinque prove dimostrative. Per valutare sicurezza, velocità di esecuzione e carico di lavoro dell’operatore servirebbero confronti quantitativi con metodi convenzionali in condizioni di lavoro reali.

Che cosa ho imparato

Questa ricerca ha usato il campo visivo stimato dell’operatore per definire quali azioni della macchina consentire. Il comportamento del robot verso lo stesso oggetto cambiava con l’apparente consapevolezza che l’operatore ne aveva. Il mio interesse era la relazione tra questa consapevolezza apparente e l’ambito delle azioni della macchina, più che i singoli movimenti.

Questa prospettiva continua a orientare i lavori del mio portfolio: comprendere lo stato di una persona, tradurlo in vincoli che il sistema deve rispettare e lasciare che macchine o IA operino entro quei confini. La ricerca magistrale è stata il punto di partenza di questo approccio.

Ringraziamenti

Ho svolto questa ricerca durante un tirocinio presso Jinki Ittai Co., Ltd., nell’ambito del corso di laurea magistrale in Design & Engineering al Politecnico di Milano. Ringrazio entrambe le organizzazioni per averla resa possibile.

Takafumi Horiuchi e Katsuya Kanaoka. “Gaze-based Unintended Contact Prevention for Human-Operated Robots.” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Programma della conferenza