Takafumi Horiuchi

Tesi di master sul design dell'interazione tra esseri umani e robot

Panoramica

Nei robot di grandi dimensioni controllati dall'uomo, è difficile distinguere solo con i sensori circostanti tra il movimento verso un oggetto di lavoro e quello verso ostacoli trascurati. Pertanto, è stato progettato un sistema di evitare collisioni che utilizza l'area che l'operatore sta guardando come indizio della volontà di "toccare", e rallenta o arresta il braccio quando si avvicina a oggetti non guardati.

Non è necessario registrare in anticipo l'oggetto come "manipolabile" o "da proteggere". Tale distinzione viene aggiornata in base allo sguardo dell'operatore durante il lavoro. È stato implementato su un robot da lavoro umanoide alto 1,9 m e, in cinque prove dimostrative, è stato confermato che il comportamento definito si realizza. Il funzionamento reale può essere visto in Video dimostrativo.

Come tesi di laurea magistrale in Design & Engineering al Politecnico di Milano, è stato sviluppato durante uno stage di ricerca presso Human-Machine Integration Co., Ltd. e presentato a 39ª Conferenza Accademica della Società Giapponese di Robotica (RSJ2021).


  1. Slide del titolo. Prevenzione delle collisioni basata sulla consapevolezza per la manipolazione robotica controllata dall'uomo, corso di laurea magistrale in Design & Engineering, Politecnico di Milano, anno accademico 2020–2021.
  2. Contesto. Il tema della tesi è stato deciso durante uno stage di ricerca presso la società Jinki Ittai Co., Ltd., un'azienda che sviluppa macchine antropomorfe controllate con il metodo master-slave.
  3. Confronto tra robot autonomi e robot controllati dall'uomo. I primi lavorano in modo efficiente in spazi progettati all'interno di recinzioni, mentre i secondi lavorano insieme agli esseri umani in spazi incerti.
  4. Statistiche dell'Europa, degli Stati Uniti e del Giappone. Il contatto con oggetti in movimento rappresenta una proporzione significativa degli incidenti nei cantieri edili.
  5. Ricerche precedenti sulla prevenzione delle collisioni. Pelle sensoriale che copre il manipolatore e sensori di profondità che riproducono virtualmente l'ambiente circostante.
  6. Problema attuale. Il sistema esistente richiede di predefinire l'oggetto come 'protetto' o 'manipolabile' tramite tag indossabili, analisi delle immagini e classificatori addestrati.
  7. Proposta. I sistemi tradizionali utilizzano solo informazioni dai sensori passivi, ma nei robot controllati dall'uomo l'essere umano è già all'interno del ciclo di controllo, e il suo sguardo può essere utilizzato come parametro attivo.
  8. Regole di classificazione. Gli oggetti all'interno del campo visivo centrale dell'operatore sono operabili, quelli all'esterno diventano oggetti da proteggere.
  9. Vista d'insieme del prototipo. Combinando il robot reale con uno spazio di calcolo virtuale, seguono tre elementi tecnologici.
  10. Elemento ①. Rappresentare il campo visivo centrale come un cono di 60°×55° e approssimarne l'orientamento nella direzione frontale del visore VR.
  11. Elemento ②. Il LIDAR montato sulla testa del robot scansiona l'ambiente come una nuvola di punti, ciascuno dei quali è rappresentato come un voxel dotato di collider.
  12. Elemento ③. Il gemello digitale del robot si muove come il robot reale e, quando il suo braccio tocca un voxel fuori dal campo visivo, viene emesso un avviso di prossimità.
  13. Dimostrazione del proof of concept. Immagine fissa di un robot che allunga la mano verso una palla su un palo e visualizzazione a voxel in uno spazio virtuale.
  14. Sfide future. Rilevamento delle persone nello spazio di lavoro, verifica di altri metodi per misurare la direzione dello sguardo e valutazione quantitativa sul campo.
  15. Sintesi delle conclusioni. Tema della ricerca, valore del metodo, novità e come il sistema è stato verificato.

Problema — Le impostazioni preventive per la sicurezza vincolano il sito

I robot controllati dall'uomo sono necessari nei luoghi non attrezzati per robot autonomi. Come nei cantieri o nei luoghi colpiti da disastri, la disposizione delle persone e delle attrezzature cambia, e ciò con cui si può entrare in contatto varia a seconda dell'attività. Per utilizzare la grande forza delle macchine, è necessario poter toccare gli oggetti desiderati evitando contatti indesiderati.

Per l'evitamento delle collisioni esistente, ci sono metodi come coprire il robot con sensori di prossimità o riprodurre l'ambiente circostante in uno spazio virtuale usando sensori di profondità. Tuttavia, entrambi richiedono di classificare preventivamente gli oggetti come "manipolabili" o "da proteggere". Se non viene registrato nulla, per motivi di sicurezza non si può toccare nulla, mentre per registrare tutto è necessaria la configurazione e la calibrazione per ogni sito. Questo onere di preparazione diminuiva la praticità dei robot da usare in luoghi diversi.

Idea — Trasformare lo sguardo in una 'condizione che può essere toccata'

Nel ciclo di controllo del robot operativo umano, c'è già una persona che giudica la situazione. Ho pensato che se fosse possibile trasmettere alla macchina a cosa l'uomo presta attenzione, invece di registrare preventivamente l'oggetto, si potrebbe stimare l'intenzione di contatto durante il lavoro.

Quindi, si usa il campo visivo centrale dell'operatore come confine. Gli oggetti all'interno del campo visivo sono considerati "oggetti operabili" che l'operatore può controllare. Gli oggetti all'esterno sono considerati "oggetti da proteggere", che potrebbero essere trascurati. Indipendentemente dalla posizione dello sguardo, le persone sono sempre da considerare oggetti da proteggere.

Questo non è un sistema per inviare comandi al robot tramite lo sguardo. È un sistema che trasforma lo stato cognitivo dell'operatore in condizioni che consentono al robot di muoversi.

Vista dall'alto. Davanti al robot, il campo visivo centrale dell'operatore è rappresentato come un cono. L'oggetto A, situato all'interno del cono, è indicato con un cerchio bianco, mentre gli oggetti B, C e D, situati all'esterno, sono rappresentati con quadrati scuri, e due persone si trovano rispettivamente dentro e fuori il cono.
L'oggetto A, che si trova all'interno del campo visivo centrale dell'operatore, può essere manovrato, mentre gli oggetti B, C e D, che si trovano all'esterno, sono soggetti a protezione. Le persone sono protette ovunque si trovino.

Progettazione dell'interazione

Il sistema non trasforma la posizione dello sguardo in un semplice interruttore on/off. Quando ci si avvicina a un oggetto che non si sta guardando, il braccio rallenta gradualmente in base alla distanza e si ferma prima del contatto. Dopo l'arresto, quando l'operatore dirige lo sguardo verso l'oggetto, le limitazioni vengono rimosse gradualmente. Si evita così il comportamento di arresto improvviso o di movimento improvviso, permettendo all'operatore di prevedere le variazioni.

D'altra parte, anche se distogli temporaneamente lo sguardo dall'oggetto già toccato, il lavoro in corso non si interrompe. Questo perché se la presa o l'operazione si fermassero solo perché lo sguardo viene distolto, diventerebbe invece instabile. Solo l'avvicinamento alle persone viene trattato separatamente e viene limitato indipendentemente dal fatto che l'operatore stia guardando o meno.

L'obiettivo non è stato quello di rallentare uniformemente il lavoro per motivi di sicurezza. Si tratta di mantenere le capacità del robot nell'ambito che l'operatore può controllare, proteggendo solo le aree che non sono sotto la sua attenzione, in modo da conciliare sicurezza e operatività.

Diagramma di flusso che inizia dallo stato di movimento libero. Si dirama in base a se l’oggetto è vicino, se è una persona, se il manipolatore si trova nella direzione verso la persona, o se l’oggetto è nell’area di attenzione, conducendo a un movimento di precisione, a una fermata graduale o al blocco.
Il nodo che legge i parametri attivi dell'operatore durante il processo decisionale è solo quello che verifica se l'oggetto si trova nell'area di attenzione. Tutte le altre diramazioni funzionano con informazioni sensoriali passive.

Situazioni d'uso previste

L'obiettivo era rappresentato da luoghi come i cantieri edili o le scene di disastri, dove si maneggiano grandi forze vicino alle persone. In questi luoghi, è difficile delimitare completamente l'area con recinzioni o registrare in anticipo tutti gli oggetti. Un sistema che richiede di ripristinare le impostazioni di sicurezza ogni volta che la disposizione cambia perderebbe urgenza e versatilità.

La distinzione basata sullo sguardo utilizza la consapevolezza della situazione della persona in quel momento, invece di un modello ambientale fisso. Potrebbe ridurre il carico della preparazione sul campo, limitando l'avvicinamento agli oggetti trascurati. Tuttavia, in questo studio si è verificato solo che il sistema funziona come definito e non è stata valutata l'efficacia nel ridurre gli incidenti.

Prototipo e valutazione preliminare

Implementazione

Il sistema è stato implementato in un robot alto 1,9 m, pesante 600 kg, con 30 gradi di libertà, che ha una forma simile alla parte superiore del corpo umano. L'operatore indossa un visore VR e controlla il robot sincronizzando la propria visuale e la direzione della testa con i movimenti del robot.

Lo spazio di lavoro è stato acquisito come nuvola di punti tramite LIDAR sul robot e rappresentato come voxel dotati di rilevamento delle collisioni nello spazio virtuale. Un gemello digitale che sincronizza quello spazio con la macchina reale viene eseguito. La visione centrale dell'operatore è rappresentata come un cono di 60°×55°, e l'orientamento è approssimato nella direzione frontale del visore. Quando il braccio si avvicina a voxel fuori dal campo visivo, viene inviato un avviso alla macchina reale, provocando rallentamento o arresto.

Scena di uno spazio virtuale. Voxel gialli ricostruiscono l'ambiente circostante, e un'area rossa semi-trasparente etichettata come
Uno spazio virtuale che contiene il robot e la nuvola di punti scansionata. Qui, il robot tocca ostacoli che si trovano fuori dal campo visivo centrale dell'operatore.

Valutazione preliminare

Abbiamo provato una serie di operazioni in cui l'operatore avvicina il braccio mentre distoglie lo sguardo dall'obiettivo, rimuove le restrizioni riportando lo sguardo sull'obiettivo dopo l'arresto, e infine afferra la palla. Su cinque tentativi, quattro sono stati effettuati da operatori esperti e uno dal secondo operatore a bordo. In tutti i tentativi, il braccio si è fermato quando lo sguardo era distolto e ha potuto continuare l'operazione quando lo sguardo è stato rivolto verso l'obiettivo. Questa è una valutazione preliminare per verificare se il comportamento progettato funziona sul dispositivo reale, non un esperimento utente per misurare l'efficacia.

Foto di un robot. Sul telaio sopra di esso è presente un operatore, che è seduto e guarda di lato. La mano del robot si ferma davanti a una palla blu e gialla sopra un palo giallo, e viene mostrata la distanza rimanente.
Lo sguardo dell'operatore è distolto e il braccio si ferma a distanza dall'oggetto.
Foto da un'angolazione dal basso. L'operatore sta guardando il pallone, e la mano robotica sta afferrando la palla blu e gialla sopra il palo giallo.
Se lo sguardo è rivolto verso l'oggetto, lo stesso movimento procede senza restrizioni.

Limiti e la prossima verifica

Il prototipo non implementa il rilevamento delle persone. È stata stabilita una regola secondo cui le persone devono essere sempre protette indipendentemente dalla direzione dello sguardo, ma in un ambiente reale sarà necessario un meccanismo per identificare con certezza le persone. Inoltre, poiché è stata utilizzata la direzione frontale del visore come valore sostitutivo, e non lo sguardo stesso, non è possibile rilevare movimenti solo degli occhi.

Se si utilizzano telecamere fisse o smart glasses con tracciamento dello sguardo, cambiano le condizioni dei dispositivi indossabili e della precisione stimata. Quando si applica a robot mobili, è necessario anche un’elaborazione dei punti in grado di seguire le variazioni della posizione del robot stesso.

La valutazione si limita a una conferma qualitativa basata su cinque tentativi dimostrativi. Per giudicare la sicurezza, la velocità di lavoro e il carico sull'operatore, è necessario un confronto quantitativo con i metodi tradizionali nelle condizioni di lavoro effettive.

La prospettiva acquisita da questa ricerca

In questo studio, non abbiamo usato lo sguardo umano come dispositivo di input, ma lo abbiamo trattato come condizione per autorizzare il comportamento della macchina. Il comportamento del robot verso lo stesso oggetto cambia a seconda di ciò che la persona sta attualmente percependo. Ciò che è stato progettato non sono azioni individuali, ma la relazione tra lo stato cognitivo umano e l'autorizzazione della macchina.

Questo modo di pensare è collegato anche all'attuale La mia filosofia di design. Comprendere lo stato delle persone, trasformarlo in vincoli che il sistema deve rispettare e permettere a macchine e IA di esprimere le proprie capacità al suo interno. La ricerca magistrale è diventata il punto di partenza di questo processo.

Ringraziamenti

Questo studio è stato condotto durante il periodo di tirocinio presso Human Machine Integration Co., Ltd., come parte del corso di laurea magistrale in Design & Engineering del Politecnico di Milano. Esprimo profonda gratitudine a entrambe le organizzazioni per aver reso possibile questa occasione.

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Conference programme