Mémoire de master sur la conception de l’interaction entre l’humain et le robot

Aperçu

Celui qui pilote un grand robot ne peut prêter attention qu’à une partie de l’espace de travail à la fois. Cette recherche a demandé ce qui change si l’on indique à la machine où se trouve cette attention. J’ai conçu un système anticollision où le regard de l’opérateur décide du comportement permis au robot : ce qui tombe dans son champ de vision central peut être manipulé librement, tandis que ce qui reste en dehors est protégé — le bras ralentit et s’arrête avant d’arriver. Rien n’a besoin d’être étiqueté au préalable. La distinction se trace au moment du travail, depuis l’endroit que l’opérateur regarde. La vidéo de démonstration est ici (sur YouTube).

Ce travail a été mon mémoire de master en Design & Engineering au Politecnico di Milano, mené lors d’un stage de recherche chez Man-Machine Synergy Effectors, Inc. au Japon, et présenté à la 39e conférence annuelle de la Robotics Society of Japan (RSJ2021).

C’est aussi là que ma philosophie de design commence à prendre sa forme actuelle. Ce que ce système lit n’est pas un ordre mais un état cognitif — une chose a-t-elle seulement été remarquée — et il convertit cet état en conditions sous lesquelles la machine a le droit d’agir. Ce que l’on conçoit n’est pas le mouvement du robot mais la relation : ce que la machine peut faire découle de ce que la personne comprend à cet instant. Concevoir cette relation plutôt que chaque comportement isolé est le même geste que je fais aujourd’hui, maintenant que celui qui agit est une IA générative et non un bras robotisé.

Résumé

Les robots pilotés par l’humain valent précisément là où les robots autonomes ne valent pas : dans des espaces de travail qui n’ont jamais été conçus pour la tâche en cours, à côté de personnes et d’équipements qu’il ne faut pas heurter. Les systèmes anticollision existants gèrent ces espaces en faisant déclarer à l’avance chaque objet comme cible de manipulation ou comme chose à protéger — un coût de paramétrage qui devient ingérable pour une machine destinée à être transportée d’un chantier à l’autre.

Cette recherche a proposé d’opérer cette distinction à l’exécution, à partir du regard de l’opérateur. Les objets situés dans son champ de vision central sont traités comme manipulables, ceux qui en sortent comme protégés, et les personnes comme protégées en toute circonstance. La méthode introduit un paramètre actif — humain — dans une boucle de commande jusque-là entièrement constituée de données passives de capteurs. Le prototype a été implanté sur JINKI type Zero, un robot anthropomorphe de type engin lourd de 1,9 m, et s’est comporté comme spécifié au cours de cinq essais de démonstration.

1. Introduction

Un robot piloté par l’humain réunit deux choses difficiles à obtenir ensemble : la puissance et la précision d’une machine, et le jugement situationnel d’une personne. Les robots pleinement autonomes ne fournissent pas encore le second. Et là où les robots industriels travaillent dans des cellules conçues pour eux, derrière des clôtures, ceux que pilote un humain doivent travailler dans des lieux aménagés pour autre chose — aux côtés des ouvriers, parmi des équipements délicats, dans des installations nucléaires et sur les chantiers. Garantir que le robot n’abîme pas ce qui l’entoure fait donc partie de ce qui le rend utilisable.

Les défenses établies contre le contact accidentel sont la peau sensible, où des capteurs de proximité couvrent chaque partie critique du manipulateur, et la détection de profondeur, où l’environnement est reconstruit en nuage de points et les distances calculées dans cet espace virtuel. Les deux fonctionnent. Les deux, cependant, présupposent que les objets autour du robot ont déjà été triés entre ceux qu’il peut toucher et ceux qu’il ne doit pas toucher : sans ce tri, une machine à qui l’on interdit toute collision ne peut rien manipuler non plus. Pour un outil polyvalent transporté de chantier en chantier et posé au milieu de ce qui s’y trouve, la configuration et l’étalonnage que cela exige coûtent plus cher que la sécurité qu’ils achètent.

L’ouverture par laquelle passe cette recherche est qu’un robot piloté par l’humain a déjà une personne dans sa boucle de commande. Les études sur l’erreur opérationnelle désignent la conscience de la situation — saisir précisément ce qui se passe autour de soi — comme le facteur décisif, et l’on sait que cette conscience est fortement corrélée à la direction du regard. L’évitement des collisions s’était classiquement construit à partir de la seule information passive, c’est-à-dire des données lues sur les capteurs. Ajouter un unique paramètre actif, l’endroit que regarde l’opérateur, donne au système une indication : le contact avec tel objet serait-il intentionnel ou non.

2. Comportement du système

Un objet que l’opérateur a l’intention de toucher est appelé objet manipulable et peut être manié sans restriction. Un objet envers lequel il n’a pas cette intention est un objet protégé et ne peut être touché. Lequel des deux un objet est à un instant donné découle de sa position par rapport au champ de vision central de l’opérateur : à l’intérieur, l’objet est sous une attention suffisante pour compter comme intentionnel ; à l’extérieur, non.

Cinq règles gouvernent le comportement qui s’ensuit. Le manipulateur peut interférer librement avec les objets situés dans le champ de vision central. Il ne peut pas interférer avec ceux qui en sortent, et s’arrête progressivement à mesure qu’il en approche. Une fois arrêté, il est progressivement libéré à mesure que le champ de vision de l’opérateur se porte sur lui. Aucune restriction ne s’applique si le champ de vision quitte un objet avec lequel le manipulateur est déjà en contact, afin qu’un travail en cours ne soit pas interrompu par un regard ailleurs. Et le manipulateur ne peut pas interférer avec un être humain, où que cette personne se tienne. Lorsqu’un robot possède plusieurs manipulateurs, les règles s’appliquent à chacun séparément.

Ce que l’opérateur y gagne, c’est de pouvoir travailler à pleine vitesse sur ce qu’il regarde, en comptant sur la machine pour ne pas heurter les équipements qu’il ne regarde pas. La sécurité des personnes présentes est inconditionnelle et ne dépend en rien des intentions de l’opérateur.

3. Bénéfices attendus

Les engins lourds offrent l’image existante la plus proche de ce type de travail : de grandes forces appliquées dans des lieux non aménagés, à côté de personnes. Les collisions comptent parmi les principaux dangers sur les chantiers du monde entier, et l’inattention y est citée de façon répétée comme cause. Sur les 362 600 accidents recensés sur les chantiers européens en 2018, 19,6 % consistaient à être heurté par un objet en mouvement ; une enquête sur les incidents liés aux grues en a attribué 19 % à l’inattention de l’opérateur.

Comme l’attention et la direction du regard sont fortement corrélées, ces deux proportions peuvent être combinées en une estimation grossière du terrain qu’un système fondé sur le regard pourrait couvrir — de l’ordre de treize mille accidents par an en Europe. Ce chiffre est une inférence tirée de statistiques publiées et non un résultat mesuré ; il est donné comme ordre de grandeur.

4. Vérification du système

Un système de démonstration a été construit et mis en marche comme preuve de concept.

4.1 Implémentation

Le système a été implanté sur JINKI type Zero, un robot développé chez Man-Machine Synergy Effectors, Inc. Il a le buste d’un être humain, mesure 1,9 m, pèse 600 kg et compte trente degrés de liberté. L’opérateur et le robot sont au même endroit et couplés en système maître-esclave : un casque de réalité virtuelle synchronise la vue et la rotation de tête de l’opérateur avec celles du robot, ce qui donne le sentiment de ne faire qu’un avec la machine plutôt que de la conduire.

Un LIDAR monté sur le robot scanne le lieu de travail en nuages de points, représentés dans un espace virtuel par des voxels ayant chacun son collisionneur. Un jumeau numérique du robot se déplace dans ce même espace ; lorsque son bras recouvre des voxels, le système émet une alerte de proximité dont l’effet dépend de la direction du champ de vision de l’opérateur. Ce champ est modélisé par un cône de 60° × 55° (H×V) — proche de la région où l’on perçoit symboles, couleurs et profondeur — et sa direction est approchée par la direction frontale du casque. L’alerte est transmise au robot physique et façonne son mouvement selon les règles ci-dessus.

4.2 Expérience de démonstration

Une évaluation préliminaire a vérifié que l’implémentation faisait ce qui avait été spécifié. Il était demandé à l’opérateur de déplacer le bras vers un poteau en regardant ailleurs, de constater que le système avait émis une alerte et arrêté le bras, puis de regarder le bras arrêté pour lever la restriction, et enfin de prendre une balle au sommet du poteau en la gardant dans son champ de vision. Cinq essais ont été menés : les trois premiers et le cinquième par un opérateur expérimenté, le quatrième par quelqu’un qui pilotait le robot pour la deuxième fois. Chacun a été filmé. Dans les cinq, le système s’est comporté comme le définit la section 2. La démonstration se voit dans la vidéo du système en fonctionnement.

5. Limites et perspectives

La détection des personnes n’a pas été implémentée dans le prototype. Ce qu’il fallait valider, c’était la relation entre le regard de l’opérateur et la manipulabilité des objets, et la règle qui protège les personnes est inconditionnelle et n’en dépend pas. Ajouter cette détection rendrait le système plus robuste et ouvrirait aussi des usages au-delà de la sécurité — signaler dans la vue de l’opérateur les personnes proches du robot, par exemple, ou avertir avant qu’une limite de proximité soit atteinte.

Le regard a été approché par la direction frontale du casque. Ce choix tenait à son caractère direct, ce qui compte dans un système maître-esclave, mais d’autres instruments — caméras fixes, oculomètres montés sur des lunettes connectées — l’estimeraient autrement et pourraient abaisser la barrière à l’introduction d’un tel système dans des secteurs peu habitués à porter un équipement. Appliquer la méthode aux robots mobiles soulève un problème de plus : JINKI type Zero est fixe tant qu’il est en développement, et une machine qui change de position pendant l’opération demande un traitement des nuages de points assez efficace pour suivre.

L’évaluation elle-même reste qualitative. Une étude quantitative sur le terrain est la bonne façon de juger le système, et attend que le robot atteigne un stade pratique.

6. Conclusion

La recherche a proposé, pour les manipulateurs robotisés pilotés par l’humain, un système anticollision qui se sert du regard de l’opérateur pour empêcher tout contact non intentionnel avec les personnes et les équipements. En partant du principe que la conscience et la direction du regard sont fortement corrélées, les objets situés dans le champ de vision central de l’opérateur ont été traités comme manipulables et ceux qui en sortent comme protégés. Mettre un facteur humain dans la boucle de commande a permis de tracer cette limite à l’exécution, sans rien de la préparation qu’exigent les méthodes existantes.

Le système a été vérifié sur un robot de type engin lourd polyvalent et s’est comporté comme défini. Le même principe devrait valoir partout où une personne fait déjà partie de la boucle par laquelle une machine est pilotée.

Remerciements

Ce travail a été mené lors d’un stage chez Man-Machine Synergy Effectors, Inc., dans le cadre du master en Design & Engineering du Politecnico di Milano. Je remercie ces deux organisations d’avoir rendu cette occasion possible.