Takafumi Horiuchi

Mémoire de master sur la conception de l’interaction humain-robot

Présentation

Pour les grands robots pilotés par un humain, les seuls capteurs de l’environnement peuvent difficilement distinguer une approche intentionnelle de l’objet à manipuler d’une approche involontaire d’un obstacle passé inaperçu. J’ai conçu un système de prévention des collisions qui utilise le champ visuel estimé de l’opérateur comme indice de son intention de contact : le bras ralentit ou s’arrête lorsqu’il s’approche d’objets situés hors de ce champ.

Il n’est pas nécessaire de classer les objets à l’avance comme « manipulables » ou « protégés » : leur classement évolue à mesure que l’opérateur regarde autour de lui. Dans le prototype, j’ai utilisé l’orientation du casque comme approximation de la direction du regard. J’ai implanté le système sur un robot humanoïde de manutention lourde de 1,9 mètre de haut et vérifié le comportement prévu lors de cinq essais de démonstration. La vidéo de démonstration montre le système en fonctionnement.

J’ai mené ces recherches lors d’un stage chez Jinki Ittai Co., Ltd., dans le cadre de mon mémoire de master en Design & Engineering au Politecnico di Milano. Je les ai présentées au 39e congrès annuel de la Société japonaise de robotique (RSJ2021).


  1. Diapositive de titre : Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, master Design & Engineering du Politecnico di Milano, 2020–2021.
  2. Contexte : le sujet du mémoire est né d’un stage de recherche chez Jinki Ittai Co., Ltd., qui développe des robots humanoïdes de manutention lourde pilotés par un système de commande maître-esclave.
  3. Comparaison : les robots autonomes travaillent efficacement dans des environnements aménagés et clôturés ; les robots pilotés par un humain interviennent auprès de personnes dans des environnements moins prévisibles.
  4. Des statistiques européennes, américaines et japonaises indiquent que le contact avec des objets en mouvement représente une part importante des accidents de chantier.
  5. Recherches antérieures sur la prévention des collisions : peau tactile entourant un manipulateur et capteur de profondeur pour reconstruire virtuellement l’environnement.
  6. Problème : les systèmes existants classent les objets à l’avance comme protégés ou manipulables au moyen d’étiquettes, de l’analyse d’images ou de classifieurs entraînés.
  7. Proposition : les systèmes antérieurs reposent uniquement sur les données passives des capteurs. Un robot piloté par un humain dispose déjà, dans sa boucle de commande, d’une personne dont le regard peut servir de paramètre actif.
  8. Règles de classement : les objets dans le champ visuel central de l’opérateur sont manipulables ; ceux qui sont à l’extérieur sont protégés.
  9. Vue d’ensemble du prototype : un robot physique est relié à un environnement virtuel. Les diapositives suivantes expliquent ses trois composants techniques.
  10. Composant 1 : représenter le champ visuel central par un volume de vision de 60° × 55° et approximer son orientation par la direction vers l’avant du casque de réalité virtuelle.
  11. Composant 2 : un lidar monté sur la tête capture un nuage de points de l’environnement, représenté par des voxels dotés d’une détection de collision.
  12. Composant 3 : le jumeau numérique suit le mouvement du robot physique ; l’approche de voxels hors de la zone de vision déclenche des avertissements.
  13. Démonstration de faisabilité : une image montre le robot tendant le bras vers une balle sur un poteau, à côté de la représentation de l’environnement en voxels.
  14. Prochaines étapes : détecter les personnes dans l’espace de travail, étudier d’autres méthodes d’estimation du regard et mener des évaluations quantitatives sur le terrain.
  15. Conclusion : sujet de recherche, contribution et nouveauté de la méthode, évaluation du prototype.
Diapositives de soutenance conservées dans leur version originale en anglais. Le texte de cette page expose la méthode, les résultats et les limites du prototype en français.

Problème : les réglages de sécurité peuvent limiter le travail sur le terrain

Les robots pilotés par un humain sont utiles dans les environnements qui n’ont pas été aménagés pour un fonctionnement autonome. Sur les chantiers de construction et dans les zones sinistrées, la position des personnes et des équipements change, tout comme les objets que le robot doit toucher. Pour exploiter la force de la machine, l’opérateur doit pouvoir agir sur ces objets tout en évitant les contacts involontaires.

Parmi les méthodes existantes de prévention des collisions figurent le recouvrement du robot par des capteurs de proximité et la reconstruction de son environnement dans un espace virtuel à l’aide de capteurs de profondeur. Dans les approches examinées ici, les objets devaient être classés à l’avance comme « manipulables » ou « protégés ». Sans ce classement, le robot évitait tout contact ; classer chaque objet exigeait une configuration et un étalonnage propres au site. Cette préparation rendait l’utilisation des robots moins pratique d’un lieu à l’autre.

Idée : utiliser le regard pour définir quand le contact est autorisé

Dans la boucle de commande d’un robot piloté par un humain, une personne évalue déjà la situation. Je me suis demandé si un indice de son attention pouvait aider la machine à déduire quels contacts étaient intentionnels pendant une tâche, sans avoir à enregistrer les objets au préalable.

J’ai retenu le champ visuel central de l’opérateur comme limite. Les objets qui s’y trouvent sont classés comme « manipulables », en supposant que l’opérateur a conscience de leur présence. Ceux qui sont à l’extérieur sont classés comme « protégés », car ils peuvent être passés inaperçus. La conception prévoit que les personnes soient toujours protégées, quelle que soit la direction du regard.

Le système n’utilise pas le regard pour donner directement des ordres. Il traduit plutôt la zone dans laquelle l’opérateur est supposé avoir conscience des objets en conditions imposées aux mouvements du robot.

Vue de dessus du robot et du champ visuel central de l’opérateur. La cible A, dans la zone de vision estimée, est représentée en blanc. Les cibles B, C et D, à l’extérieur, sont des carrés sombres. Une personne est dans la zone, une autre à l’extérieur.
Selon les règles proposées, la cible A est manipulable parce qu’elle se trouve dans le champ visuel central de l’opérateur. Les cibles B, C et D, situées à l’extérieur, sont protégées. Les personnes sont toujours classées comme protégées, quels que soient leur emplacement et le regard de l’opérateur. La détection des personnes n’a toutefois pas été implémentée dans ce prototype.
Lire les indications de la figure en français

Le secteur gris représente le champ visuel central de l’opérateur. « Robot » désigne le robot ; le blanc indique un objet manipulable et le gris foncé un objet protégé. A est dans le champ, B, C et D sont à l’extérieur. Les deux silhouettes humaines restent protégées dans la règle proposée, qu’elles soient dans le champ ou non. Leur détection n’est pas implémentée dans le prototype.

Conception de l’interaction

Le regard ne fonctionne pas comme un simple interrupteur. Lorsque le bras s’approche d’un objet hors du champ visuel de l’opérateur, il ralentit progressivement en fonction de la distance et s’arrête avant le contact. Regarder l’objet lève ensuite progressivement la restriction. J’ai conçu ces transitions pour éviter les arrêts et démarrages brusques et rendre les changements plus prévisibles.

Détourner brièvement le regard d’un objet déjà en contact avec le robot n’interrompt pas la tâche. Arrêter une préhension ou une manipulation pour cette seule raison pourrait rendre l’opération moins stable. Les approches de personnes font l’objet d’une règle distincte : elles doivent rester limitées, quel que soit le regard de l’opérateur. La détection des personnes n’a pas été implémentée dans ce prototype.

L’objectif était de préserver les capacités du robot là où l’opérateur avait conscience de son environnement et de limiter les mouvements là où son attention pouvait ne pas porter. Cette approche visait à concilier sécurité et facilité de conduite sans ralentir toutes les actions.

Organigramme commençant par un mouvement libre. Les décisions vérifient la proximité d’un objet, s’il s’agit d’une personne, si le manipulateur s’en approche et si l’objet se trouve dans la zone de vision. Elles conduisent à un mouvement de précision, un arrêt progressif ou un verrouillage.
Une seule décision de l’organigramme utilise une entrée active de l’opérateur : la cible se trouve-t-elle dans la zone de vision ? Toutes les autres branches reposent sur les données passives des capteurs.
Lire les indications de la figure en français

Départ : mouvement libre. Un objet est-il proche ? Si non, le mouvement reste libre. Si oui, le système vérifie s’il s’agit d’une personne.

Pour un objet qui n’est pas une personne : est-il dans la zone de vision ? Si oui, le système passe en mode de manipulation précise, puis revient au mouvement libre. Sinon, le mouvement s’arrête progressivement, puis se verrouille ; le système vérifie à nouveau si l’objet est dans la zone de vision.

Pour une personne : le manipulateur se déplace-t-il vers elle ? Si oui, le mouvement s’arrête progressivement puis se verrouille. Sinon, il passe en mode de manipulation précise. « Yes » signifie oui et « no » non. La branche concernant les personnes appartient à la conception proposée : elle n’a pas été implémentée dans le prototype.

Applications envisagées

Les contextes visés étaient les chantiers de construction et les zones sinistrées, où des machines exercent des forces importantes à proximité de personnes. Il est difficile de clôturer complètement ces environnements et peu réaliste d’y enregistrer tous les objets à l’avance. Reconfigurer les paramètres de sécurité à chaque changement d’agencement réduirait la capacité d’adaptation du système et ralentirait son déploiement en urgence.

Le classement fondé sur le regard s’appuie sur la perception momentanée de la situation par l’opérateur, plutôt que sur un classement fixe de l’environnement. Il pourrait réduire la préparation du site tout en limitant les approches d’objets passés inaperçus. Cette étude a cependant uniquement vérifié que le système se comportait comme prévu ; elle n’a pas évalué une éventuelle réduction des accidents en conditions réelles.

Prototype et évaluation préliminaire

Implémentation

J’ai implanté le système sur un robot ayant la forme d’un haut du corps humain, mesurant 1,9 mètre, pesant 600 kg et possédant 30 degrés de liberté. L’opérateur porte un casque de réalité virtuelle qui synchronise la vue et l’orientation de la tête du robot avec ses propres mouvements.

Un lidar embarqué sur le robot capturait l’espace de travail sous forme de nuage de points, représenté dans l’environnement virtuel par des voxels dotés d’une détection de collision. Un jumeau numérique synchronisait le robot virtuel avec la machine physique. J’ai représenté le champ visuel central de l’opérateur par un volume de vision de 60° × 55°, dont l’orientation était approximée par la direction vers l’avant du casque. Lorsque le bras s’approchait d’un voxel situé hors de cette zone, le système envoyait un avertissement au robot physique pour ralentir ou arrêter son mouvement.

Espace de travail virtuel reconstruit avec des voxels jaunes. Une région rouge translucide indique le champ visuel central de l’opérateur ; le jumeau numérique blanc tend le bras vers un obstacle situé à l’extérieur.
L’environnement virtuel contient le jumeau numérique du robot et le nuage de points acquis. La scène montre des obstacles situés hors du champ visuel central estimé de l’opérateur.

Évaluation préliminaire

Chaque essai suivait la même séquence : approcher une cible située hors du champ visuel estimé de l’opérateur, tourner le casque vers elle après l’arrêt du bras pour lever la restriction, puis saisir la balle. Un opérateur expérimenté a effectué quatre des cinq essais ; le dernier a été réalisé par un opérateur qui utilisait le poste de pilotage pour la deuxième fois seulement. Dans chaque essai, le bras s’arrêtait lorsque la cible était hors du champ visuel estimé et pouvait repartir lorsqu’elle y entrait. Ces essais vérifiaient le fonctionnement du comportement prévu sur le robot physique. Ils n’en évaluaient pas l’efficacité dans le cadre d’une étude auprès d’utilisateurs.

L’opérateur est assis dans la partie supérieure du robot et regarde sur le côté. La main du robot s’est arrêtée avant une balle bleue et jaune posée sur un poteau jaune ; la distance restante est indiquée.
La cible est hors du champ visuel estimé de l’opérateur et le bras s’arrête avant de l’atteindre.
Vue en contre-plongée : l’opérateur regarde la balle bleue et jaune tandis que la main du robot la saisit en haut du poteau jaune.
Lorsque la cible entre dans le champ visuel estimé de l’opérateur, le même mouvement peut se poursuivre sans restriction.

Limites et prochaines étapes

Le prototype ne comprenait pas de détection des personnes. Si la conception prévoit de toujours les protéger, un système destiné au terrain devrait disposer d’un moyen fiable de les identifier. Le prototype utilisait aussi la direction vers l’avant du casque comme approximation du regard : il ne pouvait donc pas détecter les mouvements des yeux indépendants de ceux de la tête.

Une caméra fixe ou des lunettes connectées avec suivi oculaire modifieraient les exigences liées au dispositif porté et la précision de l’estimation du regard. Étendre le système à un robot mobile demanderait également un traitement du nuage de points tenant compte des changements de position du robot lui-même.

L’évaluation s’est limitée à des vérifications qualitatives lors de cinq essais de démonstration. Évaluer la sécurité, la rapidité des tâches et la charge de travail de l’opérateur nécessiterait des comparaisons quantitatives avec les méthodes conventionnelles en conditions réelles.

Ce que j’en ai retenu

Ces recherches utilisaient le champ visuel estimé de l’opérateur pour définir quelles actions de la machine autoriser. Face à un même objet, le comportement du robot changeait selon que l’opérateur semblait ou non avoir conscience de sa présence. Mon attention portait sur la relation entre cette perception apparente et le champ d’action de la machine, plutôt que sur les mouvements individuels.

Cette perspective continue de guider les projets de mon portfolio : comprendre l’état d’une personne, le traduire en contraintes à respecter par le système, puis laisser les machines ou l’IA agir dans ces limites. Mes recherches de master ont été le point de départ de cette approche.

Remerciements

J’ai mené ces recherches lors d’un stage chez Jinki Ittai Co., Ltd., dans le cadre du master en Design & Engineering au Politecnico di Milano. Je remercie ces deux établissements d’avoir rendu ce travail possible.

Takafumi Horiuchi et Katsuya Kanaoka. « Gaze-based Unintended Contact Prevention for Human-Operated Robots ». The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Programme du congrès