Takafumi Horiuchi

Thèse de master sur la conception de l'interaction entre les humains et les robots

juillet 2021

Résumé

Dans le cas des grands robots pilotés par des humains, il est difficile de distinguer uniquement à l'aide des capteurs environnants les mouvements dirigés vers la cible de travail de ceux dirigés vers des obstacles négligés. C'est pourquoi nous avons conçu un système d'évitement des collisions qui utilise la zone que l'opérateur observe comme indice de sa volonté de « pouvoir toucher », et qui ralentit ou arrête le bras lorsqu'il s'approche d'une cible non observée.

Il n'est pas nécessaire d'enregistrer à l'avance un objet comme « manipulable » ou « protégé ». Cette distinction est mise à jour en fonction du regard de l'opérateur pendant le travail. Il a été implémenté sur un robot humanoïde de 1,9 mètre de hauteur, et lors de cinq essais de démonstration, il a été confirmé que le comportement défini se produisait. Le mouvement réel peut être vu à Vidéo de démonstration.

En tant que mémoire de maîtrise en Design & Engineering à l'Université polytechnique de Milan, j'ai travaillé sur ce projet lors d'un stage de recherche chez Human-Machine Integration Co., Ltd., et je l'ai présenté à 39e Conférence académique de la Société japonaise de robotique (RSJ2021).

  1. Diapositive de titre. Prévention des collisions basée sur la conscience pour la manipulation robotique contrôlée par l'homme, Master en Design et Ingénierie à l'Université de Milan, années 2020–2021.
  2. Contexte. Le thème de la thèse a été décidé lors d'un stage de recherche chez Jinki Ittai Co., Ltd., une entreprise développant des machines humanoïdes et les contrôlant selon le système maître-esclave.
  3. Comparaison entre les robots autonomes et les robots télécommandés par l'homme. Les premiers travaillent efficacement dans un espace conçu à l'intérieur d'une clôture, tandis que les seconds travaillent aux côtés des humains dans des espaces incertains.
  4. Statistiques de l'Europe, des États-Unis et du Japon. Elles montrent que le contact avec des objets en mouvement représente une proportion considérable des accidents sur les chantiers de construction.
  5. Recherches antérieures sur l'évitement des collisions. Une peau sensorielle recouvrant le manipulateur et un capteur de profondeur reproduisant virtuellement l'environnement environnant.
  6. Problème actuel. Le système existant exige de pré-définir l'objet comme « protégé » ou « manipulable » à l'aide de l'étiquette portée, de l'analyse d'image et du classificateur appris.
  7. Proposition. Les systèmes traditionnels n'utilisent que des informations de capteurs passives, mais les robots contrôlés par l'homme ont déjà une personne dans la boucle de contrôle, et il est possible d'utiliser son regard comme paramètre actif.
  8. Règles de classification. Les objets situés à l'intérieur du champ visuel central de l'opérateur sont manipulables, tandis que les objets situés à l'extérieur sont des objets à protéger.
  9. Aperçu du prototype. Combinaison d'un robot réel et d'un espace de calcul virtuel, trois éléments technologiques suivent.
  10. Élément ①. Représenter le champ visuel central comme un cône de 60° × 55° et approximativement orienter celui-ci dans la direction avant du casque VR.
  11. Élément ②. Le LIDAR placé sur la tête du robot scanne les environs sous forme de nuage de points, chacun étant représenté comme un voxel possédant un collider.
  12. Élément ③. Le jumeau numérique du robot bouge exactement comme la machine réelle, et lorsqu'un de ses bras touche un voxel en dehors du champ de vision, un avertissement de proximité s'affiche.
  13. Démonstration de preuve de concept. Image fixe d'une vidéo d'un robot tendant la main vers une balle sur un poteau, et affichage voxel dans un espace virtuel.
  14. Les défis à venir. Détection des personnes dans l'espace de travail, vérification d'autres méthodes pour mesurer la direction du regard, puis évaluation quantitative sur le terrain.
  15. Résumé de la conclusion. Thème de recherche, valeur de la méthode, nouveauté, et comment le système a été vérifié.

Problème — Les configurations préalables pour la sécurité restreignent le terrain.

Les robots télécommandés sont nécessaires dans les endroits qui ne sont pas adaptés aux robots autonomes. Comme sur les chantiers de construction ou les sites sinistrés, la disposition des personnes et des équipements change, et ce à quoi on peut toucher varie selon la tâche. Pour utiliser la grande force des machines, il faut pouvoir toucher les objets nécessaires tout en évitant tout contact involontaire.

Pour l'évitement des collisions existant, il y a des méthodes comme recouvrir le robot de capteurs de proximité ou reproduire son environnement dans un espace virtuel à l'aide de capteurs de profondeur. Cependant, dans les deux cas, il est nécessaire de classer au préalable les objets en « manipulables » ou « à protéger ». Si rien n'est enregistré, le robot ne peut toucher à rien pour des raisons de sécurité, et pour tout enregistrer, il faut des réglages et une calibration spécifique à chaque site. Ce fardeau de préparation réduit la praticité des robots utilisés dans différents lieux.

Idée — transformer le regard en une « condition pouvant être touchée »

Dans la boucle de contrôle des robots opérés par des humains, il y a déjà une personne qui évalue la situation. Si l'on pouvait transmettre à la machine là où la personne porte son attention, on a pensé qu'il serait possible d'estimer l'intention de contact pendant le travail, au lieu de préenregistrer les cibles.

Ainsi, on utilise le champ visuel central de l'opérateur comme frontière. Les objets situés à l'intérieur du champ visuel sont considérés comme des « objets manipulables » que l'opérateur peut saisir. Les objets situés à l'extérieur sont considérés comme des « objets à protéger » qui pourraient être négligés. Les personnes sont toujours considérées comme des objets à protéger, quel que soit l'endroit où se trouve leur regard.

Ce mécanisme n'envoie pas d'ordres au robot par le regard. C'est un mécanisme qui convertit l'état cognitif de l'opérateur en conditions permettant au robot de bouger.

Vue de dessus. Devant le robot, le champ visuel central de l'opérateur est représenté sous forme de cône. L'objet A à l'intérieur du cône est indiqué par un cercle blanc, les objets B, C et D à l'extérieur par des carrés foncés, et deux personnes se tiennent à l'intérieur et à l'extérieur du cône.
L'objet A situé à l'intérieur du champ visuel central de l'opérateur peut être manipulé, tandis que les objets B, C et D situés à l'extérieur sont des objets à protéger. Une personne est protégée où qu'elle se trouve.

Conception de l'interaction

Le système ne transforme pas la position du regard en un simple interrupteur marche/arrêt. Lorsque l'on s'approche d'un objet que l'on ne regarde pas, le bras ralentit progressivement en fonction de la distance et s'arrête avant tout contact. Après l'arrêt, lorsque l'opérateur dirige son regard vers l'objet, les limitations sont également levées progressivement. On a évité les comportements de type arrêt soudain ou démarrage brusque afin que l'opérateur puisse prévoir les changements.

D'autre part, même si le regard se détourne temporairement de l'objet déjà touché, le travail en cours ne s'arrête pas. Si la préhension ou l'opération était interrompue rien qu'en détournant le regard, cela deviendrait plutôt instable. Seule l'approche envers une personne est traitée différemment, et des restrictions sont appliquées que l'opérateur regarde ou non.

L'objectif n'était pas de ralentir uniformément le travail pour des raisons de sécurité. Il s'agit de maintenir les capacités du robot dans la mesure où l'opérateur les maîtrise, et de ne protéger que les zones qui échappent à son attention, afin de concilier sécurité et productivité.

Un organigramme qui commence à l'état de mouvement libre. Il se divise selon que l'objet est proche, s'il s'agit d'une personne, si le manipulateur est orienté dans la direction de la personne, ou si l'objet se trouve dans la zone de regard, menant à une opération précise, un arrêt progressif, ou un verrouillage.
Le seul nœud qui lit les paramètres actifs de l'opérateur dans le processus de jugement est « si la cible se trouve dans la zone de fixation ». Toutes les autres branches fonctionnent avec des informations sensorielles passives.

Scénarios d'utilisation envisagés

Les cibles étaient des endroits où de grandes forces sont manipulées à proximité des personnes, comme les chantiers de construction ou les sites de catastrophe. Dans de tels lieux, il est difficile de séparer complètement les environs par une clôture ou d'enregistrer à l'avance tous les objets concernés. Un système qui nécessite de réinitialiser les paramètres de sécurité à chaque changement de disposition fait perdre de l'urgence et de la polyvalence.

La distinction basée sur le regard utilise la perception de la situation de la personne à ce moment-là, au lieu d'un modèle environnemental fixe. Cela pourrait permettre de réduire la charge de préparation sur le terrain tout en limitant l'approche des objets négligés. Cependant, cette étude n'a confirmé que le fonctionnement du système tel que défini, et son effet sur la réduction des accidents n'a pas été évalué sur le terrain.

Prototype et évaluation préliminaire

implémentation

Le système a été implémenté sur un robot mesurant 1,9 mètre de hauteur, pesant 600 kg, avec 30 degrés de liberté, et ayant une forme similaire au haut du corps humain. L'opérateur porte un casque VR et contrôle le robot en synchronisant son champ de vision et l'orientation de sa tête avec ses mouvements.

Le LIDAR sur le robot a acquis l'espace de travail sous forme de nuage de points, et dans l'espace virtuel, il a été représenté comme des voxels avec détection de collision. Un jumeau numérique synchronisant cet espace avec l'équipement réel fonctionne. Le champ de vision central de l'opérateur a été représenté comme un cône de 60°×55°, et l'orientation a été approximée par la direction avant du casque. Lorsque le bras s'approche de voxels hors du champ de vision, un avertissement est envoyé à l'équipement réel pour réduire la vitesse et s'arrêter.

Scène d'un espace virtuel. Des voxels jaunes reconstituent l'environnement, et une zone rouge semi-transparente marquée « champ de vision central de l'opérateur » le traverse, tandis qu'un robot jumeau numérique blanc tend la main vers des obstacles situés en dehors de cette zone.
Un espace virtuel contenant les nuages de points scannés et le robot. Ici, le robot touche un obstacle situé en dehors du champ visuel central de l'opérateur.

Évaluation préliminaire

Nous avons essayé une série d'opérations consistant à approcher le bras de la cible tout en détournant le regard, puis à revenir le regarder après l'arrêt pour lever la restriction, et enfin à saisir la balle. Sur cinq essais, quatre ont été réalisés par un opérateur expérimenté et un par un opérateur lors de son deuxième embarquement. Dans tous les essais, le bras s'est arrêté lorsque le regard était détourné et l'opération a pu se poursuivre lorsque le regard était dirigé vers la cible. Il ne s'agit pas d'une expérience utilisateur visant à mesurer l'efficacité, mais d'une évaluation préliminaire pour vérifier si le comportement conçu fonctionne sur le système réel.

Photo d'un robot. L'opérateur est embarqué sur le cadre supérieur et regarde sur le côté. La main du robot s'arrête devant la balle bleue et jaune sur le poteau jaune, et la distance restante est indiquée.
Le regard de l'opérateur est détourné, et le bras s'arrête en gardant une distance par rapport à l'objet.
Photo prise d'un angle inférieur. L'opérateur regarde vers le poteau, et la main robotique saisit la balle bleue et jaune sur le poteau jaune.
Tant que le regard est dirigé vers l'objet, le même mouvement peut se dérouler sans aucune restriction.

Limites et prochaine vérification

Le prototype n'implémente pas la détection des personnes. Une règle a été établie pour protéger les personnes en permanence, indépendamment de leur regard, mais dans un environnement réel, un mécanisme pour identifier les personnes de manière fiable sera nécessaire. De plus, comme la direction frontale du casque a été utilisée comme valeur substitutive plutôt que le regard lui-même, il ne sera pas possible de détecter uniquement les mouvements des yeux.

En utilisant une caméra fixe ou des lunettes intelligentes avec suivi du regard, les conditions du dispositif porté et de la précision de l'estimation changent. Lorsqu'on déploie cela sur un robot mobile, un traitement de nuages de points capable de suivre les changements de position du robot lui-même devient également nécessaire.

L'évaluation se limite à une vérification qualitative basée sur cinq essais de démonstration. Pour juger de la sécurité, de la vitesse de travail et de la charge pour l'opérateur, il est nécessaire de réaliser une comparaison quantitative avec la méthode conventionnelle dans des conditions de travail réelles.

Les perspectives obtenues à partir de cette recherche

Dans cette recherche, nous n'avons pas utilisé le regard humain comme dispositif d'entrée, mais l'avons traité comme une condition permettant l'action de la machine. Le comportement du robot envers le même objet change en fonction de ce que la personne comprend à ce moment-là. Ce qui a été conçu n'est pas des actions individuelles, mais la relation entre l'état cognitif de la personne et les autorisations de la machine.

Cette façon de penser est également liée à lMa philosophie de design actuel. Comprendre l'état des personnes, le transformer en contraintes que le système doit respecter, et permettre à l'intérieur de ces contraintes aux machines et à l'IA de démontrer leurs capacités. La recherche de master en a été le point de départ.

Remerciements

Cette recherche a été menée dans le cadre du programme de master en Design & Engineering du Politecnico di Milano, durant un stage chez Human-Machine Integration Inc. Je suis profondément reconnaissant aux deux organisations qui ont rendu cette opportunité possible.

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Conference programme