Tesis de máster sobre el diseño de la interacción entre personas y robots

por Takafumi Horiuchi

julio de 2021

Resumen general

Quien maneja un robot grande solo puede atender a una parte del espacio de trabajo a la vez. Esta investigación preguntó qué cambia si a la máquina se le dice dónde está esa atención en cada momento. Diseñé un sistema de prevención de colisiones en el que la mirada del operador decide cómo puede comportarse el robot: lo que cae dentro de su campo visual central puede manipularse libremente, mientras que lo que queda fuera está protegido: el brazo frena y se detiene antes de llegar. No hace falta etiquetar nada de antemano. La distinción se traza en el momento del trabajo, desde donde el operador está mirando. El vídeo de la demostración está aquí (en YouTube).

El trabajo fue mi tesis de máster en Design & Engineering en el Politecnico di Milano, realizado durante una estancia de investigación en Man-Machine Synergy Effectors, Inc. en Japón, y se presentó en la 39.ª Conferencia Anual de la Robotics Society of Japan (RSJ2021).

Es también donde mi filosofía de diseño empieza a tomar su forma actual. Lo que este sistema lee no es una orden, sino un estado cognitivo —si algo ha sido advertido siquiera— y convierte ese estado en las condiciones bajo las cuales la máquina puede actuar. Lo que se diseña no es el movimiento del robot, sino la relación: lo que la máquina puede hacer se sigue de lo que la persona entiende en ese momento. Diseñar esa relación en lugar de cada comportamiento por separado es el mismo gesto que hago ahora que quien actúa es una IA generativa y no un brazo robótico.

  1. Diapositiva de título: Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, Politecnico di Milano, Laurea Magistrale in Design & Engineering, curso 2020-2021.
  2. Contexto: el tema de la tesis se decidió durante una estancia de investigación en Man-Machine Synergy Effectors, Inc., empresa que desarrolla maquinaria pesada antropomórfica manejada mediante un sistema maestro-esclavo.
  3. Comparación entre robots autónomos y robots manejados por personas: los primeros trabajan con eficiencia en espacios diseñados y vallados; los segundos, en espacios inciertos junto a personas.
  4. Estadísticas de Europa, Estados Unidos y Japón que muestran que ser golpeado por objetos en movimiento representa una parte considerable de los accidentes en obra.
  5. Investigación previa sobre prevención de colisiones: piel sensible que recubre el manipulador y sensores de profundidad que construyen una representación virtual del entorno.
  6. El problema actual: los sistemas existentes exigen que los objetos se definan de antemano como protegidos o manipulables, mediante etiquetas portadas, análisis de imagen o clasificadores entrenados.
  7. La propuesta: los sistemas convencionales usan solo datos pasivos de sensores, mientras que un robot manejado por una persona ya tiene a alguien dentro de su lazo de control, cuya mirada puede servir de parámetro activo.
  8. Regla de clasificación: los objetos dentro del campo visual central del operador son manipulables; los que quedan fuera están protegidos.
  9. Visión general del prototipo: un robot físico acoplado a un espacio de cálculo virtual, con tres componentes técnicos a continuación.
  10. Componente uno: el campo visual central representado como un cono de 60 por 55 grados, cuya dirección se aproxima por la dirección frontal del visor de realidad virtual.
  11. Componente dos: un LIDAR montado en la cabeza del robot escanea el entorno en nubes de puntos, representadas como vóxeles que llevan cada uno su propio colisionador.
  12. Componente tres: un gemelo digital del robot se mueve con el físico, y las advertencias de proximidad se disparan cuando su brazo alcanza vóxeles situados fuera del campo visual.
  13. Demostración de prueba de concepto: un fotograma del robot alcanzando una pelota sobre un poste, con la vista virtual de vóxeles insertada.
  14. Trabajo futuro: detectar personas en el espacio de trabajo, probar otras formas de medir la dirección de la mirada y evaluar el sistema cuantitativamente sobre el terreno.
  15. Conclusión que resume el tema de la investigación, el valor del método, su novedad y cómo se verificó el sistema.
Diapositivas de la defensa de mi tesis. Desplaza la tira lateralmente; cualquier diapositiva se abre a tamaño completo.

Síntesis

Los robots manejados por personas valen precisamente allí donde los autónomos no: en espacios de trabajo que nunca se diseñaron para la tarea que se está haciendo, junto a personas y equipos que no deben ser golpeados. Los sistemas de prevención de colisiones existentes afrontan esos espacios haciendo que cada objeto se declare de antemano como objetivo de manipulación o como algo que proteger: un coste de configuración que se vuelve inasumible para una máquina pensada para llevarse de una obra a otra.

Esta investigación propuso hacer esa distinción en tiempo de ejecución, a partir de la mirada del operador. Los objetos dentro de su campo visual central se tratan como manipulables; los de fuera, como protegidos; y las personas, como protegidas en toda circunstancia. El método introduce un parámetro activo —uno humano— en un lazo de control construido hasta entonces enteramente con datos pasivos de sensores. El prototipo se implementó en JINKI type Zero, un robot antropomórfico de maquinaria pesada de 1,9 m, y se comportó según lo especificado en cinco pruebas de demostración.

1. Introducción

Un robot manejado por una persona combina dos cosas difíciles de obtener juntas: la potencia y la precisión de una máquina, y el juicio situacional de un ser humano. Los robots plenamente autónomos aún no aportan lo segundo. Y mientras los robots industriales trabajan en celdas diseñadas tras una valla, los manejados por personas deben trabajar en lugares dispuestos para otra cosa: junto a los operarios de la obra, entre equipos delicados, en instalaciones nucleares y en construcción. Garantizar que el robot no dañe lo que lo rodea forma parte, por tanto, de lo que lo hace utilizable.

Las defensas establecidas contra el contacto accidental son la piel sensible, en la que sensores de proximidad cubren cada parte crítica del manipulador, y la detección de profundidad, en la que el entorno se reconstruye como nube de puntos y las distancias se calculan en ese espacio virtual. Ambas funcionan. Ambas, sin embargo, presuponen que los objetos alrededor del robot ya han sido separados en los que puede tocar y los que no: sin esa separación, una máquina a la que se prohíbe chocar con nada tampoco puede manipular nada. Para una herramienta de uso general que se transporta entre obras y se deja entre lo que allí haya, la configuración y la calibración que esto exige cuestan más que la seguridad que compran.

La vía por la que entra esta investigación es que un robot manejado por una persona ya tiene a alguien dentro de su lazo de control. Los estudios sobre el error operativo señalan la conciencia situacional —una comprensión precisa de lo que ocurre alrededor— como el factor decisivo, y se sabe que esa conciencia se correlaciona con fuerza con la dirección de la mirada. La prevención de colisiones se había construido convencionalmente solo con información pasiva, es decir, datos leídos de sensores. Añadir un único parámetro activo, hacia dónde mira el operador, da al sistema un indicio de si el contacto con un objeto dado sería intencionado o no.

Diagrama visto desde arriba: un cono marca el campo visual central del operador delante del robot. El objeto A, dentro del cono, se dibuja como un círculo blanco; los objetos B, C y D, fuera de él, como cuadrados oscuros, y dos figuras humanas están una dentro y otra fuera del cono.
El objeto A, dentro del campo visual central del operador, es manipulable; los objetos B, C y D, fuera de él, están protegidos. Las personas están protegidas estén donde estén.

2. Comportamiento del sistema

Un objeto que el operador tiene intención de tocar se llama objeto manipulable y puede manejarse sin restricción. Un objeto hacia el que no tiene tal intención es un objeto protegido y no puede tocarse. Cuál de los dos es un objeto en un instante dado se sigue de su posición respecto al campo visual central del operador: dentro, el objeto está bajo suficiente conciencia del operador como para contar como intencionado; fuera, no.

Cinco reglas rigen el comportamiento que se deriva. El manipulador puede interferir libremente con los objetos dentro del campo visual central. No puede interferir con los de fuera, y se detiene gradualmente al acercarse a uno. Una vez detenido, se libera gradualmente conforme el campo visual del operador se desplaza sobre él. No se aplica ninguna restricción si el campo visual abandona un objeto con el que el manipulador ya está en contacto, de modo que un trabajo en curso no se interrumpa por mirar a otro lado. Y el manipulador no puede interferir con un ser humano, esté donde esté. Cuando un robot tiene varios manipuladores, las reglas se aplican a cada uno por separado.

Lo que el operador obtiene de esto es poder trabajar a pleno ritmo sobre lo que está mirando, confiando en que la máquina no golpeará el equipo que no está mirando. La seguridad de las personas en la obra es incondicional y no depende en absoluto de las intenciones del operador.

Diagrama de flujo que arranca en la manipulación en movimiento libre y se ramifica según si hay un objeto cerca, si es una persona, si el manipulador avanza hacia ella y si el objeto está en la zona de foco, conduciendo a manipulación de precisión, detención gradual o bloqueo.
Un solo nodo del proceso de decisión —«el objeto está en la zona de foco»— lee el parámetro activo del operador. Todas las demás ramas funcionan con datos pasivos de sensores.

3. Beneficios esperados

La maquinaria pesada ofrece la imagen existente más próxima a este tipo de trabajo: grandes fuerzas aplicadas en lugares no estructurados junto a personas. Los accidentes por colisión están entre los principales riesgos en las obras de todo el mundo, y la falta de atención se señala una y otra vez como causa. De los 362.600 accidentes registrados en obras europeas en 2018, el 19,6 % consistieron en ser golpeado por un objeto en movimiento; una investigación sobre incidentes con grúas atribuyó el 19 % de ellos a descuidos del operador.

Como la atención y la dirección de la mirada están fuertemente correlacionadas, esas dos proporciones pueden combinarse en una estimación aproximada del terreno que un sistema basado en la mirada podría cubrir: del orden de trece mil accidentes al año en Europa. La cifra es una inferencia a partir de estadísticas publicadas, no un resultado medido, y se ofrece como indicación de magnitud.

4. Verificación del sistema

Se construyó y se puso en marcha un sistema de demostración como prueba de concepto.

4.1 Implementación

El sistema se implementó en JINKI type Zero, un robot desarrollado en Man-Machine Synergy Effectors, Inc. Tiene el torso de un ser humano, mide 1,9 m, pesa 600 kg y cuenta con treinta grados de libertad. Operador y robot comparten emplazamiento y están acoplados como un sistema maestro-esclavo: un visor de realidad virtual sincroniza la vista y el giro de cabeza del operador con los del robot, lo que da la sensación de formar un solo cuerpo con la máquina más que de conducirla.

Un LIDAR montado en el robot escanea el lugar de trabajo como nubes de puntos, representadas en un espacio virtual como vóxeles, cada uno con su propio colisionador. Un gemelo digital del robot se mueve en ese mismo espacio; cuando su brazo se solapa con vóxeles, el sistema emite una advertencia de proximidad cuyo efecto depende de la dirección del campo visual del operador. Ese campo se modela como un cono de 60° × 55° (H×V) —cercano a la región en la que las personas perciben símbolos, color y profundidad— y su dirección se aproxima por la dirección frontal del visor. La advertencia se transmite al robot físico y da forma a su movimiento según las reglas anteriores.

Una escena virtual: vóxeles amarillos reconstruyen el entorno, un volumen rojo translúcido rotulado «campo visual central del operador» los atraviesa, y el gemelo digital blanco del robot alcanza un obstáculo situado fuera de ese volumen.
El espacio virtual, con el robot y la nube de puntos escaneada. Aquí el robot alcanza obstáculos situados fuera del campo visual central del operador.

4.2 Experimento de demostración

Una evaluación preliminar comprobó si la implementación hacía lo especificado. Se pidió al operador que moviera el brazo hacia un poste mirando a otro lado, confirmara que el sistema había emitido una advertencia y detenido el brazo, mirara después el brazo detenido para liberar la restricción y, por último, tomara una pelota de lo alto del poste sin apartar la vista. Se hicieron cinco pruebas: las tres primeras y la quinta con un operador experimentado, la cuarta con alguien que pilotaba el robot por segunda vez. Todas se grabaron. En las cinco, el sistema se comportó como define la sección 2. La demostración puede verse en el vídeo del sistema en funcionamiento.

Fotografía del robot con el operador suspendido en una estructura por encima de él, mirando hacia un lado. La mano del robot se ha detenido antes de una pelota azul y amarilla sobre un poste amarillo, con la distancia restante señalada.
La mirada del operador está apartada y el brazo se detiene a cierta distancia del objeto.
Fotografía desde un ángulo más bajo: el operador mira hacia la pelota y la mano del robot agarra la pelota azul y amarilla sobre el poste amarillo.
Con la mirada dirigida al objeto, el mismo movimiento se completa sin restricción.

5. Límites y trabajo futuro

La detección de personas no se implementó en el prototipo. Lo que necesitaba validarse era la relación entre la mirada del operador y la manipulabilidad de los objetos, y la regla que protege a las personas es incondicional y no depende de ella. Añadir esa detección haría el sistema más robusto y abriría además aplicaciones más allá de la seguridad: resaltar en la vista del operador a quienes están cerca del robot, por ejemplo, o avisar antes de que se alcance un límite de proximidad.

La mirada se aproximó por la dirección frontal del visor. Se eligió por su carácter directo, que importa en un sistema maestro-esclavo, pero otros instrumentos —cámaras fijas, rastreadores oculares en gafas inteligentes— la estimarían de otro modo y podrían rebajar la barrera para introducir un sistema así en sectores no acostumbrados a llevar nada puesto. Aplicar el método a robots móviles plantea un problema más: JINKI type Zero está fijo mientras se encuentra en desarrollo, y una máquina que cambia de posición durante la operación necesita un procesamiento de nubes de puntos lo bastante eficiente como para seguirle el ritmo.

La evaluación en sí sigue siendo cualitativa. Un estudio cuantitativo de campo es la forma adecuada de juzgar el sistema, y espera a que el robot alcance una fase práctica.

6. Conclusión

La investigación propuso un sistema de prevención de colisiones para manipuladores robóticos manejados por personas que emplea la mirada del operador para evitar el contacto no intencionado con personas y equipos. Bajo la premisa de que la conciencia y la dirección de la mirada están fuertemente correlacionadas, los objetos dentro del campo visual central del operador se trataron como manipulables y los de fuera como protegidos. Introducir un factor humano en el lazo de control permitió trazar esa línea en tiempo de ejecución, sin nada de la preparación que exigen los métodos existentes.

El sistema se verificó en un robot de maquinaria pesada de uso general y se comportó según lo definido. El mismo principio debería trasladarse a cualquier situación en la que una persona ya forme parte del lazo por el que se opera una máquina.

Agradecimientos

Este trabajo se realizó durante una estancia en Man-Machine Synergy Effectors, Inc., como parte de los requisitos del máster en Design & Engineering del Politecnico di Milano. Agradezco a ambas organizaciones haber hecho posible esta oportunidad.

Takafumi Horiuchi y Katsuya Kanaoka. «Gaze-based Unintended Contact Prevention for Human-Operated Robots». 39.ª Conferencia Anual de la Robotics Society of Japan, 2021, artículo 2J2-07. Programa del congreso.