Takafumi Horiuchi

Tesis de máster sobre diseño de interacción entre personas y robots

Visión general

En los grandes robots operados por personas, los sensores del entorno por sí solos pueden tener dificultades para distinguir un acercamiento intencionado al objeto de trabajo de un acercamiento involuntario a un obstáculo inadvertido. Diseñé un sistema de prevención de colisiones que utiliza el campo de visión estimado del operador como indicio de la intención de contacto y ralentiza o detiene el brazo cuando se aproxima a objetos situados fuera de ese campo.

No es necesario clasificar previamente los objetos como «manipulables» o «protegidos»; la clasificación se actualiza conforme el operador mira a su alrededor. En el prototipo utilicé la orientación del visor como aproximación a la dirección de la mirada. Implementé el sistema en un robot humanoide de trabajo pesado de 1,9 metros de altura y confirmé el comportamiento previsto en cinco pruebas de demostración. El vídeo de demostración muestra el sistema en funcionamiento.

Realicé esta investigación durante unas prácticas en Jinki Ittai Co., Ltd., para mi tesis de máster en Design & Engineering en el Politecnico di Milano. La presenté en la 39.ª Conferencia Anual de la Robotics Society of Japan (RSJ2021).


  1. Diapositiva de título. Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, máster en Design & Engineering del Politecnico di Milano, 2020–2021.
  2. Contexto: el tema de tesis surgió durante unas prácticas de investigación en Jinki Ittai Co., Ltd., que desarrolla robots humanoides de trabajo pesado operados mediante un sistema de control maestro-esclavo.
  3. Comparación entre robots autónomos y operados por personas: los autónomos trabajan eficientemente en entornos vallados y preparados para ellos; los operados por personas trabajan junto a otras personas en entornos menos previsibles.
  4. Estadísticas de Europa, Estados Unidos y Japón indican que el contacto con objetos en movimiento representa una proporción importante de los accidentes en obras.
  5. Investigaciones previas sobre prevención de colisiones: una piel con sensores táctiles alrededor de un manipulador y un sensor de profundidad para reconstruir virtualmente el entorno.
  6. Problema: los sistemas existentes clasifican de antemano los objetos como «protegidos» o «manipulables», mediante etiquetas adheridas, análisis de imágenes o clasificadores entrenados.
  7. Propuesta: los sistemas anteriores se basan únicamente en la información del entorno captada por los sensores. Un robot operado por una persona ya incluye a alguien en su bucle de control, cuya mirada puede utilizarse como parámetro activo.
  8. Reglas de clasificación: los objetos dentro del campo de visión central del operador son manipulables; los que quedan fuera están protegidos.
  9. Visión general del prototipo: un robot físico se conecta a un entorno virtual. Las siguientes diapositivas explican sus tres componentes técnicos.
  10. Componente 1: representar el campo de visión central mediante un volumen de visión de 60° × 55° y aproximar su orientación a partir de la dirección frontal del visor de realidad virtual.
  11. Componente 2: un sensor lidar montado en la cabeza capta una nube de puntos del entorno, representada mediante vóxeles con detección de colisiones.
  12. Componente 3: el gemelo digital sigue el movimiento del robot físico; se activan avisos al aproximarse a vóxeles situados fuera de la zona de visión.
  13. Demostración de la prueba de concepto: una imagen muestra al robot alcanzando una pelota sobre un poste, junto a la representación de su entorno mediante vóxeles.
  14. Próximos pasos: detectar personas en el espacio de trabajo, investigar otras formas de estimar la dirección de la mirada y realizar evaluaciones cuantitativas sobre el terreno.
  15. Conclusión: el tema de investigación, la aportación y novedad del método y la evaluación del prototipo.

Problema: la preparación de la seguridad puede limitar el trabajo sobre el terreno

Se necesitan robots operados por personas en entornos que no han sido preparados para el funcionamiento autónomo. En las obras y las zonas de desastre cambian las posiciones de las personas y los equipos, así como los objetos que el robot debe tocar. Para aprovechar la fuerza de la máquina, los operadores deben poder trabajar con esos objetos evitando el contacto involuntario.

Los enfoques existentes para evitar colisiones incluyen cubrir el robot con sensores de proximidad y reconstruir su entorno en un espacio virtual mediante sensores de profundidad. En los enfoques examinados aquí, los objetos debían clasificarse previamente como «manipulables» o «protegidos». Sin esa clasificación, el robot evitaría todo contacto; clasificar cada objeto requería una configuración y calibración específicas de cada lugar. Esta preparación hacía menos práctico utilizar los robots en ubicaciones distintas.

Idea: utilizar la mirada para definir cuándo se permite el contacto

Un robot operado por una persona ya tiene a alguien evaluando la situación dentro de su bucle de control. Me pregunté si dar a la máquina un indicio de la atención de esa persona podría ayudarla a inferir el contacto intencionado durante una tarea, sin necesidad de registrar previamente los objetos.

Utilicé el campo de visión central del operador como límite. Los objetos situados dentro se clasifican como «manipulables», suponiendo que el operador es consciente de su presencia. Los que quedan fuera se clasifican como «protegidos», porque podrían haber pasado inadvertidos. El diseño especifica que las personas deben estar siempre protegidas, independientemente de la dirección de la mirada.

El sistema no utiliza la mirada para emitir órdenes directamente. Traduce la zona en la que se supone que el operador es consciente de los objetos en condiciones para el movimiento del robot.

Diagrama en planta del robot y el campo de visión central del operador. El objetivo A, dentro de la zona de visión estimada, se muestra en blanco. Los objetivos B, C y D, situados fuera, se muestran como cuadrados oscuros. Hay una persona dentro de la zona y otra fuera.
Según las reglas propuestas, el objetivo A es manipulable porque está dentro del campo de visión central del operador. Los objetivos B, C y D están fuera y quedan protegidos. Las personas siempre se clasifican como protegidas, independientemente de su posición o de la mirada del operador. Sin embargo, la detección de personas no se implementó en este prototipo.

Etiquetas de la figura original: «operator’s central field of view»: campo de visión central del operador; «Robot»: robot; «Manipulable object»: objeto manipulable, indicado en blanco; «Protected object»: objeto protegido, indicado en gris oscuro. A, B, C y D identifican los cuatro objetivos. Se conserva la imagen original en inglés.

Diseño de interacción

El sistema trata la mirada como algo más que un interruptor. Cuando el brazo se aproxima a un objeto situado fuera del campo de visión del operador, se ralentiza progresivamente según la distancia y se detiene antes del contacto. Mirar hacia el objeto libera después la restricción de forma gradual. Diseñé estas transiciones para evitar paradas y arranques bruscos y facilitar la anticipación de los cambios.

Apartar brevemente la mirada de un objeto que ya está en contacto con el robot no interrumpe la tarea. Detener una sujeción o manipulación solo porque el operador mira hacia otro lado podría hacer la operación menos estable. El diseño trata por separado los acercamientos a personas: deberían seguir restringidos con independencia de la mirada del operador. La detección de personas no se implementó en este prototipo.

El objetivo era conservar las capacidades del robot allí donde el operador era consciente del entorno y restringir el movimiento donde su atención pudiera no llegar. Se buscaba equilibrar la seguridad y la facilidad de manejo sin ralentizar todas las acciones.

Diagrama de flujo de control que comienza con movimiento sin restricciones. Las decisiones comprueban si hay un objeto cerca, si es una persona, si el manipulador se mueve hacia ella y si el objeto está dentro de la zona de visión. Estas decisiones conducen a movimiento de precisión, parada gradual o bloqueo.
Solo una decisión del diagrama utiliza una entrada activa del operador: si el objetivo está dentro de la zona de visión. Todas las demás bifurcaciones se basan en la información captada por los sensores, sin una entrada activa del operador.

Lectura del diagrama original: se conserva el documento histórico en inglés. «yes» significa sí y «no» significa no. Sus decisiones y estados son:

  • Movimiento sin restricciones («manipulation in free motion»). La decisión «object is nearby» pregunta si hay un objeto cerca: si no, vuelve al movimiento sin restricciones; si lo hay, comprueba si es una persona («object is human»).
  • Si el objeto no es una persona, se comprueba si está dentro del campo de visión («object is in field of focus»). Si está dentro, se pasa al movimiento de precisión («manipulation in precise scale»), cuya flecha vuelve al movimiento sin restricciones. Si está fuera, se pasa a la parada gradual («manipulation gradually halted»).
  • En la rama de persona, «manipulator is in approaching direction to human» pregunta si el manipulador se mueve hacia ella. La flecha «sí» lleva a la parada gradual; la flecha «no», al movimiento de precisión.
  • La parada gradual lleva al estado bloqueado («manipulation is locked»). En la imagen original, una flecha devuelve este estado a la decisión sobre el campo de visión.

Estas conexiones describen lo que muestra el diagrama histórico. El criterio de diseño expuesto en el texto es proteger a las personas con independencia de la mirada; la detección de personas no se implementó en el prototipo. El diagrama no demuestra la implementación ni la validación de esa protección.

Aplicaciones previstas

Los entornos previstos eran obras y zonas de desastre, donde las máquinas ejercen grandes fuerzas cerca de personas. Estos espacios son difíciles de vallar por completo y registrar previamente cada objeto resulta poco práctico. Reconfigurar la seguridad cada vez que cambia la disposición reduciría la capacidad de adaptación del sistema y retrasaría su despliegue en situaciones urgentes.

La clasificación basada en la mirada utiliza la conciencia del entorno que tiene el operador en cada momento, en lugar de una clasificación fija. Podría reducir la preparación del lugar y, al mismo tiempo, restringir los acercamientos a objetos inadvertidos. Sin embargo, este estudio solo confirmó que el sistema se comportaba según lo especificado; no evaluó si el enfoque reducía los accidentes en el uso real.

Prototipo y evaluación preliminar

Implementación

Implementé el sistema en un robot con forma de torso humano, de 1,9 metros de altura, 600 kg de peso y 30 grados de libertad. El operador lleva un visor de realidad virtual que sincroniza la vista y la orientación de la cabeza del robot con sus propios movimientos.

Un sensor lidar del robot captaba el espacio de trabajo como una nube de puntos, representada en el entorno virtual mediante vóxeles con detección de colisiones. Un gemelo digital sincronizaba el robot virtual con la máquina física. Representé el campo de visión central del operador como un volumen de visión de 60° × 55°, aproximando su orientación mediante la dirección frontal del visor. Cuando el brazo se acercaba a un vóxel fuera de esa zona, el sistema enviaba un aviso al robot físico para ralentizar o detener su movimiento.

Espacio de trabajo virtual reconstruido con vóxeles amarillos. Una región roja translúcida delimita el campo de visión central del operador y el gemelo digital blanco se extiende hacia un obstáculo situado fuera de esa región.
El entorno virtual contiene el gemelo digital del robot y la nube de puntos escaneada. La escena muestra obstáculos fuera del campo de visión central estimado del operador.

Evaluación preliminar

Cada prueba siguió la misma secuencia: acercarse a un objetivo fuera del campo de visión estimado del operador, girar el visor hacia él después de que se detuviera el brazo para liberar la restricción y, después, agarrar la pelota. Un operador experimentado realizó cuatro de las cinco pruebas; la restante la realizó un operador que utilizaba la cabina por segunda vez. En todas las pruebas, el brazo se detuvo mientras el objetivo estaba fuera del campo de visión estimado y pudo reanudar el movimiento cuando entró en esa zona. Las pruebas comprobaron si el comportamiento previsto funcionaba en el robot físico. No evaluaron su eficacia mediante un estudio con usuarios.

El operador está sentado en la estructura superior del robot y mira hacia un lado. La mano del robot se ha detenido antes de alcanzar una pelota azul y amarilla sobre un poste amarillo; se señala la distancia restante.
El objetivo está fuera del campo de visión estimado del operador y el brazo se detiene antes de alcanzarlo.
Vista desde abajo del operador mirando hacia la pelota azul y amarilla mientras la mano del robot la agarra sobre el poste amarillo.
Cuando el objetivo entra en el campo de visión estimado del operador, el mismo movimiento puede continuar sin restricciones.

Limitaciones y próximos pasos

El prototipo no incluía detección de personas. Aunque el diseño especifica que siempre deben estar protegidas, un sistema para uso real necesitaría una forma fiable de identificarlas. El prototipo también utilizaba la dirección frontal del visor como aproximación a la mirada, por lo que no podía detectar movimientos oculares independientes de los de la cabeza.

Una cámara fija o unas gafas inteligentes con seguimiento ocular cambiarían los requisitos de equipamiento corporal y la precisión de la estimación de la mirada. Extender el sistema a un robot móvil también exigiría un procesamiento de la nube de puntos que tuviera en cuenta los cambios de posición del propio robot.

La evaluación se limitó a comprobaciones cualitativas en cinco pruebas de demostración. Evaluar la seguridad, la rapidez de la tarea y la carga de trabajo del operador requeriría comparaciones cuantitativas con métodos convencionales en condiciones reales de trabajo.

Lo que aprendí

Esta investigación utilizó el campo de visión estimado del operador para definir qué acciones de la máquina permitir. El comportamiento del robot ante un mismo objeto cambiaba según la conciencia aparente que el operador tenía de su presencia. Me centré en la relación entre esa conciencia aparente y el alcance de las acciones de la máquina, más que en movimientos individuales.

Esta perspectiva sigue orientando los proyectos de mi portafolio: comprender el estado de una persona, traducirlo en restricciones que el sistema deba respetar y dejar que las máquinas o la IA trabajen dentro de esos límites. Mi investigación de máster fue el punto de partida de este enfoque.

Agradecimientos

Realicé esta investigación durante unas prácticas en Jinki Ittai Co., Ltd., como parte del máster en Design & Engineering del Politecnico di Milano. Agradezco a ambas organizaciones que la hicieran posible.

Takafumi Horiuchi y Katsuya Kanaoka. «Gaze-based Unintended Contact Prevention for Human-Operated Robots». 39.ª Conferencia Anual de la Robotics Society of Japan, 2021, 2J2-07. Programa de la conferencia