Takafumi Horiuchi

Dissertação de mestrado sobre design de interação humano–robô

Visão geral

Em robôs de grande porte operados por humanos, os sensores do ambiente, por si só, podem ter dificuldade para distinguir uma aproximação intencional a um objeto de trabalho de uma aproximação não intencional a um obstáculo despercebido. Projetei um sistema de prevenção de colisões que usa o campo de visão estimado do operador como indício da intenção de contato, reduzindo a velocidade ou parando o braço quando ele se aproxima de objetos fora desse campo.

Os objetos não precisam ser classificados previamente como “operáveis” ou “protegidos”; a classificação é atualizada conforme o operador olha ao redor. No protótipo, usei a orientação do visor como aproximação da direção do olhar. Implementei o sistema em um robô humanoide de trabalho pesado com 1,9 metro de altura e confirmei o comportamento esperado em cinco testes de demonstração. O vídeo de demonstração mostra o sistema em funcionamento.

Realizei esta pesquisa durante um estágio na Jinki Ittai Co., Ltd. para minha dissertação de mestrado em Design & Engineering no Politecnico di Milano. Apresentei o trabalho na 39ª Conferência Anual da Sociedade Japonesa de Robótica (RSJ2021).


  1. Slide de título: Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation. Mestrado em Design & Engineering do Politecnico di Milano, 2020–2021.
  2. Contexto: o tema da dissertação surgiu durante um estágio de pesquisa na Jinki Ittai Co., Ltd., que desenvolve robôs humanoides de trabalho pesado operados por um sistema de controle mestre–escravo.
  3. Comparação entre robôs autônomos e robôs operados por humanos: os autônomos trabalham de forma eficiente em ambientes cercados e preparados para eles; os operados por humanos trabalham junto às pessoas em ambientes menos previsíveis.
  4. Estatísticas da Europa, dos Estados Unidos e do Japão indicam que o contato com objetos em movimento representa uma proporção significativa dos acidentes em canteiros de obras.
  5. Pesquisas anteriores sobre prevenção de colisões: uma pele com sensores táteis ao redor de um manipulador e um sensor de profundidade usado para reconstruir virtualmente o ambiente.
  6. Problema: sistemas existentes classificam previamente os objetos como “protegidos” ou “operáveis”, usando etiquetas fixadas neles, análise de imagens ou classificadores treinados.
  7. Proposta: os sistemas anteriores dependem apenas de dados obtidos pelos sensores sem intervenção ativa do operador. Um robô operado por humanos já tem uma pessoa em sua malha de controle, cujo olhar pode servir como parâmetro ativo.
  8. Regras de classificação: objetos no campo de visão central do operador são operáveis; objetos fora dele são protegidos.
  9. Visão geral do protótipo: um robô físico é conectado a um ambiente virtual. Os slides seguintes explicam seus três componentes técnicos.
  10. Componente 1: representar o campo de visão central como um volume de 60° × 55° e aproximar sua orientação usando a direção frontal do visor de realidade virtual.
  11. Componente 2: um sensor lidar na cabeça do robô capta uma nuvem de pontos do ambiente, representada como voxels com detecção de colisão.
  12. Componente 3: o gêmeo digital acompanha o movimento do robô físico, e avisos são acionados quando ele se aproxima de voxels fora da área de visão.
  13. Demonstração da prova de conceito: uma imagem mostra o robô estendendo a mão para uma bola sobre um poste, ao lado da representação do ambiente em voxels.
  14. Próximos passos: detectar pessoas no espaço de trabalho, investigar outras formas de estimar a direção do olhar e realizar avaliações quantitativas em campo.
  15. Conclusão: o tema da pesquisa, a contribuição e a novidade do método e a avaliação do protótipo.

Problema: a configuração de segurança pode limitar o trabalho em campo

Robôs operados por humanos são necessários em ambientes que não foram preparados para a operação autônoma. Em canteiros de obras e áreas de desastre, as posições de pessoas e equipamentos mudam, assim como os objetos que o robô precisa tocar. Para aproveitar a força de uma máquina, os operadores precisam poder trabalhar com esses objetos e, ao mesmo tempo, evitar contatos não intencionais.

As abordagens existentes de prevenção de colisões incluem cobrir o robô com sensores de proximidade e reconstruir o ambiente em um espaço virtual usando sensores de profundidade. Nas abordagens examinadas aqui, os objetos precisavam ser classificados previamente como “operáveis” ou “protegidos”. Sem essa classificação, o robô evitaria todo contato; classificar cada objeto exigia configuração e calibração específicas para o local. Essa preparação tornava os robôs menos práticos para uso em diferentes ambientes.

Ideia: usar o olhar para definir quando o contato é permitido

Um robô operado por humanos já conta com alguém avaliando a situação em sua malha de controle. Perguntei-me se fornecer à máquina um indício da atenção dessa pessoa poderia ajudá-la a inferir os contatos pretendidos durante uma tarefa, sem exigir o cadastro prévio dos objetos.

Usei o campo de visão central do operador como limite. Os objetos dentro dele são classificados como “operáveis”, supondo que o operador esteja ciente de sua presença. Os objetos fora dele são classificados como “protegidos”, pois podem ter passado despercebidos. O projeto especifica que as pessoas devem ser sempre protegidas, independentemente da direção do olhar.

O sistema não usa o olhar para emitir comandos diretamente. Ele traduz a área na qual se presume que o operador esteja ciente dos objetos em condições para o movimento do robô.

Diagrama visto de cima do robô e do campo de visão central do operador. O alvo A, dentro da área de visão estimada, aparece em branco. Os alvos B, C e D, fora dela, aparecem em cinza-escuro. Uma pessoa está dentro da área e outra fora.
Pelas regras propostas, o alvo A é operável porque está no campo de visão central do operador. Os alvos B, C e D estão fora dele e são protegidos. As pessoas são sempre classificadas como protegidas, independentemente de sua posição ou do olhar do operador. No entanto, a detecção de pessoas não foi implementada neste protótipo.

Rótulos da figura original em inglês: “operator’s central field of view” = campo de visão central do operador; “Robot” = robô; “Manipulable object” = objeto manipulável; “Protected object” = objeto protegido. A, B, C e D identificam os alvos. O alvo A está dentro da área de visão; B, C e D estão fora. As figuras humanas representam pessoas. A detecção de pessoas não foi implementada no protótipo.

Design de interação

O sistema trata o olhar como algo além de um interruptor de ligar e desligar. Quando o braço se aproxima de um objeto fora do campo de visão do operador, desacelera gradualmente em função da distância e para antes do contato. Olhar na direção do objeto libera a restrição de forma gradual. Projetei essas transições para evitar paradas e partidas bruscas e tornar as mudanças mais previsíveis.

Desviar brevemente o olhar de um objeto que já está em contato com o robô não interrompe a tarefa. Interromper a preensão ou a manipulação apenas porque o operador desviou o olhar poderia tornar a operação menos estável. O projeto trata a aproximação do robô a pessoas separadamente: ela deve permanecer restrita independentemente do olhar do operador. A detecção de pessoas não foi implementada neste protótipo.

O objetivo era preservar as capacidades do robô onde o operador estivesse ciente do ambiente e restringir o movimento onde sua atenção talvez não alcançasse. A intenção era equilibrar segurança e facilidade de operação sem tornar todas as ações mais lentas.

Fluxograma de controle que começa com movimento irrestrito. As decisões verificam se há um objeto próximo, se ele é uma pessoa, se o manipulador se move em direção a ela e se o objeto está na área de visão. Essas decisões levam a movimento de precisão, parada gradual ou bloqueio.
Apenas uma decisão no fluxograma usa uma entrada ativa do operador: se o alvo está na área de visão. Todas as outras ramificações dependem de dados obtidos pelos sensores sem intervenção ativa do operador.

Rótulos do fluxograma original em inglês: “manipulation in free motion” = manipulação com movimento livre; “object is nearby” = há um objeto próximo; “object is human” = o objeto é uma pessoa; “manipulator is in approaching direction to human” = o manipulador se move em direção à pessoa; “object is in field of focus” = o objeto está na área de visão; “manipulation in precise scale” = manipulação com movimento de precisão; “manipulation gradually halted” = manipulação interrompida gradualmente; “manipulation is locked” = manipulação bloqueada; “yes” = sim; “no” = não.

Leitura das ramificações do diagrama histórico: sem objeto próximo, o fluxo retorna ao movimento livre. Havendo um objeto, verifica-se se é uma pessoa. Se não for, verifica-se se está na área de visão: sim leva ao movimento de precisão; não leva à parada gradual e ao bloqueio. Se for uma pessoa, verifica-se a direção do movimento: aproximar-se dela leva à parada gradual; caso contrário, ao movimento de precisão. O movimento de precisão retorna ao movimento livre; o estado bloqueado retorna à verificação da área de visão. Este é o fluxo desenhado na figura original, não uma confirmação de proteção de pessoas implementada. A detecção de pessoas não foi implementada neste protótipo; a relação entre esse retorno e a regra de proteção de pessoas precisa ser confirmada antes de uma revisão do diagrama.

Aplicações previstas

Os ambientes previstos eram canteiros de obras e áreas de desastre, onde máquinas exercem grandes forças perto de pessoas. É difícil cercar completamente esses locais, e cadastrar todos os objetos antecipadamente é impraticável. Reconfigurar a segurança a cada mudança de disposição tornaria o sistema menos adaptável e mais demorado de implantar em situações urgentes.

A classificação baseada no olhar usa a percepção momentânea do operador, em vez de uma classificação fixa do ambiente. Ela poderia reduzir a preparação do local e restringir a aproximação do robô a objetos despercebidos. No entanto, este estudo confirmou apenas que o sistema se comportava conforme especificado; não avaliou se a abordagem reduzia acidentes em uso real.

Protótipo e avaliação preliminar

Implementação

Implementei o sistema em um robô com formato semelhante à parte superior do corpo humano, com 1,9 metro de altura, 600 kg e 30 graus de liberdade. O operador usa um visor de realidade virtual que sincroniza a visão e a orientação da cabeça do robô com seus próprios movimentos.

Um sensor lidar no robô captava o espaço de trabalho como uma nuvem de pontos, representada no ambiente virtual como voxels com detecção de colisão. Um gêmeo digital sincronizava o robô virtual com a máquina física. Representei o campo de visão central do operador como um volume de 60° × 55°, usando a direção frontal do visor como aproximação de sua orientação. Quando o braço se aproximava de um voxel fora dessa área, o sistema enviava um aviso ao robô físico para reduzir a velocidade ou interromper o movimento.

Espaço de trabalho virtual reconstruído com voxels amarelos. Uma região vermelha translúcida indica o campo de visão central do operador, e o gêmeo digital branco estende o braço em direção a um obstáculo fora dessa região.
O ambiente virtual contém o gêmeo digital do robô e a nuvem de pontos obtida por varredura. A cena mostra obstáculos fora do campo de visão central estimado do operador.

Avaliação preliminar

Cada teste seguiu a mesma sequência: aproximar-se de um alvo fora do campo de visão estimado do operador, virar o visor na direção dele depois que o braço parasse para liberar a restrição e, então, pegar a bola. Um operador experiente realizou quatro dos cinco testes; o teste restante foi realizado por um operador que usava o posto de comando pela segunda vez. Em todos os testes, o braço parou enquanto o alvo estava fora do campo de visão estimado e pôde voltar a se mover quando ele entrou nessa área. Esses testes verificaram se o comportamento previsto funcionava no robô físico. Não avaliaram sua eficácia em um estudo com usuários.

O operador está sentado na estrutura superior do robô e olha para o lado. A mão do robô parou antes de alcançar uma bola azul e amarela sobre um poste amarelo; a distância restante está indicada.
O alvo está fora do campo de visão estimado do operador, e o braço para antes de alcançá-lo.
Vista de baixo do operador olhando na direção da bola azul e amarela enquanto a mão do robô a segura sobre o poste amarelo.
Quando o alvo entra no campo de visão estimado do operador, o mesmo movimento pode continuar sem restrição.

Limitações e próximos passos

O protótipo não incluía detecção de pessoas. Embora o projeto determine que elas sejam sempre protegidas, um sistema para uso real precisaria de uma forma confiável de identificá-las. O protótipo também usava a direção frontal do visor como aproximação da direção do olhar, portanto não podia detectar movimentos dos olhos independentes dos movimentos da cabeça.

Uma câmera fixa ou óculos inteligentes com rastreamento ocular mudariam os requisitos de dispositivos vestíveis e a precisão da estimativa do olhar. Estender o sistema a um robô móvel também exigiria um processamento de nuvem de pontos que considerasse as mudanças de posição do próprio robô.

A avaliação se limitou a verificações qualitativas em cinco testes de demonstração. Avaliar segurança, velocidade de execução das tarefas e carga de trabalho do operador exigiria comparações quantitativas com métodos convencionais em condições reais de trabalho.

O que aprendi

Esta pesquisa usou o campo de visão estimado do operador para definir quais ações da máquina seriam permitidas. O comportamento do robô em relação a um mesmo objeto mudava conforme os indícios de que o operador percebia sua presença. Meu foco era a relação entre essa percepção aparente e o alcance das ações da máquina, em vez de movimentos individuais.

Essa perspectiva continua a orientar os trabalhos do meu portfólio: compreender o estado de uma pessoa, traduzi-lo em restrições que o sistema deve respeitar e permitir que máquinas ou IA atuem dentro desses limites. Minha pesquisa de mestrado foi o ponto de partida dessa abordagem.

Agradecimentos

Conduzi esta pesquisa durante um estágio na Jinki Ittai Co., Ltd., como parte do mestrado em Design & Engineering do Politecnico di Milano. Agradeço às duas organizações por torná-la possível.

Takafumi Horiuchi e Katsuya Kanaoka. “Gaze-based Unintended Contact Prevention for Human-Operated Robots.” 39ª Conferência Anual da Sociedade Japonesa de Robótica, 2021, 2J2-07. Programa da conferência