Такафуми Хориучи

Магистерская диссертация о дизайне взаимодействия человека и робота

июль 2021

Обзор

С крупными роботами, управляемыми человеком, трудно различать только с помощью окружающих датчиков движения к объекту работы и движение к пропущенному препятствию. Поэтому была разработана система предотвращения столкновений, которая использует область, которую оператор видит, как сигнал о готовности к контакту, и замедляет или останавливает манипулятор при приближении к не видимому объекту.

Нет необходимости заранее регистрировать объект как «операбельно» или «под защитой». Это различие обновляется в зависимости от взгляда оператора во время работы. Реализовано на гуманоидном тяжелом механическом роботе ростом 1,9 м, и в пяти пробных демонстрациях было подтверждено, что определенное поведение выполняется. Реальное действие можно увидеть в демо-видео.

В рамках магистерской диссертации по направлению Design & Engineering в Политехническом университете Милана, этот проект был выполнен во время исследовательской стажировки в компании Jinki Ittai и представлен на 39-я ежегодная научная конференция Японского робототехнического общества (RSJ2021).

  1. Титульный слайд. Предотвращение столкновений на основе осведомленности для роботизированного манипулирования под управлением человека, магистерская программа Design & Engineering, Политехнический университет Милана, 2020–2021 учебный год.
  2. Предпосылки. Тема диссертации была определена во время исследовательской стажировки в компании
  3. Сравнение автономных роботов и управляемых человеком роботов. Первые эффективно работают в спроектированном пространстве внутри ограждений, вторые работают вместе с людьми в неопределённом пространстве.
  4. Статистика Европы, США и Японии. Контакт с движущимися объектами составляет значительную долю несчастных случаев на строительных площадках.
  5. Предшествующие исследования по предотвращению столкновений. Сенсорная кожа, покрывающая манипулятор, и датчик глубины, виртуально воспроизводящий окружающую среду.
  6. Текущие задачи. Существующая система требует заранее определить объект как «защищённый» или «манипулируемый» с помощью носимого тега, анализа изображений и обученного классификатора.
  7. Предложение. Традиционные системы используют только пассивную сенсорную информацию, но в роботах с ручным управлением человек изначально находится в контуре управления, и его взгляд можно использовать в качестве активного параметра.
  8. Правила классификации. Объекты, находящиеся внутри центрального поля зрения оператора, могут быть управляемыми, объекты, находящиеся снаружи, подлежат защите.
  9. Общий вид прототипа. Сочетая реального робота и виртуальное вычислительное пространство, следуют три технологических элемента.
  10. Элемент ①. Центральное зрительное поле представлено в виде конуса размером 60°×55°, его направление приближенно ориентировано вперед по направлению VR-гарнитуры.
  11. Элемент ②. LIDAR, установленный на голове робота, сканирует окружающее пространство в виде облака точек, каждая из которых представляется в виде вокселя с коллайдером.
  12. Элемент ③. Цифровой двойник робота движется так же, как реальный аппарат, и когда его рука касается вокселя, находящегося вне поля зрения, появляется предупреждение о приближении.
  13. Демонстрация концептуального доказательства. Статическое изображение робота, тянущего руку к шару на столбе, и воксельное отображение в виртуальном пространстве.
  14. Будущие задачи. Обнаружение людей в рабочем пространстве, проверка других методов измерения направления взгляда, а также количественная оценка на практике.
  15. Резюме выводов. Тема исследования, ценность метода, новизна и то, как была проверена система.

Проблема — предварительные настройки для безопасности связывают рабочее место

Необходимость в управляемых человеком роботах возникает в тех местах, которые не подготовлены для автономных роботов. На строительных площадках или в зонах бедствий расположение людей и оборудования изменяется, и то, к чему можно прикоснуться, также меняется в зависимости от выполняемой работы. Чтобы использовать большую силу машины, необходимо уметь прикасаться к нужным объектам, предотвращая при этом нежелательные контакты.

Существующие методы предотвращения столкновений включают в себя покрытие робота датчиками приближения или воспроизведение окружающей среды в виртуальном пространстве с помощью датчиков глубины. Однако в обоих случаях требуется заранее классифицировать объекты как «управляемые» или «защищаемые». Если ничего не зарегистрировать, для безопасности робот не сможет ничего трогать, а чтобы зарегистрировать всё, требуется настройка и калибровка для каждого конкретного места. Эта подготовительная нагрузка снижала практичность робота, который используется в разных местах.

Идея — превращение взгляда в «условие, при котором можно касаться»

В контрольной петле робота, управляемого человеком, уже есть человек, который оценивает ситуацию. Я подумал, что если можно передать машине, куда человек направляет внимание, то вместо предварительной регистрации объектов, возможно, удастся во время работы оценивать намерение контакта.

Итак, используется центральное зрительное поле оператора в качестве границы. Объекты внутри поля зрения считаются «объектами, которые оператор может управлять». Объекты за его пределами считаются «объектами для защиты», которые могут быть упущены из виду. Человек всегда считается объектом для защиты, независимо от положения взгляда.

Это не механизм, позволяющий отдавать команды роботу с помощью взгляда. Это механизм, который преобразует когнитивное состояние оператора в условия, при которых робот может двигаться.

Вид сверху. Перед роботом изображена конусная зона центрального зрения оператора. Объект A, находящийся внутри конуса, показан белым кругом, объекты B, C и D, находящиеся снаружи, показаны тёмными квадратами, а два человека стоят внутри и снаружи конуса.
Объект A, находящийся внутри центрального поля зрения оператора, может быть обработан, а объекты B, C и D, находящиеся снаружи, являются объектами защиты. Человек защищён, где бы он ни находился.

Проектирование взаимодействия

Система не превращает положение взгляда в простой выключатель включения и выключения. Когда рука приближается к объекту, на который не смотрят, её движение постепенно замедляется в зависимости от расстояния и останавливается до контакта. После остановки, когда оператор направляет взгляд на объект, ограничения постепенно снимаются. Избегается внезапная остановка или резкое начало движения, чтобы оператор мог предсказать изменения.

С другой стороны, даже если временно отвлечь взгляд от объекта, с которым уже взаимодействуют, продолжающаяся работа не останавливается. Это связано с тем, что, если только отвести взгляд, захват или управление прерываются, что, наоборот, делает процесс нестабильным. Единственным исключением является приближение к человеку: его ограничивают независимо от того, смотрит оператор или нет.

Целью не было замедлить работу повсеместно ради безопасности. Речь идет о том, чтобы сохранить возможности робота в тех областях, которые оператор контролирует, и обеспечить защиту только в тех областях, которые находятся вне его внимания, тем самым сочетая безопасность и продуктивность.

Блок-схема, начинающаяся с состояния свободного движения. Ветвление происходит в зависимости от того, находится ли объект рядом, является ли он человеком, направлено ли манипулятор к человеку, находится ли объект в зоне наблюдения, и далее переходит к точным действиям, постепенной остановке или блокировке.
В процессе принятия решения узел, который считывает активные параметры оператора, существует только один — «находится ли объект в зоне наблюдения». Все остальные разветвления работают исключительно на основе пассивной сенсорной информации.

Предполагаемые сценарии использования

Объектом внимания стали такие места, как строительные площадки и зоны бедствий, где имеют дело с большой силой рядом с людьми. В таких местах трудно полностью оградить окружающее пространство забором или зарегистрировать все объекты заранее. Система, требующая перенастройки мер безопасности каждый раз при изменении расположения, приводит к потере оперативности и универсальности.

Различение на основе взгляда использует восприятие ситуации человеком в данный момент, вместо фиксированной модели окружающей среды. Это может снизить нагрузку на подготовку к现场 и уменьшить подход к пропущенным объектам. Однако в этом исследовании было подтверждено только то, что система работает в соответствии с определением, и эффект снижения аварий на практике не оценивался.

Прототип и предварительная оценка

реализация

Система была реализована в роботе ростом 1,9 м, весом 600 кг и с 30 степенями свободы, имеющем форму, похожую на верхнюю часть человеческого тела. Оператор надевает VR-гарнитуру и управляет роботом, синхронизируя свое движение с полем зрения и направлением головы робота.

С помощью LIDAR на роботе рабочее пространство было получено в виде облака точек и в виртуальном пространстве представлено в виде вокселей с проверкой столкновений. Это пространство управляется цифровым двойником, синхронизированным с реальным устройством. Центральное поле зрения оператора представлено в виде конуса 60°×55°, и направление приближено к направлению вперед через гарнитуру. Когда рука приближается к вокселю вне поля зрения, отправляется предупреждение на реальное устройство, и оно замедляется или останавливается.

Сцена в виртуальном пространстве. Жёлтые воксели перестраивают окружающее пространство, сквозь них проходит полупрозрачная красная область с надписью «центр поля зрения оператора», а белый цифровой двойник робота тянет руку к препятствиям, находящимся за пределами этой области.
Виртуальное пространство, содержащее робота и отсканированные облака точек. Здесь робот касается препятствий, находящихся вне центрального поля зрения оператора.

Предварительная оценка

Оператор приближал манипулятор к объекту, отводя взгляд от него, после остановки возвращал взгляд на объект, чтобы снять ограничение, и в конце хватал мяч. Из пяти попыток четыре проводились опытным оператором, одна — оператором во второй раз. Во всех попытках при отсутствии взгляда происходила остановка, а при направлении взгляда на объект операция продолжалась. Это не пользовательский эксперимент для измерения эффективности, а предварительная оценка, чтобы проверить, реализуемо ли задуманное поведение на реальном устройстве.

Фотография робота. В верхней части рамы на нём находится оператор, повернувший вбок. Рука робота останавливается перед синим и жёлтым мячом на жёлтом столбе, и показано оставшееся расстояние.
Взгляд оператора отвлечен, и рука останавливается на расстоянии от объекта.
Фотография с нижнего угла. Оператор смотрит на мяч, и робот-рука захватывает синий и желтый мяч на желтом столбе.
Если взгляд направлен на объект, одно и то же движение выполняется без ограничений.

Пределы и следующая проверка

В прототипе обнаружение людей не реализовано. Было установлено правило, что людей необходимо защищать всегда, независимо от направления взгляда, но в реальных условиях потребуется механизм, который надежно идентифицирует человека. Кроме того, в качестве замещающей величины использовалось не само направление взгляда, а переднее направление гарнитуры, поэтому если движение происходит только глазами, оно не будет засечено.

Если использовать стационарную камеру или умные очки с отслеживанием взгляда, условия для носимого устройства и точности оценки изменятся. В случае развертывания на мобильном роботе также потребуется обработка облака точек, способная отслеживать изменение положения самого робота.

Оценка ограничивается качественной проверкой на основе пяти демонстрационных попыток. Для того чтобы судить о безопасности, скорости работы и нагрузке на оператора, необходимы количественные сравнения с традиционным методом в реальных условиях работы.

Перспектива, полученная из этого исследования

В этом исследовании взгляд человека использовался не как устройство ввода, а как условие, позволяющее действовать машине. Поведение робота по отношению к одному и тому же объекту меняется в зависимости от того, что человек в данный момент воспринимает. Разрабатывалась не отдельная операция, а отношение между когнитивным состоянием человека и полномочиями машины.

Этот подход также связан с современным Моя философия дизайна. Понимая состояние человека, система преобразует его в ограничения, которые она должна соблюдать, и внутри этих ограничений машины и ИИ проявляют свои способности. Магистерское исследование стало отправной точкой для этого.

Благодарности

Это исследование было проведено в рамках магистратуры по направлению Design & Engineering в Миланском политехническом университете во время стажировки в компании Jinki Ittai Co., Ltd. Мы выражаем глубокую благодарность обеим организациям за предоставленную возможность.

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Conference programme