Такафуми Хориучи

Магистерская диссертация о проектировании взаимодействия человека и робота

Обзор

Для крупных роботов, управляемых человеком, одних датчиков окружающей среды может быть недостаточно, чтобы отличить намеренное приближение к рабочему объекту от непреднамеренного приближения к незамеченному препятствию. Я спроектировал систему предотвращения столкновений, которая использует оценку поля зрения оператора как признак намерения вступить в контакт. Когда манипулятор приближается к объекту за пределами этого поля, система замедляет или останавливает его.

Объекты не требуется заранее относить к категориям «доступные для взаимодействия» или «защищаемые»: классификация обновляется, когда оператор осматривается. В прототипе ориентация гарнитуры служила приближённой оценкой направления взгляда. Я реализовал систему на гуманоидном роботе для тяжёлых работ высотой 1,9 метра и подтвердил предусмотренное поведение в пяти демонстрационных испытаниях. Работа системы показана в демонстрационном видео.

Я провёл это исследование во время стажировки в Jinki Ittai Co., Ltd. для магистерской диссертации по программе Design & Engineering в Миланском политехническом университете. Результаты были представлены на 39-й ежегодной конференции Японского общества робототехники (RSJ2021).


  1. Титульный слайд: Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, магистерская программа Design & Engineering Миланского политехнического университета, 2020–2021.
  2. Предпосылки: тема диссертации возникла во время исследовательской стажировки в Jinki Ittai Co., Ltd., которая разрабатывает гуманоидных роботов для тяжёлых работ с управлением по схеме «ведущий — ведомый».
  3. Сравнение автономных роботов и роботов под управлением человека: автономные эффективно работают в специально подготовленной ограждённой среде; управляемые человеком — рядом с людьми в менее предсказуемых условиях.
  4. Статистика Европы, США и Японии показывает, что контакт с движущимися объектами составляет значительную долю происшествий на стройплощадках.
  5. Предыдущие исследования предотвращения столкновений: тактильная сенсорная оболочка вокруг манипулятора и датчик глубины для виртуального восстановления окружения.
  6. Проблема: существующие системы заранее классифицируют объекты как «защищаемые» или «доступные для взаимодействия» по прикреплённым меткам, анализу изображений или обученным классификаторам.
  7. Предложение: предыдущие системы опираются только на пассивные данные датчиков. У робота под управлением человека в контуре уже есть оператор, чей взгляд можно использовать как активный параметр.
  8. Правила классификации: объекты в центральном поле зрения оператора доступны для взаимодействия; объекты снаружи защищаются.
  9. Обзор прототипа: физический робот связан с виртуальной средой. Следующие слайды поясняют три технических компонента.
  10. Компонент 1: центральное поле зрения представлено объёмной областью 60° × 55°, её ориентация приближённо задаётся направлением VR-гарнитуры вперёд.
  11. Компонент 2: лидар на голове робота получает облако точек окружения, представленное вокселями с обнаружением столкновений.
  12. Компонент 3: цифровой двойник повторяет движения физического робота; приближение к вокселям вне области обзора вызывает предупреждения.
  13. Демонстрация экспериментального прототипа: кадр с роботом, тянущимся к мячу на стойке, и воксельным представлением окружения.
  14. Дальнейшие шаги: обнаружение людей в рабочем пространстве, исследование других способов оценки направления взгляда и количественные испытания в рабочих условиях.
  15. Заключение: тема исследования, вклад и новизна метода и оценка прототипа.
Слайды исходной презентации на английском языке.

Проблема: настройка безопасности ограничивает работу на выезде

Роботы под управлением человека нужны там, где среда не подготовлена для автономной работы. На стройплощадках и в зонах бедствий меняется расположение людей и оборудования, а также объекты, к которым робот должен прикасаться. Чтобы использовать силу машины, оператору необходимо работать с этими объектами, избегая непреднамеренных контактов.

Среди существующих подходов к предотвращению столкновений — покрытие робота датчиками приближения и восстановление его окружения в виртуальном пространстве с помощью датчиков глубины. В рассмотренных подходах объекты требовалось заранее относить к категориям «доступные для взаимодействия» или «защищаемые». Без такой классификации робот избегал бы любых контактов; классификация всех объектов требовала настройки и калибровки под конкретную площадку. Такая подготовка затрудняла использование робота в разных местах.

Идея: учитывать взгляд при определении допустимого контакта

В контуре управления таким роботом уже есть человек, который оценивает ситуацию. Я задумался: если передать машине признак того, куда направлено внимание оператора, сможет ли она определять намерение вступить в контакт во время работы, без предварительной регистрации объектов?

В качестве границы я использовал центральное поле зрения оператора. Объекты внутри него классифицируются как «доступные для взаимодействия» в предположении, что оператор их замечает. Объекты снаружи относятся к «защищаемым», поскольку они могли остаться незамеченными. Проект предусматривает, что люди должны быть защищены всегда, независимо от направления взгляда.

Система не использует взгляд для непосредственной подачи команд. Вместо этого она переводит область, в которой оператор предположительно замечает объекты, в условия, ограничивающие движение робота.

Вид сверху на робота и центральное поле зрения оператора. Объект A внутри оценённой области обзора показан белым кругом. Объекты B, C и D снаружи — тёмными квадратами. Один человек стоит внутри области, другой — снаружи.
По предложенным правилам объект A доступен для взаимодействия, поскольку находится в центральном поле зрения оператора. Объекты B, C и D находятся за его пределами и защищаются от контакта. Люди всегда относятся к защищаемым объектам, независимо от своего положения и направления взгляда оператора. Однако в этом прототипе обнаружение людей не было реализовано.

Проектирование взаимодействия

Система учитывает взгляд не только как переключатель «включено/выключено». По мере приближения манипулятора к объекту вне поля зрения оператора движение плавно замедляется в зависимости от расстояния и прекращается до контакта. Когда оператор поворачивается к объекту, ограничение постепенно снимается. Я спроектировал эти переходы так, чтобы избежать резких остановок и стартов и облегчить предвидение изменений.

Если оператор ненадолго отводит взгляд от объекта, уже соприкасающегося с роботом, работа не прерывается. Прерывание захвата или манипуляции только из-за отвода взгляда могло бы сделать операцию менее устойчивой. Приближение к людям предусмотрено отдельно: оно должно оставаться ограниченным независимо от взгляда оператора. В этом прототипе обнаружение людей не было реализовано.

Целью было сохранить возможности робота там, где оператор замечает окружение, и ограничить движение там, куда его внимание может не доходить. Предполагалось таким образом совместить безопасность и удобство управления, не замедляя каждое действие.

Блок-схема управления начинается со свободного движения. Проверяется, есть ли объект поблизости, человек ли это, движется ли манипулятор к человеку и находится ли объект в области обзора. Решения ведут к точному движению, плавной остановке или блокировке.
Только одно решение на блок-схеме зависит от активного действия оператора: находится ли объект в области обзора. Остальные ветвления опираются на пассивные данные датчиков. Исходная схема — на английском. Чтение схемы: свободное движение → есть объект поблизости? Если нет, движение остаётся свободным. Если да, определяется, человек ли это. При приближении к человеку предусмотрены плавная остановка и блокировка; если манипулятор не приближается к человеку, допускается точное движение. Для объекта, который не является человеком, также проверяется область обзора: внутри неё допускается точное движение, снаружи — плавная остановка и блокировка.

Предполагаемые сценарии использования

Предполагаемые условия применения — стройплощадки и зоны бедствий, где машины развивают большие усилия рядом с людьми. Такие пространства трудно полностью оградить, а регистрация каждого объекта заранее непрактична. Перенастройка безопасности при каждом изменении расположения объектов снижала бы адаптивность системы и замедляла её развёртывание в срочных ситуациях.

Классификация с учётом взгляда опирается на то, что оператор замечает в данный момент, а не на фиксированную классификацию окружения. Она могла бы уменьшить объём подготовки площадки, ограничивая приближение к незамеченным объектам. Однако в этом исследовании было подтверждено только соответствие поведения системы заданным правилам; снижение числа происшествий в реальной эксплуатации не оценивалось.

Прототип и предварительная оценка

Реализация

Я реализовал систему на роботе, имеющем форму верхней части человеческого тела, высотой 1,9 метра, массой 600 кг и с 30 степенями свободы. Оператор надевает VR-гарнитуру, которая синхронизирует обзор и ориентацию головы робота с его собственными движениями.

Лидар на роботе регистрировал рабочее пространство в виде облака точек, которое представлялось в виртуальной среде вокселями с обнаружением столкновений. Цифровой двойник синхронизировал виртуального робота с физической машиной. Центральное поле зрения оператора я представил как объёмную область обзора 60° × 55°, приближённо задавая её ориентацию направлением гарнитуры вперёд. Когда манипулятор приближался к вокселю вне этой области, система отправляла физическому роботу предупреждение для замедления или остановки движения.

Виртуальное рабочее пространство, восстановленное жёлтыми вокселями. Полупрозрачная красная область обозначает центральное поле зрения оператора, а белый цифровой двойник тянется к препятствию за её пределами.
Виртуальная среда содержит цифрового двойника робота и отсканированное облако точек. В сцене показаны препятствия за пределами оценённого центрального поля зрения оператора.

Предварительная оценка

Каждое испытание проходило по одной последовательности: приблизиться к объекту вне оценённого поля зрения оператора, после остановки манипулятора повернуть гарнитуру к объекту, чтобы снять ограничение, и затем захватить мяч. Четыре из пяти испытаний выполнил опытный оператор; одно — оператор, который пользовался кабиной управления лишь второй раз. Во всех испытаниях манипулятор останавливался, пока объект находился вне оценённого поля зрения, и мог продолжить движение, когда объект оказывался внутри него. Испытания проверяли, работает ли предусмотренное поведение на физическом роботе. Эффективность системы в исследовании с участием пользователей не оценивалась.

Оператор сидит в верхней раме робота и смотрит в сторону. Кисть робота остановилась перед сине-жёлтым мячом на жёлтой стойке; отмечено оставшееся расстояние.
Объект находится за пределами оценённого поля зрения оператора, и манипулятор останавливается, не достигнув его.
Вид снизу: оператор смотрит на сине-жёлтый мяч, а кисть робота захватывает его на вершине жёлтой стойки.
Когда объект попадает в оценённое поле зрения оператора, то же движение может продолжаться без ограничения.

Ограничения и дальнейшие задачи

Прототип не включал обнаружение людей. Хотя проект предусматривает, что люди должны быть защищены всегда, для реальной системы необходим надёжный способ их распознавания. Кроме того, направление гарнитуры вперёд служило приближённой оценкой взгляда, поэтому прототип не мог выявлять движения глаз, независимые от движений головы.

Стационарная камера или умные очки с отслеживанием взгляда изменили бы требования к носимому оборудованию и точность оценки направления взгляда. Перенос системы на мобильного робота также потребовал бы обработки облака точек с учётом изменения положения самого робота.

Оценка ограничивалась качественной проверкой в пяти демонстрационных испытаниях. Для оценки безопасности, скорости выполнения задач и нагрузки на оператора необходимы количественные сравнения с обычными методами в реальных рабочих условиях.

Что я вынес из исследования

В этом исследовании оценка поля зрения оператора использовалась для определения допустимых действий машины. Поведение робота по отношению к одному и тому же объекту менялось в зависимости от того, предположительно замечает ли его оператор. Меня интересовала связь между предполагаемой осведомлённостью оператора и областью допустимых действий машины, а не отдельные движения.

Этот подход продолжает влиять на проекты в моём портфолио: понять состояние человека, выразить его в ограничениях, которые система должна соблюдать, и позволить машинам или ИИ действовать в этих границах. Магистерское исследование стало отправной точкой этого подхода.

Благодарности

Я провёл это исследование во время стажировки в Jinki Ittai Co., Ltd. в рамках магистерской программы Design & Engineering в Миланском политехническом университете. Я благодарен обеим организациям за эту возможность.

Takafumi Horiuchi and Katsuya Kanaoka. “Gaze-based Unintended Contact Prevention for Human-Operated Robots.” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Программа конференции (на японском)