Магистерская диссертация о проектировании взаимодействия человека и робота

Обзор

Тот, кто управляет большим роботом, способен следить лишь за частью рабочего пространства одновременно. Это исследование спросило: что изменится, если сообщать машине, где это внимание находится прямо сейчас. Я спроектировал систему предотвращения столкновений, в которой взгляд оператора решает, как роботу позволено себя вести: с тем, что попадает в центральное поле зрения оператора, можно работать свободно, а всё, что вне его, защищено — рука замедляется и останавливается, не дойдя. Ничего не нужно размечать заранее. Граница проводится в момент самой работы, оттуда, куда оператор в этот миг смотрит. Видео демонстрации — здесь (на YouTube).

Работа была моей магистерской диссертацией по программе Design & Engineering в Миланском политехническом университете; она выполнена во время исследовательской стажировки в Man-Machine Synergy Effectors, Inc. в Японии и представлена на 39-й ежегодной конференции Robotics Society of Japan (RSJ2021).

Здесь же моя философия дизайна начинает принимать нынешнюю форму. Эта система читает не команду, а когнитивное состояние — замечено ли нечто вообще — и превращает это состояние в условия, при которых машине разрешено действовать. Проектируется не движение робота, а отношение: что машине можно делать, следует из того, что человек в этот момент понимает. Проектировать это отношение, а не каждое отдельное поведение, — то же самое движение, которое я делаю сейчас, когда действует не роботизированная рука, а генеративный ИИ.

Аннотация

Роботы под управлением человека ценны именно там, где бессильны автономные: в рабочих пространствах, которые никогда не проектировались под текущую задачу, рядом с людьми и оборудованием, задеть которые нельзя. Существующие системы предотвращения столкновений справляются с такими пространствами, требуя заранее объявить каждый объект либо целью манипуляции, либо тем, что нужно уберечь, — и эта настройка становится неподъёмной для машины, которую переносят с площадки на площадку.

Исследование предложило проводить это различие во время работы, исходя из взгляда оператора. Объекты внутри его центрального поля зрения считаются пригодными для манипуляции, вне его — защищаемыми, а люди — защищаемыми при любых обстоятельствах. Метод вводит активный параметр — человеческий — в контур управления, до тех пор целиком собранный из пассивных данных датчиков. Прототип реализован на JINKI type Zero, антропоморфном роботе тяжёлой техники высотой 1,9 м, и вёл себя согласно описанию во всех пяти демонстрационных попытках.

1. Введение

Робот под управлением человека соединяет две вещи, которые трудно получить вместе: мощность и точность машины и ситуационное суждение человека. Полностью автономные роботы второго пока не дают. И если промышленные роботы работают в спроектированных ячейках за ограждением, то управляемые человеком должны работать там, где всё устроено для другого, — рядом с рабочими, среди хрупкого оборудования, на атомных объектах и стройплощадках. Поэтому гарантия того, что робот не повредит окружающее, — часть того, что вообще делает его пригодным.

Устоявшиеся способы защиты от случайного контакта — чувствительная кожа, где датчики приближения покрывают все критические части манипулятора, и восприятие глубины, где окружение восстанавливается облаком точек, а расстояния считаются в этом виртуальном пространстве. Оба работают. Но оба предполагают, что объекты вокруг робота уже разделены на те, к которым можно прикасаться, и те, к которым нельзя: без такого разделения машина, которой запрещено с чем-либо сталкиваться, не может ничем и манипулировать. Для универсального инструмента, который перевозят между площадками и ставят посреди того, что там есть, настройка и калибровка обходятся дороже той безопасности, которую покупают.

Ход, которым пользуется это исследование, состоит в том, что у робота под управлением человека уже есть человек внутри контура управления. Исследования операторских ошибок называют решающим фактором ситуационную осведомлённость — точное понимание происходящего вокруг, — а она, как известно, сильно связана с направлением взгляда. Предотвращение столкновений традиционно строилось только на пассивной информации, то есть на данных с датчиков. Добавление одного активного параметра — куда смотрит оператор — даёт системе признак того, будет ли контакт с данным объектом намеренным.

2. Поведение системы

Объект, к которому оператор намерен прикоснуться, называется объектом манипуляции и может обрабатываться без ограничений. Объект, к которому такого намерения нет, — защищаемый объект, и трогать его нельзя. Каким из двух объект является в данный миг, следует из его положения относительно центрального поля зрения оператора: внутри него объект находится под достаточным вниманием, чтобы контакт считался намеренным; снаружи — нет.

Вытекающее поведение задают пять правил. Манипулятор может свободно взаимодействовать с объектами внутри центрального поля зрения. С объектами вне его взаимодействовать нельзя, и при приближении к такому объекту он постепенно останавливается. Из остановки он постепенно освобождается по мере того, как поле зрения оператора переходит на него. Ограничение не применяется, если поле зрения покидает объект, с которым манипулятор уже соприкасается, — чтобы начатая работа не прерывалась из-за взгляда в сторону. И с человеком манипулятор взаимодействовать не может, где бы тот ни стоял. Если у робота несколько манипуляторов, правила применяются к каждому по отдельности.

Оператор получает от этого возможность работать в полную силу над тем, на что смотрит, полагаясь на то, что машина не заденет оборудование, на которое он не смотрит. Безопасность людей на площадке безусловна и от намерений оператора не зависит вовсе.

3. Ожидаемая польза

Ближайшая существующая картина такой работы — тяжёлая техника: большие усилия, прилагаемые в неподготовленных местах рядом с людьми. Столкновения входят в число главных опасностей на стройплощадках по всему миру, и невнимательность называют причиной снова и снова. Из 362 600 несчастных случаев, зарегистрированных на европейских стройплощадках в 2018 году, 19,6 % пришлись на удар движущимся предметом; исследование происшествий с кранами отнесло 19 % из них на невнимательность оператора.

Поскольку внимание и направление взгляда сильно связаны, эти две доли можно перемножить и получить грубую оценку того, что могла бы охватить система, работающая по взгляду, — порядка тринадцати тысяч случаев в год в Европе. Это вывод из опубликованной статистики, а не измеренный результат, и приводится он как указание на порядок величины.

4. Проверка системы

В качестве проверки замысла была построена и запущена демонстрационная система.

4.1 Реализация

Систему реализовали на JINKI type Zero — роботе, разработанном в Man-Machine Synergy Effectors, Inc. У него верхняя часть человеческого тела, рост 1,9 м, вес 600 кг и тридцать степеней свободы. Оператор и робот находятся в одном месте и связаны по схеме «ведущий — ведомый»: VR-шлем синхронизирует обзор и повороты головы оператора с роботом, отчего возникает ощущение единства с машиной, а не управления ею.

Установленный на роботе лидар сканирует рабочее место в облака точек, представленные в виртуальном пространстве вокселями, у каждого из которых свой коллайдер. В том же пространстве движется цифровой двойник робота; когда его рука перекрывается с вокселями, система выдаёт предупреждение о сближении, действие которого зависит от направления поля зрения оператора. Это поле смоделировано конусом 60° × 55° (Г×В) — близко к области, в которой человек различает символы, цвет и глубину, — а его направление приближается направлением шлема. Предупреждение передаётся физическому роботу и формирует его движение по описанным выше правилам.

4.2 Демонстрационный эксперимент

Предварительная оценка проверила, делает ли реализация то, что было описано. Оператора просили: подвести руку к стойке, глядя в сторону; убедиться, что система выдала предупреждение и остановила руку; затем посмотреть на остановленную руку, чтобы снять ограничение; и наконец снять мяч с вершины стойки, не выпуская его из виду. Провели пять попыток: первые три и пятую — опытный оператор, четвёртую — человек, управлявший роботом второй раз. Каждую записали на видео. Во всех пяти система вела себя так, как определяет раздел 2. Демонстрацию можно посмотреть в видео работы системы.

5. Ограничения и дальнейшая работа

Обнаружение людей в прототипе реализовано не было. Проверить требовалось связь между взглядом оператора и допустимостью манипуляции с объектом, а правило, защищающее людей, безусловно и от этой связи не зависит. Добавление такого обнаружения сделало бы систему надёжнее и открыло бы применения за пределами безопасности — например, подсвечивать в обзоре оператора людей рядом с роботом или предупреждать до того, как сработает порог сближения.

Взгляд приближался направлением шлема. Выбор был сделан ради прямоты, что важно в схеме «ведущий — ведомый», но другие инструменты — стационарные камеры, айтрекеры в умных очках — оценивали бы его иначе и, возможно, снизили бы психологический барьер для внедрения такой системы в отраслях, не привыкших что-либо носить. Перенос метода на мобильных роботов ставит ещё одну задачу: JINKI type Zero на стадии разработки закреплён на месте, а машине, меняющей положение во время работы, нужна обработка облаков точек, достаточно быстрая, чтобы поспевать.

Сама оценка остаётся качественной. Правильный способ судить о системе — количественное полевое исследование, и оно ждёт, пока робот дойдёт до практической стадии.

6. Заключение

Исследование предложило систему предотвращения столкновений для роботизированных манипуляторов под управлением человека, использующую взгляд оператора, чтобы не допустить ненамеренного контакта с людьми и оборудованием. Исходя из того, что осведомлённость и направление взгляда сильно связаны, объекты внутри центрального поля зрения считались пригодными для манипуляции, а вне его — защищаемыми. Помещение человеческого фактора в контур управления позволило проводить эту границу во время работы, без всякой подготовки, которой требуют существующие методы.

Система проверена на универсальном роботе тяжёлой техники и вела себя так, как было определено. Тот же принцип должен переноситься на любую обстановку, где человек и без того входит в контур, через который управляют машиной.

Благодарности

Работа выполнена во время стажировки в Man-Machine Synergy Effectors, Inc. как часть требований магистерской программы Design & Engineering Миланского политехнического университета. Благодарю обе организации за то, что эта возможность стала реальной.