Masterarbeit zur Gestaltung der Mensch-Roboter-Interaktion
Juli 2021
Überblick
Bei großen, von Menschen gesteuerten Robotern ist es für Umgebungssensoren allein schwierig, die beabsichtigte Annäherung an ein Arbeitsobjekt von der unbeabsichtigten Annäherung an ein übersehenes Hindernis zu unterscheiden. Ich habe ein System zur Kollisionsvermeidung entwickelt, das das geschätzte Sichtfeld der bedienenden Person als Hinweis auf beabsichtigten Kontakt nutzt. Nähert sich der Arm Objekten außerhalb dieses Sichtfelds, wird er verlangsamt oder angehalten.
Objekte müssen nicht vorab als „manipulierbar“ oder „geschützt“ eingestuft werden; die Einordnung aktualisiert sich, während sich die bedienende Person umsieht. Im Prototyp verwendete ich die Ausrichtung des Headsets als Näherung für die Blickrichtung. Ich implementierte das System auf einem 1,9 Meter großen humanoiden Schwerlastroboter und bestätigte das vorgesehene Verhalten in fünf Demonstrationsversuchen. Das Demovideo zeigt das System im Einsatz.
Diese Forschung führte ich während eines Praktikums bei Jinki Ittai Co., Ltd. für meine Masterarbeit im Studiengang Design & Engineering am Politecnico di Milano durch. Ich stellte sie auf der 39. Jahrestagung der Robotics Society of Japan (RSJ2021) vor.
Problem: Die Vorbereitung von Sicherheitsfunktionen kann den Einsatz vor Ort einschränken
Von Menschen gesteuerte Roboter werden in Umgebungen benötigt, die nicht für einen autonomen Betrieb vorbereitet sind. Auf Baustellen und in Katastrophengebieten verändern sich die Positionen von Menschen und Geräten ebenso wie die Objekte, die der Roboter berühren muss. Um die Kraft einer Maschine nutzen zu können, müssen Bedienende mit diesen Objekten arbeiten und zugleich unbeabsichtigten Kontakt vermeiden können.
Bestehende Ansätze zur Kollisionsvermeidung umfassen Näherungssensoren auf der Roboteroberfläche sowie die virtuelle Rekonstruktion der Umgebung mithilfe von Tiefensensoren. Bei den hier untersuchten Ansätzen mussten Objekte vorab als „manipulierbar“ oder „geschützt“ eingestuft werden. Ohne diese Einordnung würde der Roboter jeden Kontakt vermeiden; die Klassifikation aller Objekte erforderte eine standortspezifische Einrichtung und Kalibrierung. Dieser Vorbereitungsaufwand erschwerte den praktischen Einsatz der Roboter an wechselnden Orten.
Idee: Mithilfe der Blickrichtung bestimmen, wann Kontakt zulässig ist
Bei einem von Menschen gesteuerten Roboter befindet sich bereits eine Person im Regelkreis, die die Situation beurteilt. Ich fragte mich, ob ein Hinweis auf ihre Aufmerksamkeit der Maschine helfen könnte, beabsichtigten Kontakt während einer Aufgabe zu erschließen, ohne Objekte vorab registrieren zu müssen.
Als Grenze verwendete ich das zentrale Sichtfeld der bedienenden Person. Objekte darin werden unter der Annahme, dass die Person sie wahrnimmt, als „manipulierbar“ eingestuft. Objekte außerhalb gelten als „geschützt“, da sie möglicherweise übersehen wurden. Der Entwurf sieht vor, Menschen unabhängig von der Blickrichtung immer zu schützen.
Das System verwendet die Blickrichtung nicht zur direkten Befehlseingabe. Stattdessen übersetzt es den Bereich, in dem die bedienende Person Objekte vermutlich wahrnimmt, in Bedingungen für die Bewegung des Roboters.
Interaktionsgestaltung
Das System behandelt die Blickrichtung nicht nur als Ein-Aus-Schalter. Nähert sich der Arm einem Objekt außerhalb des Sichtfelds, wird er abhängig vom Abstand schrittweise langsamer und stoppt vor dem Kontakt. Richtet die Person ihren Blick anschließend auf das Objekt, wird die Einschränkung allmählich aufgehoben. Diese Übergänge habe ich so gestaltet, dass abrupte Stopps und Starts vermieden und Veränderungen leichter vorhersehbar werden sollen.
Ein kurzer Blick weg von einem Objekt, das den Roboter bereits berührt, unterbricht die Aufgabe nicht. Einen Greif- oder Manipulationsvorgang allein wegen des Wegschauens anzuhalten, könnte ihn instabiler machen. Annäherungen an Menschen behandelt der Entwurf gesondert: Sie sollen unabhängig von der Blickrichtung eingeschränkt bleiben. Eine Personenerkennung war in diesem Prototyp nicht implementiert.
Ziel war, die Fähigkeiten des Roboters dort zu erhalten, wo die bedienende Person ihre Umgebung wahrnimmt, und Bewegungen dort einzuschränken, wohin ihre Aufmerksamkeit möglicherweise nicht reicht. So sollten Sicherheit und leichte Bedienbarkeit in Einklang gebracht werden, ohne jede Handlung zu verlangsamen.
Vorgesehene Einsatzbereiche
Vorgesehen waren Baustellen und Katastrophengebiete, in denen Maschinen große Kräfte in der Nähe von Menschen ausüben. Solche Umgebungen lassen sich nur schwer vollständig absperren; jedes Objekt vorab zu registrieren ist unpraktisch. Würden die Sicherheitseinstellungen bei jeder Änderung der Anordnung neu konfiguriert, wäre das System weniger anpassungsfähig und in dringenden Situationen langsamer einsetzbar.
Die blickbasierte Klassifikation nutzt die momentane Wahrnehmung der bedienenden Person statt einer festen Einordnung der Umgebung. Sie könnte den Vorbereitungsaufwand vor Ort verringern und zugleich die Annäherung an übersehene Objekte einschränken. Diese Studie bestätigte jedoch nur, dass sich das System wie vorgesehen verhielt. Ob der Ansatz Unfälle im realen Einsatz verringert, wurde nicht untersucht.
Prototyp und vorläufige Erprobung
Implementierung
Ich implementierte das System auf einem Roboter in Form eines menschlichen Oberkörpers mit einer Höhe von 1,9 Metern, einem Gewicht von 600 kg und 30 Freiheitsgraden. Die bedienende Person trägt ein VR-Headset, das die Ansicht und Kopfausrichtung des Roboters mit ihren eigenen Bewegungen synchronisiert.
Ein Lidar-Sensor am Roboter erfasste den Arbeitsraum als Punktwolke, die in der virtuellen Umgebung durch Voxel mit Kollisionserkennung dargestellt wurde. Ein digitaler Zwilling synchronisierte den virtuellen Roboter mit der realen Maschine. Das zentrale Sichtfeld der bedienenden Person stellte ich als Sichtvolumen von 60° × 55° dar; seine Ausrichtung näherte ich durch die Vorwärtsrichtung des Headsets an. Näherte sich der Arm einem Voxel außerhalb dieses Bereichs, sendete das System eine Warnung an den realen Roboter, um seine Bewegung zu verlangsamen oder anzuhalten.
Vorläufige Erprobung
Jeder Versuch folgte demselben Ablauf: Annäherung an ein Ziel außerhalb des geschätzten Sichtfelds, Drehen des Headsets zum Ziel nach dem Anhalten des Arms, um die Einschränkung aufzuheben, und anschließend Greifen des Balls. Vier der fünf Versuche führte eine erfahrene Bedienperson durch; im verbleibenden Versuch nutzte die Person das Cockpit erst zum zweiten Mal. In jedem Versuch stoppte der Arm, solange sich das Ziel außerhalb des geschätzten Sichtfelds befand, und konnte sich wieder bewegen, sobald es in diesen Bereich gelangte. Die Versuche prüften, ob das vorgesehene Verhalten am realen Roboter funktionierte. Seine Wirksamkeit wurde dabei nicht in einer Nutzerstudie untersucht.
Grenzen und nächste Schritte
Der Prototyp enthielt keine Personenerkennung. Obwohl der Entwurf vorsieht, Menschen immer zu schützen, müsste ein System für den realen Einsatz sie zuverlässig erkennen können. Außerdem verwendete der Prototyp die Vorwärtsrichtung des Headsets als Näherung für die Blickrichtung und konnte deshalb Augenbewegungen unabhängig von Kopfbewegungen nicht erkennen.
Eine stationäre Kamera oder eine Datenbrille mit Eye-Tracking würde die Anforderungen an die am Körper getragene Ausrüstung und die Genauigkeit der Blickschätzung verändern. Eine Erweiterung auf einen mobilen Roboter würde außerdem eine Punktwolkenverarbeitung erfordern, die Veränderungen der eigenen Roboterposition berücksichtigt.
Die Auswertung beschränkte sich auf qualitative Prüfungen in fünf Demonstrationsversuchen. Um Sicherheit, Bearbeitungsgeschwindigkeit und die Belastung der Bedienenden zu beurteilen, wären quantitative Vergleiche mit herkömmlichen Verfahren unter realen Arbeitsbedingungen erforderlich.
Erkenntnisse
Diese Forschung nutzte das geschätzte Sichtfeld der bedienenden Person, um zulässige Maschinenhandlungen festzulegen. Das Verhalten des Roboters gegenüber demselben Objekt änderte sich mit der vermuteten Wahrnehmung durch die Person. Mein Fokus lag auf dem Zusammenhang zwischen dieser vermuteten Wahrnehmung und dem Handlungsspielraum der Maschine, weniger auf einzelnen Bewegungen.
Diese Perspektive prägt weiterhin die Arbeit in meinem Portfolio: den Zustand eines Menschen verstehen, ihn in Vorgaben übersetzen, die das System einhalten muss, und Maschinen oder KI innerhalb dieser Grenzen arbeiten lassen. Die Forschung im Rahmen meiner Masterarbeit war der Ausgangspunkt dieses Ansatzes.
Danksagung
Diese Forschung führte ich während eines Praktikums bei Jinki Ittai Co., Ltd. im Rahmen des Masterstudiengangs Design & Engineering am Politecnico di Milano durch. Beiden Einrichtungen danke ich dafür, dass sie diese Arbeit ermöglicht haben.
Takafumi Horiuchi und Katsuya Kanaoka. „Gaze-based Unintended Contact Prevention for Human-Operated Robots.“ 39. Jahrestagung der Robotics Society of Japan, 2021, 2J2-07. Tagungsprogramm














