Takafumi Horiuchi

Masterarbeit zur Gestaltung der Mensch-Roboter-Interaktion

Überblick

Bei großen, von Menschen gesteuerten Robotern ist es für Umgebungssensoren allein schwierig, die beabsichtigte Annäherung an ein Arbeitsobjekt von der unbeabsichtigten Annäherung an ein übersehenes Hindernis zu unterscheiden. Ich habe ein System zur Kollisionsvermeidung entwickelt, das das geschätzte Sichtfeld der bedienenden Person als Hinweis auf beabsichtigten Kontakt nutzt. Nähert sich der Arm Objekten außerhalb dieses Sichtfelds, wird er verlangsamt oder angehalten.

Objekte müssen nicht vorab als „manipulierbar“ oder „geschützt“ eingestuft werden; die Einordnung aktualisiert sich, während sich die bedienende Person umsieht. Im Prototyp verwendete ich die Ausrichtung des Headsets als Näherung für die Blickrichtung. Ich implementierte das System auf einem 1,9 Meter großen humanoiden Schwerlastroboter und bestätigte das vorgesehene Verhalten in fünf Demonstrationsversuchen. Das Demovideo zeigt das System im Einsatz.

Diese Forschung führte ich während eines Praktikums bei Jinki Ittai Co., Ltd. für meine Masterarbeit im Studiengang Design & Engineering am Politecnico di Milano durch. Ich stellte sie auf der 39. Jahrestagung der Robotics Society of Japan (RSJ2021) vor.


  1. Titelfolie. Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, Masterstudiengang Design & Engineering am Politecnico di Milano, 2020–2021.
  2. Hintergrund: Das Thema der Arbeit entstand während eines Forschungspraktikums bei Jinki Ittai Co., Ltd., einem Unternehmen, das humanoide Schwerlastroboter mit Master-Slave-Steuerung entwickelt.
  3. Vergleich zwischen autonomen und von Menschen gesteuerten Robotern: Autonome Roboter arbeiten effizient in eigens eingerichteten, abgesperrten Umgebungen; von Menschen gesteuerte Roboter arbeiten mit Menschen in weniger vorhersehbaren Umgebungen zusammen.
  4. Statistiken aus Europa, den USA und Japan zeigen, dass der Kontakt mit bewegten Objekten einen erheblichen Anteil der Unfälle auf Baustellen ausmacht.
  5. Frühere Forschung zur Kollisionsvermeidung: taktile Sensorhaut um einen Manipulator und ein Tiefensensor zur virtuellen Rekonstruktion der Umgebung.
  6. Problem: Bestehende Systeme klassifizieren Objekte mithilfe angebrachter Markierungen, Bildanalyse oder trainierter Klassifikatoren vorab als „geschützt“ oder „manipulierbar“.
  7. Vorschlag: Die bisherigen Systeme stützen sich ausschließlich auf passive Sensordaten. Bei einem von Menschen gesteuerten Roboter befindet sich bereits eine Person im Regelkreis, deren Blickrichtung als aktiver Parameter genutzt werden kann.
  8. Klassifikationsregeln: Objekte im zentralen Sichtfeld der bedienenden Person sind manipulierbar; Objekte außerhalb sind geschützt.
  9. Übersicht des Prototyps: Ein realer Roboter ist mit einer virtuellen Umgebung verbunden. Die folgenden Folien erläutern seine drei technischen Komponenten.
  10. Komponente 1: Das zentrale Sichtfeld als Sichtvolumen von 60° × 55° darstellen und seine Ausrichtung durch die Vorwärtsrichtung des VR-Headsets annähern.
  11. Komponente 2: Ein am Kopf montierter Lidar-Sensor erfasst eine Punktwolke der Umgebung, die als Voxel mit Kollisionserkennung dargestellt wird.
  12. Komponente 3: Der digitale Zwilling folgt der Bewegung des realen Roboters. Annäherungen an Voxel außerhalb des Sichtbereichs lösen Warnungen aus.
  13. Demonstration des Machbarkeitsnachweises: Ein Standbild zeigt den Roboter beim Greifen nach einem Ball auf einer Stange, daneben die Voxel-Darstellung seiner Umgebung.
  14. Nächste Schritte: Menschen im Arbeitsraum erkennen, weitere Verfahren zur Blickrichtungsschätzung untersuchen und quantitative Erprobungen im Einsatz durchführen.
  15. Fazit: Forschungsthema, Beitrag und Neuheit des Verfahrens sowie Erprobung des Prototyps.
Originalfolien auf Englisch.

Problem: Die Vorbereitung von Sicherheitsfunktionen kann den Einsatz vor Ort einschränken

Von Menschen gesteuerte Roboter werden in Umgebungen benötigt, die nicht für einen autonomen Betrieb vorbereitet sind. Auf Baustellen und in Katastrophengebieten verändern sich die Positionen von Menschen und Geräten ebenso wie die Objekte, die der Roboter berühren muss. Um die Kraft einer Maschine nutzen zu können, müssen Bedienende mit diesen Objekten arbeiten und zugleich unbeabsichtigten Kontakt vermeiden können.

Bestehende Ansätze zur Kollisionsvermeidung umfassen Näherungssensoren auf der Roboteroberfläche sowie die virtuelle Rekonstruktion der Umgebung mithilfe von Tiefensensoren. Bei den hier untersuchten Ansätzen mussten Objekte vorab als „manipulierbar“ oder „geschützt“ eingestuft werden. Ohne diese Einordnung würde der Roboter jeden Kontakt vermeiden; die Klassifikation aller Objekte erforderte eine standortspezifische Einrichtung und Kalibrierung. Dieser Vorbereitungsaufwand erschwerte den praktischen Einsatz der Roboter an wechselnden Orten.

Idee: Mithilfe der Blickrichtung bestimmen, wann Kontakt zulässig ist

Bei einem von Menschen gesteuerten Roboter befindet sich bereits eine Person im Regelkreis, die die Situation beurteilt. Ich fragte mich, ob ein Hinweis auf ihre Aufmerksamkeit der Maschine helfen könnte, beabsichtigten Kontakt während einer Aufgabe zu erschließen, ohne Objekte vorab registrieren zu müssen.

Als Grenze verwendete ich das zentrale Sichtfeld der bedienenden Person. Objekte darin werden unter der Annahme, dass die Person sie wahrnimmt, als „manipulierbar“ eingestuft. Objekte außerhalb gelten als „geschützt“, da sie möglicherweise übersehen wurden. Der Entwurf sieht vor, Menschen unabhängig von der Blickrichtung immer zu schützen.

Das System verwendet die Blickrichtung nicht zur direkten Befehlseingabe. Stattdessen übersetzt es den Bereich, in dem die bedienende Person Objekte vermutlich wahrnimmt, in Bedingungen für die Bewegung des Roboters.

Draufsicht auf den Roboter und das zentrale Sichtfeld der bedienenden Person. Ziel A im geschätzten Sichtbereich ist ein weißer Kreis. Die Ziele B, C und D außerhalb sind dunkle Quadrate. Eine Person steht innerhalb des Bereichs, eine weitere außerhalb.
Nach den vorgeschlagenen Regeln ist Ziel A manipulierbar, weil es im zentralen Sichtfeld der bedienenden Person liegt. Die Ziele B, C und D liegen außerhalb und sind geschützt. Menschen werden unabhängig von ihrer Position oder der Blickrichtung stets als geschützt eingestuft. Eine Personenerkennung war in diesem Prototyp jedoch nicht implementiert.

Interaktionsgestaltung

Das System behandelt die Blickrichtung nicht nur als Ein-Aus-Schalter. Nähert sich der Arm einem Objekt außerhalb des Sichtfelds, wird er abhängig vom Abstand schrittweise langsamer und stoppt vor dem Kontakt. Richtet die Person ihren Blick anschließend auf das Objekt, wird die Einschränkung allmählich aufgehoben. Diese Übergänge habe ich so gestaltet, dass abrupte Stopps und Starts vermieden und Veränderungen leichter vorhersehbar werden sollen.

Ein kurzer Blick weg von einem Objekt, das den Roboter bereits berührt, unterbricht die Aufgabe nicht. Einen Greif- oder Manipulationsvorgang allein wegen des Wegschauens anzuhalten, könnte ihn instabiler machen. Annäherungen an Menschen behandelt der Entwurf gesondert: Sie sollen unabhängig von der Blickrichtung eingeschränkt bleiben. Eine Personenerkennung war in diesem Prototyp nicht implementiert.

Ziel war, die Fähigkeiten des Roboters dort zu erhalten, wo die bedienende Person ihre Umgebung wahrnimmt, und Bewegungen dort einzuschränken, wohin ihre Aufmerksamkeit möglicherweise nicht reicht. So sollten Sicherheit und leichte Bedienbarkeit in Einklang gebracht werden, ohne jede Handlung zu verlangsamen.

Ablaufdiagramm der Steuerung, beginnend mit uneingeschränkter Bewegung. Entscheidungen prüfen, ob ein Objekt in der Nähe ist, ob es sich um einen Menschen handelt, ob sich der Manipulator auf diesen Menschen zubewegt und ob sich das Objekt im Sichtbereich befindet. Daraus folgen präzise Bewegung, schrittweises Anhalten oder Sperren.
Nur eine Entscheidung im Ablaufdiagramm nutzt eine aktive Eingabe der bedienenden Person: ob sich das Ziel im Sichtbereich befindet. Alle anderen Verzweigungen beruhen auf passiven Sensordaten. Das englischsprachige Originaldiagramm beginnt mit freier Bewegung. Ist kein Objekt in der Nähe, bleibt sie frei. Andernfalls wird geprüft, ob das Objekt ein Mensch ist. Nähert sich der Manipulator diesem Menschen, folgt schrittweises Anhalten und Sperren. Bewegt sich der Manipulator nicht auf den Menschen zu, ist unmittelbar präzise Bewegung möglich. Handelt es sich nicht um einen Menschen, wird geprüft, ob das Objekt im Sichtbereich liegt: innerhalb führt zu präziser Bewegung, außerhalb zu schrittweisem Anhalten und Sperren.

Vorgesehene Einsatzbereiche

Vorgesehen waren Baustellen und Katastrophengebiete, in denen Maschinen große Kräfte in der Nähe von Menschen ausüben. Solche Umgebungen lassen sich nur schwer vollständig absperren; jedes Objekt vorab zu registrieren ist unpraktisch. Würden die Sicherheitseinstellungen bei jeder Änderung der Anordnung neu konfiguriert, wäre das System weniger anpassungsfähig und in dringenden Situationen langsamer einsetzbar.

Die blickbasierte Klassifikation nutzt die momentane Wahrnehmung der bedienenden Person statt einer festen Einordnung der Umgebung. Sie könnte den Vorbereitungsaufwand vor Ort verringern und zugleich die Annäherung an übersehene Objekte einschränken. Diese Studie bestätigte jedoch nur, dass sich das System wie vorgesehen verhielt. Ob der Ansatz Unfälle im realen Einsatz verringert, wurde nicht untersucht.

Prototyp und vorläufige Erprobung

Implementierung

Ich implementierte das System auf einem Roboter in Form eines menschlichen Oberkörpers mit einer Höhe von 1,9 Metern, einem Gewicht von 600 kg und 30 Freiheitsgraden. Die bedienende Person trägt ein VR-Headset, das die Ansicht und Kopfausrichtung des Roboters mit ihren eigenen Bewegungen synchronisiert.

Ein Lidar-Sensor am Roboter erfasste den Arbeitsraum als Punktwolke, die in der virtuellen Umgebung durch Voxel mit Kollisionserkennung dargestellt wurde. Ein digitaler Zwilling synchronisierte den virtuellen Roboter mit der realen Maschine. Das zentrale Sichtfeld der bedienenden Person stellte ich als Sichtvolumen von 60° × 55° dar; seine Ausrichtung näherte ich durch die Vorwärtsrichtung des Headsets an. Näherte sich der Arm einem Voxel außerhalb dieses Bereichs, sendete das System eine Warnung an den realen Roboter, um seine Bewegung zu verlangsamen oder anzuhalten.

Virtueller Arbeitsraum aus gelben Voxeln. Ein halbtransparenter roter Bereich markiert das zentrale Sichtfeld der bedienenden Person. Der weiße digitale Zwilling greift nach einem Hindernis außerhalb dieses Bereichs.
Die virtuelle Umgebung enthält den digitalen Zwilling des Roboters und die gescannte Punktwolke. Die Szene zeigt Hindernisse außerhalb des geschätzten zentralen Sichtfelds der bedienenden Person.

Vorläufige Erprobung

Jeder Versuch folgte demselben Ablauf: Annäherung an ein Ziel außerhalb des geschätzten Sichtfelds, Drehen des Headsets zum Ziel nach dem Anhalten des Arms, um die Einschränkung aufzuheben, und anschließend Greifen des Balls. Vier der fünf Versuche führte eine erfahrene Bedienperson durch; im verbleibenden Versuch nutzte die Person das Cockpit erst zum zweiten Mal. In jedem Versuch stoppte der Arm, solange sich das Ziel außerhalb des geschätzten Sichtfelds befand, und konnte sich wieder bewegen, sobald es in diesen Bereich gelangte. Die Versuche prüften, ob das vorgesehene Verhalten am realen Roboter funktionierte. Seine Wirksamkeit wurde dabei nicht in einer Nutzerstudie untersucht.

Die bedienende Person sitzt im oberen Rahmen des Roboters und schaut zur Seite. Die Roboterhand hat vor einem blau-gelben Ball auf einer gelben Stange angehalten; der verbleibende Abstand ist markiert.
Das Ziel befindet sich außerhalb des geschätzten Sichtfelds der bedienenden Person; der Arm hält an, bevor er es erreicht.
Ansicht von unten: Die bedienende Person schaut zum blau-gelben Ball, während die Roboterhand ihn oben auf der gelben Stange greift.
Gelangt das Ziel in das geschätzte Sichtfeld der bedienenden Person, kann dieselbe Bewegung ohne Einschränkung fortgesetzt werden.

Grenzen und nächste Schritte

Der Prototyp enthielt keine Personenerkennung. Obwohl der Entwurf vorsieht, Menschen immer zu schützen, müsste ein System für den realen Einsatz sie zuverlässig erkennen können. Außerdem verwendete der Prototyp die Vorwärtsrichtung des Headsets als Näherung für die Blickrichtung und konnte deshalb Augenbewegungen unabhängig von Kopfbewegungen nicht erkennen.

Eine stationäre Kamera oder eine Datenbrille mit Eye-Tracking würde die Anforderungen an die am Körper getragene Ausrüstung und die Genauigkeit der Blickschätzung verändern. Eine Erweiterung auf einen mobilen Roboter würde außerdem eine Punktwolkenverarbeitung erfordern, die Veränderungen der eigenen Roboterposition berücksichtigt.

Die Auswertung beschränkte sich auf qualitative Prüfungen in fünf Demonstrationsversuchen. Um Sicherheit, Bearbeitungsgeschwindigkeit und die Belastung der Bedienenden zu beurteilen, wären quantitative Vergleiche mit herkömmlichen Verfahren unter realen Arbeitsbedingungen erforderlich.

Erkenntnisse

Diese Forschung nutzte das geschätzte Sichtfeld der bedienenden Person, um zulässige Maschinenhandlungen festzulegen. Das Verhalten des Roboters gegenüber demselben Objekt änderte sich mit der vermuteten Wahrnehmung durch die Person. Mein Fokus lag auf dem Zusammenhang zwischen dieser vermuteten Wahrnehmung und dem Handlungsspielraum der Maschine, weniger auf einzelnen Bewegungen.

Diese Perspektive prägt weiterhin die Arbeit in meinem Portfolio: den Zustand eines Menschen verstehen, ihn in Vorgaben übersetzen, die das System einhalten muss, und Maschinen oder KI innerhalb dieser Grenzen arbeiten lassen. Die Forschung im Rahmen meiner Masterarbeit war der Ausgangspunkt dieses Ansatzes.

Danksagung

Diese Forschung führte ich während eines Praktikums bei Jinki Ittai Co., Ltd. im Rahmen des Masterstudiengangs Design & Engineering am Politecnico di Milano durch. Beiden Einrichtungen danke ich dafür, dass sie diese Arbeit ermöglicht haben.

Takafumi Horiuchi und Katsuya Kanaoka. „Gaze-based Unintended Contact Prevention for Human-Operated Robots.“ 39. Jahrestagung der Robotics Society of Japan, 2021, 2J2-07. Tagungsprogramm