Masterarbeit über die Gestaltung der Mensch-Roboter-Interaktion

von Takafumi Horiuchi

Juli 2021

Überblick

Wer einen großen Roboter bedient, kann immer nur einem Teil des Arbeitsraums Aufmerksamkeit schenken. Diese Arbeit hat gefragt, was sich ändert, wenn man der Maschine sagt, wo diese Aufmerksamkeit gerade liegt. Ich habe einen Kollisionsschutz entworfen, bei dem der Blick des Bedieners bestimmt, wie sich der Roboter verhalten darf: Was in sein zentrales Sichtfeld fällt, lässt sich frei handhaben, was außerhalb liegt, ist geschützt — der Arm wird langsamer und hält an, bevor er ankommt. Nichts muss vorab ausgezeichnet werden. Die Unterscheidung entsteht im Moment der Arbeit, von dort aus, wohin der Bediener gerade schaut. Das Demonstrationsvideo gibt es hier (auf YouTube).

Die Arbeit war meine Masterarbeit in Design & Engineering am Politecnico di Milano, entstanden während eines Forschungspraktikums bei Man-Machine Synergy Effectors, Inc. in Japan, und wurde auf der 39. Jahreskonferenz der Robotics Society of Japan (RSJ2021) vorgestellt.

Hier nimmt auch meine Designphilosophie ihre heutige Form an. Was dieses System liest, ist kein Befehl, sondern ein kognitiver Zustand — ob etwas überhaupt bemerkt worden ist — und es übersetzt diesen Zustand in die Bedingungen, unter denen die Maschine handeln darf. Gestaltet wird nicht die Bewegung des Roboters, sondern die Beziehung: Was die Maschine tun darf, folgt daraus, was der Mensch gerade versteht. Diese Beziehung zu gestalten statt jedes einzelne Verhalten ist derselbe Griff, den ich heute mache, wo nicht ein Roboterarm handelt, sondern eine generative KI.

  1. Titelfolie: Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation, Politecnico di Milano, Laurea Magistrale in Design & Engineering, Studienjahr 2020–2021.
  2. Hintergrund: Das Thema der Arbeit entstand während eines Forschungspraktikums bei Man-Machine Synergy Effectors, Inc., einem Unternehmen, das anthropomorphe schwere Maschinen entwickelt, die über ein Master-Slave-System bedient werden.
  3. Autonome Roboter im Vergleich zu menschlich bedienten: Erstere arbeiten effizient in eigens gestalteten, umzäunten Räumen, letztere in unsicheren Räumen neben Menschen.
  4. Statistiken aus Europa, den Vereinigten Staaten und Japan, nach denen das Getroffenwerden von bewegten Gegenständen einen erheblichen Teil der Unfälle auf Baustellen ausmacht.
  5. Verwandte Forschung zum Kollisionsschutz: sensitive Haut, die den Manipulator überzieht, und Tiefensensoren, die eine virtuelle Abbildung der Umgebung aufbauen.
  6. Das derzeitige Hindernis: Bestehende Systeme verlangen, dass Objekte vorab als geschützt oder handhabbar festgelegt werden — über getragene Tags, Bildanalyse oder trainierte Klassifikatoren.
  7. Der Vorschlag: Herkömmliche Systeme nutzen nur passive Sensordaten, während ein menschlich bedienter Roboter ohnehin einen Menschen im Regelkreis hat, dessen Blick als aktiver Parameter dienen kann.
  8. Die Einteilungsregel: Objekte innerhalb des zentralen Sichtfelds des Bedieners sind handhabbar, Objekte außerhalb sind geschützt.
  9. Überblick über den Prototyp: ein physischer Roboter, gekoppelt mit einem virtuellen Rechenraum, danach folgen drei technische Bausteine.
  10. Baustein eins: das zentrale Sichtfeld als Kegel von 60 mal 55 Grad, dessen Richtung durch die Blickrichtung der VR-Brille angenähert wird.
  11. Baustein zwei: Ein LIDAR am Kopf des Roboters scannt die Umgebung in Punktwolken, dargestellt als Voxel mit jeweils eigenem Collider.
  12. Baustein drei: Ein digitaler Zwilling des Roboters bewegt sich mit dem physischen, und Näherungswarnungen werden ausgelöst, wenn sein Arm auf Voxel außerhalb des Sichtfelds trifft.
  13. Machbarkeitsnachweis: ein Videostandbild des Roboters, der nach einem Ball auf einer Stange greift, mit eingeblendeter virtueller Voxelansicht.
  14. Ausblick: Menschen im Arbeitsraum erkennen, andere Verfahren zur Messung der Blickrichtung erproben und das System im Feld quantitativ bewerten.
  15. Schlussfolie mit einer Zusammenfassung von Thema, Nutzen des Verfahrens, Neuheit und Art der Verifikation.
Die Folien meiner Masterarbeitsverteidigung. Den Streifen seitlich scrollen; jede Folie öffnet sich in voller Größe.

Kurzfassung

Menschlich bediente Roboter sind gerade dort wertvoll, wo autonome es nicht sind: in Arbeitsräumen, die nie für die anstehende Aufgabe gestaltet wurden, neben Menschen und Geräten, die nicht getroffen werden dürfen. Bestehende Kollisionsschutzsysteme bewältigen solche Räume, indem jedes Objekt vorab entweder als Ziel der Handhabung oder als zu schützend deklariert wird — ein Einrichtungsaufwand, der für eine Maschine, die von Einsatzort zu Einsatzort getragen wird, unbeherrschbar wächst.

Diese Arbeit schlug vor, diese Unterscheidung stattdessen zur Laufzeit zu treffen, aus dem Blick des Bedieners. Objekte innerhalb seines zentralen Sichtfelds gelten als handhabbar, Objekte außerhalb als geschützt, Menschen unter allen Umständen als geschützt. Das Verfahren bringt einen aktiven Parameter — einen menschlichen — in einen Regelkreis, der bis dahin vollständig aus passiven Sensordaten bestand. Der Prototyp wurde auf JINKI type Zero umgesetzt, einem 1,9 m großen anthropomorphen Schwermaschinen-Roboter, und verhielt sich in fünf Demonstrationsdurchläufen wie festgelegt.

1. Einleitung

Ein menschlich bedienter Roboter verbindet zwei Dinge, die schwer zusammen zu haben sind: die Kraft und Präzision einer Maschine und das Situationsurteil eines Menschen. Vollständig autonome Roboter liefern das zweite noch nicht. Und während Industrieroboter in eigens gestalteten Zellen hinter Zäunen arbeiten, sollen menschlich bediente an Orten arbeiten, die für etwas anderes eingerichtet wurden — neben den Arbeitern vor Ort, zwischen empfindlichem Gerät, in kerntechnischen Anlagen und auf Baustellen. Dass der Roboter seine Umgebung nicht beschädigt, gehört daher zu dem, was ihn überhaupt brauchbar macht.

Die etablierten Vorkehrungen gegen unbeabsichtigten Kontakt sind sensitive Haut, bei der Näherungssensoren jede kritische Stelle des Manipulators bedecken, und Tiefenerfassung, bei der die Umgebung als Punktwolke rekonstruiert und Abstände in diesem virtuellen Raum berechnet werden. Beides funktioniert. Beides setzt jedoch voraus, dass die Objekte um den Roboter herum bereits sortiert sind in solche, die er berühren darf, und solche, die er nicht berühren darf: Ohne diese Sortierung kann eine Maschine, der jede Kollision verboten ist, auch nichts handhaben. Für ein Allzweckwerkzeug, das zwischen Einsatzorten transportiert und mitten in das gestellt wird, was dort steht, kosten Einrichtung und Kalibrierung mehr, als die Sicherheit wert ist, die sie erkaufen.

Der Ansatzpunkt dieser Arbeit ist, dass ein menschlich bedienter Roboter ohnehin einen Menschen in seinem Regelkreis hat. Untersuchungen zu Bedienfehlern nennen das Situationsbewusstsein — ein zutreffendes Erfassen dessen, was ringsum geschieht — als entscheidenden Faktor, und es ist bekannt, dass dieses Bewusstsein stark mit der Blickrichtung zusammenhängt. Kollisionsschutz wurde herkömmlich allein aus passiver Information aufgebaut, also aus Sensordaten. Ein einziger aktiver Parameter — wohin der Bediener schaut — gibt dem System einen Hinweis darauf, ob ein Kontakt mit einem bestimmten Objekt beabsichtigt wäre oder nicht.

Schema von oben: Ein Kegel markiert das zentrale Sichtfeld des Bedieners vor dem Roboter. Objekt A innerhalb des Kegels ist als weißer Kreis gezeichnet, die Objekte B, C und D außerhalb als dunkle Quadrate, und zwei menschliche Figuren stehen innerhalb und außerhalb des Kegels.
Objekt A im zentralen Sichtfeld des Bedieners ist handhabbar; die Objekte B, C und D außerhalb sind geschützt. Menschen sind geschützt, wo immer sie stehen.

2. Verhalten des Systems

Ein Objekt, das der Bediener berühren will, heißt handhabbares Objekt und darf ohne Einschränkung bewegt werden. Ein Objekt, dem gegenüber er diese Absicht nicht hat, ist ein geschütztes Objekt und darf nicht berührt werden. Welches von beiden ein Objekt in einem Augenblick ist, folgt aus seiner Lage zum zentralen Sichtfeld des Bedieners: innerhalb steht es unter genug Aufmerksamkeit, um als beabsichtigt zu gelten; außerhalb nicht.

Fünf Regeln bestimmen das Verhalten, das daraus folgt. Der Manipulator darf mit Objekten im zentralen Sichtfeld frei in Berührung kommen. Mit Objekten außerhalb darf er es nicht und hält allmählich an, während er sich einem nähert. Im angehaltenen Zustand wird er allmählich freigegeben, sobald das Sichtfeld des Bedieners auf ihn übergeht. Keine Einschränkung greift, wenn das Sichtfeld ein Objekt verlässt, mit dem der Manipulator bereits in Kontakt ist, damit laufende Arbeit nicht durch einen Blick zur Seite unterbrochen wird. Und mit einem Menschen darf der Manipulator nicht in Berührung kommen, wo immer diese Person steht. Hat ein Roboter mehrere Manipulatoren, gelten die Regeln für jeden einzeln.

Was der Bediener davon hat: Er kann mit voller Geschwindigkeit an dem arbeiten, was er ansieht, und sich darauf verlassen, dass die Maschine das Gerät nicht trifft, das er nicht ansieht. Die Sicherheit der Menschen vor Ort ist bedingungslos und hängt von seinen Absichten überhaupt nicht ab.

Flussdiagramm, das bei der Handhabung in freier Bewegung beginnt und danach verzweigt, ob ein Objekt nahe ist, ob es ein Mensch ist, ob der Manipulator sich diesem Menschen nähert und ob das Objekt im Fokusbereich liegt — mit den Ausgängen Feinhandhabung, allmähliches Anhalten oder Sperren.
Nur ein einziger Knoten des Entscheidungswegs — „Objekt liegt im Fokusbereich“ — liest den aktiven Parameter des Bedieners. Alle anderen Zweige laufen auf passiven Sensordaten.

3. Erwarteter Nutzen

Schwere Maschinen liefern das nächstgelegene vorhandene Bild dieser Art von Arbeit: große Kräfte, aufgebracht an unstrukturierten Orten neben Menschen. Kollisionsunfälle gehören weltweit zu den Hauptgefahren auf Baustellen, und Unaufmerksamkeit wird immer wieder als Ursache genannt. Von den 362.600 Unfällen, die 2018 auf europäischen Baustellen erfasst wurden, entfielen 19,6 % auf das Getroffenwerden von einem bewegten Gegenstand; eine Untersuchung von Kranunfällen führte 19 % davon auf Unaufmerksamkeit des Bedieners zurück.

Da Aufmerksamkeit und Blickrichtung stark zusammenhängen, lassen sich diese beiden Anteile zu einer groben Schätzung dessen verbinden, was ein blickbasiertes System abdecken könnte — in der Größenordnung von dreizehntausend Unfällen pro Jahr in Europa. Die Zahl ist eine Ableitung aus veröffentlichten Statistiken und kein gemessenes Ergebnis; sie steht hier als Größenordnung.

4. Verifikation des Systems

Als Machbarkeitsnachweis wurde ein Demonstrationssystem gebaut und betrieben.

4.1 Umsetzung

Umgesetzt wurde das System auf JINKI type Zero, einem bei Man-Machine Synergy Effectors, Inc. entwickelten Roboter. Er hat den Oberkörper eines Menschen, ist 1,9 m hoch, wiegt 600 kg und besitzt dreißig Freiheitsgrade. Bediener und Roboter befinden sich am selben Ort und sind als Master-Slave-System gekoppelt: Eine VR-Brille synchronisiert Sicht und Kopfdrehung des Bedieners mit denen des Roboters, was das Gefühl gibt, mit der Maschine eins zu sein, statt sie zu steuern.

Ein am Roboter montiertes LIDAR scannt den umgebenden Arbeitsplatz als Punktwolken, die im virtuellen Raum als Voxel mit je eigenem Collider dargestellt werden. Ein digitaler Zwilling des Roboters bewegt sich in demselben Raum; überlappt sein Arm mit Voxeln, gibt das System eine Näherungswarnung aus, deren Wirkung von der Richtung des Sichtfelds abhängt. Dieses Feld ist als Kegel von 60° × 55° (H×V) modelliert — nahe an dem Bereich, in dem Menschen Symbole, Farbe und Tiefe wahrnehmen — und seine Richtung wird durch die Blickrichtung der Brille angenähert. Die Warnung geht an den physischen Roboter und formt dessen Bewegung nach den obigen Regeln.

Eine virtuelle Szene: Gelbe Voxel bauen die Umgebung nach, ein durchscheinend roter Bereich mit der Beschriftung „zentrales Sichtfeld des Bedieners“ schneidet hindurch, und der weiße digitale Zwilling des Roboters greift nach einem Hindernis außerhalb dieses Bereichs.
Der virtuelle Raum mit dem Roboter und der gescannten Punktwolke. Hier trifft der Roboter auf Hindernisse, die außerhalb des zentralen Sichtfelds des Bedieners liegen.

4.2 Demonstrationsexperiment

Eine Vorabbewertung prüfte, ob die Umsetzung tat, was festgelegt worden war. Der Bediener sollte den Arm zu einer Stange bewegen, während er zur Seite sah, bestätigen, dass das System gewarnt und den Arm angehalten hatte, dann den angehaltenen Arm ansehen, um die Sperre zu lösen, und schließlich einen Ball von der Stangenspitze nehmen, während er ihn im Blick behielt. Fünf Durchläufe wurden gefahren: die ersten drei und der fünfte von einem erfahrenen Bediener, der vierte von jemandem, der den Roboter zum zweiten Mal steuerte. Jeder wurde aufgezeichnet. In allen fünf verhielt sich das System so, wie Abschnitt 2 es festlegt. Zu sehen ist die Demonstration im Video des Systems im Betrieb.

Foto des Roboters, darüber der in einem Rahmen hängende Bediener, der zur Seite blickt. Die Roboterhand ist vor einem blau-gelben Ball auf einer gelben Stange stehen geblieben, der verbleibende Abstand ist eingezeichnet.
Der Blick des Bedieners ist abgewandt, und der Arm hält in einigem Abstand zum Objekt an.
Foto aus flacherem Winkel: Der Bediener sieht zum Ball, und die Roboterhand greift den blau-gelben Ball auf der gelben Stange.
Ist der Blick auf das Objekt gerichtet, läuft dieselbe Bewegung ohne Einschränkung durch.

5. Grenzen und weitere Arbeit

Die Erkennung von Menschen wurde im Prototyp nicht umgesetzt. Zu prüfen war das Verhältnis zwischen dem Blick des Bedieners und der Handhabbarkeit von Objekten, und die Regel zum Schutz von Menschen ist bedingungslos und hängt davon nicht ab. Diese Erkennung zu ergänzen, würde das System robuster machen und darüber hinaus Anwendungen jenseits der Sicherheit öffnen — etwa Menschen in der Nähe des Roboters im Blickfeld des Bedieners hervorzuheben oder zu warnen, bevor eine Näherungsgrenze erreicht ist.

Der Blick wurde durch die Blickrichtung der Brille angenähert. Gewählt wurde das wegen seiner Unmittelbarkeit, auf die es in einem Master-Slave-System ankommt; andere Instrumente aber — feste Kameras, Eyetracker in Datenbrillen — würden ihn anders schätzen und könnten die Hemmschwelle senken, ein solches System in Branchen einzuführen, die es nicht gewohnt sind, etwas zu tragen. Die Übertragung auf mobile Roboter wirft ein weiteres Problem auf: JINKI type Zero steht fest, solange er in Entwicklung ist, und eine Maschine, die im Betrieb ihren Standort ändert, braucht eine Punktwolkenverarbeitung, die schnell genug mitkommt.

Die Bewertung selbst bleibt qualitativ. Eine quantitative Feldstudie ist der richtige Weg, das System zu beurteilen, und wartet darauf, dass der Roboter ein praxistaugliches Stadium erreicht.

6. Fazit

Die Arbeit schlug für menschlich bediente Robotermanipulatoren einen Kollisionsschutz vor, der den Blick des Bedieners nutzt, um unbeabsichtigten Kontakt mit Menschen und Geräten zu verhindern. Unter der Annahme, dass Bewusstsein und Blickrichtung stark zusammenhängen, wurden Objekte im zentralen Sichtfeld als handhabbar und die außerhalb als geschützt behandelt. Einen menschlichen Faktor in den Regelkreis zu setzen, machte es möglich, diese Linie zur Laufzeit zu ziehen — ohne jede Vorbereitung, die die bestehenden Verfahren verlangen.

Verifiziert wurde das System an einem Allzweck-Schwermaschinenroboter, und es verhielt sich wie festgelegt. Dasselbe Prinzip sollte sich überall dorthin übertragen lassen, wo ein Mensch ohnehin Teil des Kreises ist, über den eine Maschine bedient wird.

Danksagung

Diese Arbeit entstand während eines Praktikums bei Man-Machine Synergy Effectors, Inc. als Teil der Anforderungen des Masterstudiengangs Design & Engineering am Politecnico di Milano. Beiden Organisationen danke ich dafür, diese Gelegenheit möglich gemacht zu haben.

Takafumi Horiuchi und Katsuya Kanaoka: „Gaze-based Unintended Contact Prevention for Human-Operated Robots“. 39. Jahreskonferenz der Robotics Society of Japan, 2021, Beitrag 2J2-07. Konferenzprogramm.