Masterarbeit über Interaktionsdesign zwischen Mensch und Roboter
Juli 2021
Übersicht
Bei großformatigen Robotern, die von Menschen gesteuert werden, ist es schwierig, allein mit den Sensoren in der Umgebung zwischen Bewegungen, die sich dem Arbeitsobjekt nähern, und Bewegungen, die sich einem übersehenen Hindernis nähern, zu unterscheiden. Daher wurde ein Kollisionsvermeidungssystem entwickelt, das den vom Bediener gesehenen Bereich als Hinweis dafür nutzt, dass dort berührt werden darf, und den Arm verlangsamt oder stoppt, wenn er sich einem nicht gesehenen Objekt nähert.
Es ist nicht notwendig, das Zielobjekt im Voraus als „manipulierbar“ oder „zu schützen“ zu registrieren. Diese Unterscheidung wird je nach Blickrichtung des Bedieners während der Arbeit aktualisiert. Wir haben dies in einem humanoiden Schwerlastroboter mit einer Größe von 1,9 m implementiert und in fünf Demo-Versuchen bestätigt, dass das definierte Verhalten funktioniert. Die tatsächliche Bewegung ist in Demovideo zu sehen.
Als Masterarbeit im Bereich Design & Engineering an der Technischen Universität Mailand wurde sie während eines Forschungspraktikums bei der Firma Jinki-ittai bearbeitet und bei 39. Wissenschaftliche Vortragsveranstaltung der Japanischen Robotergesellschaft (RSJ2021) präsentiert.
Problem — Voreinstellungen für die Sicherheit binden den Einsatzort
Der Bedarf an von Menschen gesteuerten Robotern besteht an Orten, die nicht für autonome Roboter vorbereitet sind. An Orten wie Baustellen oder Katastrophengebieten ändern sich die Positionen von Menschen und Ausrüstung, und es ändert sich auch, was bei jedem Arbeitsschritt berührt werden darf. Um die große Kraft von Maschinen zu nutzen, muss man in der Lage sein, das erforderliche Ziel zu berühren und gleichzeitig unbeabsichtigte Kontakte zu vermeiden.
Bei den bestehenden Kollisionsvermeidungen gibt es Methoden, den Roboter mit Näherungssensoren zu umgeben oder die Umgebung mit Tiefensensoren in einem virtuellen Raum nachzubilden. Allerdings muss in beiden Fällen vorher unterschieden werden, ob ein Objekt „manipulierbar“ oder „zu schützendes Ziel“ ist. Wenn nichts registriert wird, kann aus Sicherheitsgründen nichts berührt werden, und um alles zu registrieren, sind standortspezifische Einstellungen und Kalibrierungen erforderlich. Diese Vorbereitungsaufwände minderten die Praktikabilität von Robotern, die an verschiedenen Orten eingesetzt werden.
Idee – Den Blick in eine "Bedingung, unter der er berührt werden darf", verwandeln
In der Steuerungsschleife eines von Menschen gesteuerten Roboters ist bereits eine Person, die die Situation beurteilt. Wenn man der Maschine mitteilen könnte, worauf der Mensch seine Aufmerksamkeit richtet, dachte ich, dass man die Absicht der Berührung während der Arbeit schätzen könnte, anstatt das Ziel im Voraus zu registrieren.
Daher wird das zentrale Sichtfeld des Bedieners als Grenze verwendet. Objekte innerhalb des Sichtfelds werden als ‚bedienbare Objekte‘ betrachtet, die der Bediener erfasst. Objekte außerhalb des Sichtfelds werden als ‚zu schützende Objekte‘ betrachtet, die möglicherweise übersehen werden. Menschen werden unabhängig von der Position des Blicks immer als zu schützende Objekte betrachtet.
Dies ist kein System, um dem Roboter Befehle mit Blicken zu geben. Es ist ein System, das den kognitiven Zustand des Bedieners in Bedingungen umwandelt, unter denen der Roboter sich bewegen darf.
Interaktionsdesign
Das System macht die Position des Blicks nicht zu einem einfachen Ein- und Ausschalter. Nähern sich die Arme einem nicht beachteten Objekt, verlangsamen sie allmählich entsprechend der Entfernung und stoppen, bevor sie das Objekt berühren. Sobald der Bediener nach dem Stopp seinen Blick auf das Objekt richtet, werden die Einschränkungen ebenfalls allmählich aufgehoben. Dadurch werden plötzliche Stopps oder plötzliche Bewegungen vermieden und der Bediener kann die Veränderungen vorhersagen.
Andererseits wird die laufende Arbeit nicht gestoppt, selbst wenn man den Blick vorübergehend von dem bereits berührten Objekt abwendet. Wenn Greifen oder Bedienen allein durch das Abwenden des Blicks unterbrochen würde, würde es im Gegenteil instabil werden. Nur die Annäherung an Menschen wird gesondert behandelt und eingeschränkt, unabhängig davon, ob der Bediener hinsieht oder nicht.
Das Ziel war nicht, die Arbeit aus Sicherheitsgründen einheitlich zu verlangsamen. Es geht darum, die Fähigkeiten des Roboters im Rahmen des Verständnisses des Bedieners aufrechtzuerhalten und nur die Bereiche zu schützen, die außerhalb seiner Aufmerksamkeit liegen, um Sicherheit und Arbeitsfähigkeit zu vereinbaren.
Angenommene Nutzungsszenarien
Der Zielbereich sind Szenarien wie Baustellen oder Katastrophenorte, an denen in der Nähe von Menschen große Kräfte gehandhabt werden. An solchen Orten ist es schwierig, die Umgebung vollständig mit Zäunen abzugrenzen oder jedes Objekt im Voraus zu registrieren. Ein System, das bei jeder Änderung der Anordnung die Sicherheitseinstellungen neu vornimmt, würde die Dringlichkeit und Vielseitigkeit beeinträchtigen.
Die auf Blickrichtungen basierende Unterscheidung nutzt anstelle eines festen Umgebungsmodells die Situationswahrnehmung der Person in diesem Moment. Sie könnte die Annäherung an übersehene Objekte reduzieren und gleichzeitig die Belastung durch die Vorbereitung vor Ort verringern. Allerdings wurde in dieser Studie nur bestätigt, dass das System gemäß den Vorgaben funktioniert, und die Wirkung auf die Unfallreduktion wurde nicht in der Praxis bewertet.
Prototyp und Vorbewertung
Implementierung
Das System wurde in einen 1,9 Meter großen, 600 kg schweren Roboter mit 30 Freiheitsgraden implementiert, der die Form des Oberkörpers eines Menschen hat. Der Bediener trägt ein VR-Headset und steuert den Roboter, indem das Sichtfeld und die Kopfbewegungen des Roboters mit den eigenen Bewegungen synchronisiert werden.
Mit dem LIDAR auf dem Roboter wurde der Arbeitsbereich als Punktwolke erfasst und im virtuellen Raum als Voxel mit Kollisionsprüfung dargestellt. Ein Digital Twin, der diesen Raum mit der realen Maschine synchronisiert, läuft. Das zentrale Sichtfeld des Bedieners wurde als Kegel von 60°×55° dargestellt und die Richtung anhand der Front des Headsets approximiert. Wenn der Arm sich Voxel außerhalb des Sichtfelds nähert, wird eine Warnung an die Maschine gesendet, die diese verlangsamt oder stoppt.
Vorläufige Bewertung
Der Bediener näherte den Arm dem Objekt, während er den Blick vom Objekt abwandte, hob nach dem Stoppen die Einschränkung, indem er den Blick wieder auf das Objekt richtete, und griff schließlich den Ball – eine Abfolge von Operationen, die ausprobiert wurde. Von den fünf Versuchen wurden vier von erfahrenen Bedienern durchgeführt, einer vom Bediener bei seiner zweiten Sitzung. In allen Versuchen hielt der Arm an, wenn der Blick abgewandt war, und die Bedienung konnte fortgesetzt werden, sobald der Blick auf das Objekt gerichtet wurde. Dies ist kein Benutzerexperiment zur Messung der Wirksamkeit, sondern eine vorläufige Bewertung, um zu überprüfen, ob das entworfene Verhalten auf dem realen System funktioniert.
Grenzen und die nächste Überprüfung
Im Prototyp wurde die Erkennung von Personen nicht implementiert. Es wurde eine Regel aufgestellt, dass Personen unabhängig von der Blickrichtung immer geschützt werden, aber in einer realen Umgebung ist ein Mechanismus erforderlich, um Personen zuverlässig zu identifizieren. Außerdem wurde nicht der Blick selbst, sondern die Vorderseite des Headsets als Stellvertreterwert verwendet, sodass Bewegungen nur der Augen nicht erfasst werden.
Wenn man stationäre Kameras oder Smart Glasses mit Blickverfolgung verwendet, ändern sich die Bedingungen für die anzulegenden Geräte und die geschätzte Genauigkeit. Beim Einsatz auf mobilen Robotern wird zudem eine Punktwolkenverarbeitung erforderlich, die den Positionsänderungen des Roboters selbst folgen kann.
Die Bewertung beschränkt sich auf eine qualitative Überprüfung anhand von fünf Demo-Versuchen. Um Sicherheit, Arbeitstempo und Belastung des Bedieners zu beurteilen, ist ein quantitativer Vergleich mit der herkömmlichen Methode unter realen Arbeitsbedingungen erforderlich.
Die Perspektive, die aus dieser Forschung gewonnen wurde
In dieser Studie wurde der menschliche Blick nicht als Eingabegerät verwendet, sondern als Bedingung für das Handeln der Maschine behandelt. Je nachdem, was eine Person gerade wahrnimmt, ändert sich das Verhalten des Roboters gegenüber demselben Objekt. Entworfen wurde nicht eine einzelne Handlung, sondern die Beziehung zwischen dem kognitiven Zustand des Menschen und der Autorität der Maschine.
Diese Denkweise führt auch zu dem heutigen Meine Designphilosophie. Den Zustand des Menschen zu verstehen, diesen in eine vom System einzuhaltende Einschränkung zu übersetzen und innerhalb dessen die Fähigkeiten von Maschinen und KI zur Entfaltung zu bringen. Die Masterarbeit wurde zum Ausgangspunkt dafür.
Danksagung
Diese Studie wurde im Rahmen des Masterstudiengangs Design & Engineering an der Technischen Universität Mailand während eines Praktikums bei der Firma Jinki Ittai durchgeführt. Ich danke beiden Organisationen sehr für die Möglichkeit, dies zu realisieren.
Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Conference programme