Tesis magister tentang desain interaksi manusia–robot
Juli 2021
Gambaran umum
Pada robot besar yang dioperasikan manusia, sensor lingkungan saja dapat kesulitan membedakan gerakan yang sengaja mendekati objek kerja dari gerakan yang tidak sengaja mendekati hambatan yang luput dari perhatian. Saya merancang sistem pencegahan tabrakan yang menggunakan perkiraan bidang pandang operator sebagai petunjuk niat untuk melakukan kontak, lalu memperlambat atau menghentikan lengan saat mendekati objek di luar bidang tersebut.
Objek tidak perlu diklasifikasikan terlebih dahulu sebagai “dapat dioperasikan” atau “dilindungi”; klasifikasinya diperbarui saat operator melihat sekeliling. Dalam prototipe ini, saya menggunakan orientasi headset sebagai perkiraan arah pandangan. Saya mengimplementasikan sistem pada robot humanoid untuk pekerjaan berat setinggi 1,9 meter dan mengonfirmasi perilaku yang diharapkan dalam lima uji demonstrasi. Video demonstrasi memperlihatkan sistem saat bekerja.
Saya melakukan penelitian ini selama magang di Jinki Ittai Co., Ltd. untuk tesis magister Design & Engineering di Politecnico di Milano. Penelitian ini saya presentasikan pada Konferensi Tahunan ke-39 Robotics Society of Japan (RSJ2021).
Masalah: Penyiapan keselamatan dapat membatasi pekerjaan lapangan
Robot yang dioperasikan manusia dibutuhkan di lingkungan yang belum disiapkan untuk operasi otonom. Di lokasi konstruksi dan daerah bencana, posisi orang dan peralatan serta objek yang perlu disentuh robot berubah-ubah. Agar kekuatan mesin dapat dimanfaatkan, operator harus dapat bekerja dengan objek tersebut sambil menghindari kontak yang tidak disengaja.
Pendekatan penghindaran tabrakan yang sudah ada mencakup pemasangan sensor jarak dekat di seluruh robot dan rekonstruksi lingkungan dalam ruang virtual menggunakan sensor kedalaman. Pada pendekatan yang ditelaah di sini, objek harus diklasifikasikan terlebih dahulu sebagai “dapat dioperasikan” atau “dilindungi”. Tanpa klasifikasi tersebut, robot akan menghindari semua kontak; mengklasifikasikan setiap objek memerlukan penyiapan dan kalibrasi khusus untuk tiap lokasi. Persiapan ini mengurangi kepraktisan penggunaan robot di berbagai lokasi.
Gagasan: Menggunakan pandangan untuk menentukan kapan kontak diizinkan
Dalam loop kontrol robot yang dikendalikan manusia, sudah ada orang yang menilai situasinya. Saya berpikir jika kita bisa menyampaikan ke mana perhatian manusia tertuju kepada mesin, maka alih-alih mendaftarkan target sebelumnya, mungkin kita bisa memperkirakan niat untuk melakukan kontak selama pekerjaan berlangsung.
Saya menggunakan bidang pandang pusat operator sebagai batas. Objek di dalamnya diklasifikasikan sebagai “dapat dioperasikan”, dengan asumsi bahwa operator menyadari keberadaannya. Objek di luarnya diklasifikasikan sebagai “dilindungi” karena mungkin luput dari perhatian. Desain menetapkan bahwa manusia harus selalu dilindungi, terlepas dari arah pandangan.
Sistem tidak menggunakan pandangan untuk memberikan perintah secara langsung. Sebaliknya, area tempat operator diasumsikan menyadari keberadaan objek diterjemahkan menjadi kondisi yang membatasi gerakan robot.
Desain interaksi
Sistem memperlakukan pandangan lebih dari sekadar sakelar hidup/mati. Saat lengan mendekati objek di luar bidang pandang operator, gerakannya melambat secara bertahap sesuai jarak dan berhenti sebelum terjadi kontak. Mengarahkan pandangan ke objek kemudian melepaskan pembatasan secara bertahap. Saya merancang transisi ini agar lengan tidak berhenti atau mulai bergerak secara mendadak dan agar perubahan gerak lebih mudah diperkirakan.
Mengalihkan pandangan sejenak dari objek yang sudah bersentuhan dengan robot tidak menghentikan pekerjaan. Menghentikan genggaman atau manipulasi hanya karena operator berpaling dapat membuat operasi kurang stabil. Desain memperlakukan gerakan mendekati manusia secara terpisah: gerakan ini harus tetap dibatasi terlepas dari arah pandangan operator. Deteksi manusia belum diimplementasikan dalam prototipe ini.
Tujuannya adalah mempertahankan kemampuan robot di area yang disadari operator dan membatasi gerakan di area yang mungkin luput dari perhatiannya. Pendekatan ini dimaksudkan untuk menyeimbangkan keselamatan dan kemudahan operasi tanpa memperlambat semua tindakan.
Skenario penggunaan yang diharapkan
Konteks yang dituju adalah lokasi konstruksi dan daerah bencana, tempat mesin mengerahkan gaya besar di dekat manusia. Lingkungan semacam ini sulit dipagari sepenuhnya, dan mendaftarkan setiap objek terlebih dahulu tidak praktis. Mengatur ulang keselamatan setiap kali tata letak berubah akan mengurangi kemampuan adaptasi sistem dan memperlambat penggunaannya dalam situasi mendesak.
Klasifikasi berdasarkan pandangan memanfaatkan kesadaran operator dari saat ke saat, alih-alih klasifikasi lingkungan yang tetap. Pendekatan ini berpotensi mengurangi persiapan lokasi sambil membatasi gerakan mendekati objek yang luput dari perhatian. Namun, penelitian ini hanya mengonfirmasi bahwa sistem berperilaku sesuai spesifikasi; dampaknya terhadap pengurangan kecelakaan dalam penggunaan nyata belum dievaluasi.
Prototipe dan evaluasi awal
Implementasi
Sistem ini diimplementasikan pada robot setinggi 1,9 m dengan berat 600 kg dan 30 derajat kebebasan, yang memiliki bentuk mirip dengan bagian atas tubuh manusia. Operator menggunakan headset VR dan mengoperasikan robot dengan menyelaraskan pandangan dan arah kepala robot dengan gerakan mereka sendiri.
Sensor lidar pada robot merekam ruang kerja sebagai awan titik, yang direpresentasikan di lingkungan virtual sebagai voxel dengan deteksi tabrakan. Kembaran digital menyinkronkan robot virtual dengan mesin fisik. Saya merepresentasikan bidang pandang pusat operator sebagai volume pandang 60° × 55°, menggunakan arah depan headset untuk memperkirakan orientasinya. Ketika lengan mendekati voxel di luar area tersebut, sistem mengirim peringatan ke robot fisik untuk memperlambat atau menghentikan gerakan.
Evaluasi awal
Setiap uji mengikuti urutan yang sama: mendekati objek di luar perkiraan bidang pandang operator, mengarahkan headset ke objek setelah lengan berhenti untuk melepaskan pembatasan, lalu menggenggam bola. Operator berpengalaman melakukan empat dari lima uji; satu uji lainnya dilakukan oleh operator yang baru menggunakan kokpit untuk kedua kalinya. Dalam setiap uji, lengan berhenti saat objek berada di luar perkiraan bidang pandang dan dapat melanjutkan gerakan ketika objek masuk ke area tersebut. Uji ini memeriksa apakah perilaku yang diharapkan berfungsi pada robot fisik. Efektivitasnya belum dievaluasi melalui studi pengguna.
Keterbatasan dan langkah berikutnya
Prototipe belum mencakup deteksi manusia. Meskipun desain menetapkan bahwa manusia harus selalu dilindungi, sistem untuk penggunaan nyata memerlukan cara yang andal untuk mengenali mereka. Prototipe juga menggunakan arah depan headset sebagai perkiraan arah pandangan, sehingga gerakan mata yang terpisah dari gerakan kepala tidak dapat dideteksi.
Kamera tetap atau kacamata pintar dengan pelacakan mata akan mengubah kebutuhan perangkat yang dikenakan dan ketepatan perkiraan pandangan. Memperluas sistem ke robot bergerak juga memerlukan pemrosesan awan titik yang memperhitungkan perubahan posisi robot itu sendiri.
Evaluasi terbatas pada konfirmasi kualitatif melalui lima percobaan demonstrasi. Untuk menilai keamanan, kecepatan kerja, dan beban operator, diperlukan perbandingan kuantitatif dengan metode konvensional dalam kondisi kerja yang sebenarnya.
Pelajaran yang saya peroleh
Penelitian ini menggunakan perkiraan bidang pandang operator untuk menentukan tindakan mesin yang diizinkan. Perilaku robot terhadap objek yang sama berubah sesuai perkiraan kesadaran operator akan objek tersebut. Fokus saya adalah hubungan antara perkiraan kesadaran operator dan ruang lingkup tindakan mesin, bukan gerakan satu per satu.
Cara pandang ini terus membentuk karya-karya dalam portofolio saya: memahami kondisi seseorang, menerjemahkannya menjadi batasan yang harus dipatuhi sistem, lalu membiarkan mesin atau AI bekerja di dalam batas tersebut. Penelitian magister saya menjadi titik awal pendekatan ini.
Ucapan terima kasih
Saya melakukan penelitian ini selama magang di Jinki Ittai Co., Ltd. sebagai bagian dari program magister Design & Engineering di Politecnico di Milano. Saya berterima kasih kepada kedua organisasi yang telah memungkinkan penelitian ini terlaksana.
Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Program konferensi














