Takafumi Horiuchi

Tesis magister tentang desain interaksi manusia–robot

Gambaran umum

Pada robot besar yang dioperasikan manusia, sensor lingkungan saja dapat kesulitan membedakan gerakan yang sengaja mendekati objek kerja dari gerakan yang tidak sengaja mendekati hambatan yang luput dari perhatian. Saya merancang sistem pencegahan tabrakan yang menggunakan perkiraan bidang pandang operator sebagai petunjuk niat untuk melakukan kontak, lalu memperlambat atau menghentikan lengan saat mendekati objek di luar bidang tersebut.

Objek tidak perlu diklasifikasikan terlebih dahulu sebagai “dapat dioperasikan” atau “dilindungi”; klasifikasinya diperbarui saat operator melihat sekeliling. Dalam prototipe ini, saya menggunakan orientasi headset sebagai perkiraan arah pandangan. Saya mengimplementasikan sistem pada robot humanoid untuk pekerjaan berat setinggi 1,9 meter dan mengonfirmasi perilaku yang diharapkan dalam lima uji demonstrasi. Video demonstrasi memperlihatkan sistem saat bekerja.

Saya melakukan penelitian ini selama magang di Jinki Ittai Co., Ltd. untuk tesis magister Design & Engineering di Politecnico di Milano. Penelitian ini saya presentasikan pada Konferensi Tahunan ke-39 Robotics Society of Japan (RSJ2021).


  1. Salindia judul: “Awareness-Based Collision Prevention for Human-Controlled Robotic Manipulation”, program magister Design & Engineering di Politecnico di Milano, 2020–2021.
  2. Latar belakang: topik tesis muncul selama magang penelitian di Jinki Ittai Co., Ltd., yang mengembangkan robot humanoid untuk pekerjaan berat dengan sistem kendali master–slave.
  3. Perbandingan robot otonom dan robot yang dioperasikan manusia: robot otonom bekerja secara efisien di lingkungan khusus berpagar, sedangkan robot yang dioperasikan manusia bekerja bersama orang di lingkungan yang lebih sulit diprediksi.
  4. Statistik dari Eropa, Amerika Serikat, dan Jepang menunjukkan bahwa kontak dengan benda bergerak merupakan bagian yang cukup besar dari kecelakaan di lokasi konstruksi.
  5. Penelitian terdahulu tentang penghindaran tabrakan: lapisan sensor sentuh di sekeliling manipulator dan sensor kedalaman untuk merekonstruksi lingkungan secara virtual.
  6. Masalah: sistem yang ada mengklasifikasikan objek terlebih dahulu sebagai “dilindungi” atau “dapat dioperasikan”, menggunakan tag yang dipasang, analisis citra, atau pengklasifikasi yang telah dilatih.
  7. Usulan: sistem sebelumnya hanya mengandalkan data sensor pasif. Robot yang dioperasikan manusia sudah memiliki seseorang di dalam loop kendalinya, dan pandangan orang tersebut dapat digunakan sebagai parameter aktif.
  8. Aturan klasifikasi: objek dalam bidang pandang pusat operator dapat dioperasikan; objek di luarnya dilindungi.
  9. Gambaran umum prototipe: robot fisik dihubungkan dengan lingkungan virtual. Salindia berikut menjelaskan tiga komponen teknisnya.
  10. Komponen 1: bidang pandang pusat direpresentasikan sebagai volume pandang 60° × 55°, dengan orientasi yang diperkirakan dari arah depan headset VR.
  11. Komponen 2: sensor lidar yang dipasang di kepala robot merekam awan titik lingkungan sekitar, yang direpresentasikan sebagai voxel dengan deteksi tabrakan.
  12. Komponen 3: kembaran digital mengikuti gerakan robot fisik, dengan peringatan yang dipicu ketika robot mendekati voxel di luar area pandang.
  13. Demonstrasi pembuktian konsep: gambar diam memperlihatkan robot meraih bola di atas tiang, di samping representasi voxel lingkungan sekitarnya.
  14. Langkah berikutnya: mendeteksi manusia di ruang kerja, meneliti cara lain untuk memperkirakan arah pandangan, dan melakukan evaluasi kuantitatif di lapangan.
  15. Kesimpulan: topik penelitian, kontribusi dan kebaruan metode, serta evaluasi prototipe.
Salindia asli proyek (bahasa Inggris).

Masalah: Penyiapan keselamatan dapat membatasi pekerjaan lapangan

Robot yang dioperasikan manusia dibutuhkan di lingkungan yang belum disiapkan untuk operasi otonom. Di lokasi konstruksi dan daerah bencana, posisi orang dan peralatan serta objek yang perlu disentuh robot berubah-ubah. Agar kekuatan mesin dapat dimanfaatkan, operator harus dapat bekerja dengan objek tersebut sambil menghindari kontak yang tidak disengaja.

Pendekatan penghindaran tabrakan yang sudah ada mencakup pemasangan sensor jarak dekat di seluruh robot dan rekonstruksi lingkungan dalam ruang virtual menggunakan sensor kedalaman. Pada pendekatan yang ditelaah di sini, objek harus diklasifikasikan terlebih dahulu sebagai “dapat dioperasikan” atau “dilindungi”. Tanpa klasifikasi tersebut, robot akan menghindari semua kontak; mengklasifikasikan setiap objek memerlukan penyiapan dan kalibrasi khusus untuk tiap lokasi. Persiapan ini mengurangi kepraktisan penggunaan robot di berbagai lokasi.

Gagasan: Menggunakan pandangan untuk menentukan kapan kontak diizinkan

Dalam loop kontrol robot yang dikendalikan manusia, sudah ada orang yang menilai situasinya. Saya berpikir jika kita bisa menyampaikan ke mana perhatian manusia tertuju kepada mesin, maka alih-alih mendaftarkan target sebelumnya, mungkin kita bisa memperkirakan niat untuk melakukan kontak selama pekerjaan berlangsung.

Saya menggunakan bidang pandang pusat operator sebagai batas. Objek di dalamnya diklasifikasikan sebagai “dapat dioperasikan”, dengan asumsi bahwa operator menyadari keberadaannya. Objek di luarnya diklasifikasikan sebagai “dilindungi” karena mungkin luput dari perhatian. Desain menetapkan bahwa manusia harus selalu dilindungi, terlepas dari arah pandangan.

Sistem tidak menggunakan pandangan untuk memberikan perintah secara langsung. Sebaliknya, area tempat operator diasumsikan menyadari keberadaan objek diterjemahkan menjadi kondisi yang membatasi gerakan robot.

Gambar dari atas. Di depan robot, bidang pandang pusat operator digambarkan sebagai kerucut. Objek A yang berada di dalam kerucut ditunjukkan dengan penanda putih, sedangkan objek B, C, dan D yang berada di luar ditunjukkan dengan kotak gelap, dengan dua orang berdiri di dalam dan di luar kerucut.
Diagram asli berbahasa Inggris. Menurut aturan yang diusulkan, objek A dapat dioperasikan karena berada dalam bidang pandang pusat operator. Objek B, C, dan D berada di luarnya dan dilindungi. Manusia selalu diklasifikasikan sebagai dilindungi, terlepas dari posisi maupun arah pandangan operator. Namun, deteksi manusia belum diimplementasikan dalam prototipe ini.

Desain interaksi

Sistem memperlakukan pandangan lebih dari sekadar sakelar hidup/mati. Saat lengan mendekati objek di luar bidang pandang operator, gerakannya melambat secara bertahap sesuai jarak dan berhenti sebelum terjadi kontak. Mengarahkan pandangan ke objek kemudian melepaskan pembatasan secara bertahap. Saya merancang transisi ini agar lengan tidak berhenti atau mulai bergerak secara mendadak dan agar perubahan gerak lebih mudah diperkirakan.

Mengalihkan pandangan sejenak dari objek yang sudah bersentuhan dengan robot tidak menghentikan pekerjaan. Menghentikan genggaman atau manipulasi hanya karena operator berpaling dapat membuat operasi kurang stabil. Desain memperlakukan gerakan mendekati manusia secara terpisah: gerakan ini harus tetap dibatasi terlepas dari arah pandangan operator. Deteksi manusia belum diimplementasikan dalam prototipe ini.

Tujuannya adalah mempertahankan kemampuan robot di area yang disadari operator dan membatasi gerakan di area yang mungkin luput dari perhatiannya. Pendekatan ini dimaksudkan untuk menyeimbangkan keselamatan dan kemudahan operasi tanpa memperlambat semua tindakan.

Diagram alur kendali yang dimulai dari gerakan bebas. Keputusan memeriksa apakah ada objek di dekat robot, apakah objek tersebut manusia, apakah manipulator bergerak mendekati manusia itu, dan apakah objek berada dalam area pandang. Cabangnya mengarah ke gerakan presisi, penghentian bertahap, atau penguncian gerakan.
Diagram asli berbahasa Inggris. Hanya satu keputusan dalam diagram alur yang menggunakan masukan aktif operator: apakah objek berada dalam area pandang. Semua percabangan lain menggunakan data sensor pasif. Label keputusan menanyakan apakah ada objek di dekat robot, apakah objek itu manusia, apakah manipulator bergerak mendekatinya, dan apakah objek berada dalam area pandang. Label tindakannya berarti gerakan bebas, gerakan presisi, penghentian bertahap, dan gerakan terkunci; “yes” dan “no” berarti “ya” dan “tidak”.

Skenario penggunaan yang diharapkan

Konteks yang dituju adalah lokasi konstruksi dan daerah bencana, tempat mesin mengerahkan gaya besar di dekat manusia. Lingkungan semacam ini sulit dipagari sepenuhnya, dan mendaftarkan setiap objek terlebih dahulu tidak praktis. Mengatur ulang keselamatan setiap kali tata letak berubah akan mengurangi kemampuan adaptasi sistem dan memperlambat penggunaannya dalam situasi mendesak.

Klasifikasi berdasarkan pandangan memanfaatkan kesadaran operator dari saat ke saat, alih-alih klasifikasi lingkungan yang tetap. Pendekatan ini berpotensi mengurangi persiapan lokasi sambil membatasi gerakan mendekati objek yang luput dari perhatian. Namun, penelitian ini hanya mengonfirmasi bahwa sistem berperilaku sesuai spesifikasi; dampaknya terhadap pengurangan kecelakaan dalam penggunaan nyata belum dievaluasi.

Prototipe dan evaluasi awal

Implementasi

Sistem ini diimplementasikan pada robot setinggi 1,9 m dengan berat 600 kg dan 30 derajat kebebasan, yang memiliki bentuk mirip dengan bagian atas tubuh manusia. Operator menggunakan headset VR dan mengoperasikan robot dengan menyelaraskan pandangan dan arah kepala robot dengan gerakan mereka sendiri.

Sensor lidar pada robot merekam ruang kerja sebagai awan titik, yang direpresentasikan di lingkungan virtual sebagai voxel dengan deteksi tabrakan. Kembaran digital menyinkronkan robot virtual dengan mesin fisik. Saya merepresentasikan bidang pandang pusat operator sebagai volume pandang 60° × 55°, menggunakan arah depan headset untuk memperkirakan orientasinya. Ketika lengan mendekati voxel di luar area tersebut, sistem mengirim peringatan ke robot fisik untuk memperlambat atau menghentikan gerakan.

Pemandangan dalam ruang virtual. Voxel kuning merekonstruksi sekeliling, dan area merah transparan bertuliskan 'bidang pandang tengah operator' menembusnya, sementara robot kembaran digital putih merentangkan tangan ke arah rintangan yang berada di luar area tersebut.
Lingkungan virtual berisi kembaran digital robot dan awan titik hasil pemindaian. Adegan ini memperlihatkan hambatan di luar perkiraan bidang pandang pusat operator.

Evaluasi awal

Setiap uji mengikuti urutan yang sama: mendekati objek di luar perkiraan bidang pandang operator, mengarahkan headset ke objek setelah lengan berhenti untuk melepaskan pembatasan, lalu menggenggam bola. Operator berpengalaman melakukan empat dari lima uji; satu uji lainnya dilakukan oleh operator yang baru menggunakan kokpit untuk kedua kalinya. Dalam setiap uji, lengan berhenti saat objek berada di luar perkiraan bidang pandang dan dapat melanjutkan gerakan ketika objek masuk ke area tersebut. Uji ini memeriksa apakah perilaku yang diharapkan berfungsi pada robot fisik. Efektivitasnya belum dievaluasi melalui studi pengguna.

Foto robot. Di bingkai atasnya, operator menaikinya dan menghadap ke samping. Tangan robot berhenti di depan bola biru dan kuning di atas tiang kuning, dan jarak yang tersisa ditunjukkan.
Objek berada di luar perkiraan bidang pandang operator, dan lengan berhenti sebelum mencapainya.
Foto dari sudut bawah. Operator melihat ke arah bola, dan tangan robot menangkap bola biru dan kuning di atas tiang kuning.
Ketika objek masuk ke perkiraan bidang pandang operator, gerakan yang sama dapat dilanjutkan tanpa pembatasan.

Keterbatasan dan langkah berikutnya

Prototipe belum mencakup deteksi manusia. Meskipun desain menetapkan bahwa manusia harus selalu dilindungi, sistem untuk penggunaan nyata memerlukan cara yang andal untuk mengenali mereka. Prototipe juga menggunakan arah depan headset sebagai perkiraan arah pandangan, sehingga gerakan mata yang terpisah dari gerakan kepala tidak dapat dideteksi.

Kamera tetap atau kacamata pintar dengan pelacakan mata akan mengubah kebutuhan perangkat yang dikenakan dan ketepatan perkiraan pandangan. Memperluas sistem ke robot bergerak juga memerlukan pemrosesan awan titik yang memperhitungkan perubahan posisi robot itu sendiri.

Evaluasi terbatas pada konfirmasi kualitatif melalui lima percobaan demonstrasi. Untuk menilai keamanan, kecepatan kerja, dan beban operator, diperlukan perbandingan kuantitatif dengan metode konvensional dalam kondisi kerja yang sebenarnya.

Pelajaran yang saya peroleh

Penelitian ini menggunakan perkiraan bidang pandang operator untuk menentukan tindakan mesin yang diizinkan. Perilaku robot terhadap objek yang sama berubah sesuai perkiraan kesadaran operator akan objek tersebut. Fokus saya adalah hubungan antara perkiraan kesadaran operator dan ruang lingkup tindakan mesin, bukan gerakan satu per satu.

Cara pandang ini terus membentuk karya-karya dalam portofolio saya: memahami kondisi seseorang, menerjemahkannya menjadi batasan yang harus dipatuhi sistem, lalu membiarkan mesin atau AI bekerja di dalam batas tersebut. Penelitian magister saya menjadi titik awal pendekatan ini.

Ucapan terima kasih

Saya melakukan penelitian ini selama magang di Jinki Ittai Co., Ltd. sebagai bagian dari program magister Design & Engineering di Politecnico di Milano. Saya berterima kasih kepada kedua organisasi yang telah memungkinkan penelitian ini terlaksana.

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Program konferensi