Takafumi Horiuchi

Tesis magister tentang desain interaksi antara manusia dan robot

Juli 2021

Gambaran umum

Dalam robot besar yang dikendalikan oleh manusia, sulit untuk membedakan antara gerakan mendekati objek kerja dan gerakan menuju hambatan yang terlewat hanya dengan sensor di sekitarnya. Oleh karena itu, kami merancang sistem penghindaran tabrakan yang menggunakan area yang dilihat operator sebagai petunjuk niat 'boleh disentuh' dan memperlambat atau menghentikan lengan ketika mendekati objek yang tidak terlihat.

Tidak perlu mendaftarkan objek sebagai "dapat dioperasikan" atau "objek yang dilindungi" sebelumnya. Perbedaan tersebut diperbarui sesuai dengan pandangan operator selama bekerja. Diterapkan pada robot humanoid tinggi 1,9 m, dan melalui lima percobaan demo, dipastikan bahwa perilaku yang telah didefinisikan dapat terjadi. Perilaku aktual dapat dilihat di Video demo.

Sebagai tesis master di Design & Engineering Universitas Teknologi Milano, saya mengerjakannya selama magang penelitian di perusahaan Jinki Ittai Co., Ltd., dan mempresentasikannya di Konferensi Presentasi Akademik Ke-39 Masyarakat Robot Jepang (RSJ2021).

  1. Slide judul. Pencegahan Tabrakan Berbasis Kesadaran untuk Manipulasi Robot yang Dikendalikan Manusia, Program Magister Desain & Rekayasa, Universitas Teknik Milan, Tahun Ajaran 2020–2021.
  2. Latar belakang. Tema skripsi ditentukan selama magang penelitian di perusahaan Kabushiki Gaisha Jinki Ittai, sebuah perusahaan yang mengembangkan mesin humanoid dan mengoperasikannya dengan metode master-slave.
  3. Perbandingan antara robot otonom dan robot yang dioperasikan manusia. Yang pertama bekerja secara efisien di ruang yang dirancang di dalam pagar, sedangkan yang kedua bekerja bersama manusia di ruang yang tidak pasti.
  4. Statistik dari Eropa, Amerika Serikat, dan Jepang. Kontak dengan benda yang bergerak menunjukkan proporsi yang cukup besar dari kecelakaan di lokasi konstruksi.
  5. Penelitian sebelumnya mengenai penghindaran tabrakan. Kulit sensorik yang menutupi manipulator, dan sensor kedalaman yang secara virtual mereproduksi lingkungan sekitarnya.
  6. Tantangan saat ini. Sistem yang ada mengharuskan untuk mendefinisikan sebelumnya apakah objek termasuk 'dilindungi' atau 'dapat dioperasikan' berdasarkan tag yang dipasang, analisis gambar, dan pengenal yang telah dipelajari.
  7. Usulan. Sistem konvensional hanya menggunakan informasi sensor pasif, tetapi pada robot yang dikendalikan manusia, manusia sudah berada dalam loop kontrol, dan pandangan mata mereka dapat digunakan sebagai parameter aktif.
  8. Aturan klasifikasi. Objek yang berada di dalam bidang pandang pusat operator dapat dioperasikan, sedangkan objek yang berada di luar menjadi objek yang dilindungi.
  9. Gambaran keseluruhan prototipe. Menggabungkan robot fisik dengan ruang perhitungan virtual, tiga elemen teknologi berikutnya.
  10. Elemen ①. Representasikan bidang pandangan pusat sebagai kerucut berukuran 60°×55°, dan mendekati arahnya ke arah depan headset VR.
  11. Elemen ②. LIDAR yang dipasang di kepala robot memindai sekitarnya sebagai kumpulan titik, yang masing-masing direpresentasikan sebagai voxel yang memiliki collider.
  12. Elemen ③. Kembaran digital robot bergerak sama seperti mesin nyata, dan ketika lengannya menyentuh voxel yang berada di luar bidang pandang, peringatan kedekatan muncul.
  13. Demo bukti konsep. Gambar diam dari robot yang meraih bola di atas tiang, dan tampilan voxel dari ruang virtual.
  14. Tugas ke depan. Deteksi orang dalam ruang kerja, pemeriksaan metode lain untuk mengukur arah pandangan, dan evaluasi kuantitatif di lapangan.
  15. Ringkasan kesimpulan. Tema penelitian, nilai metode, kebaruan, dan bagaimana sistem diuji.

Masalah — Pengaturan sebelumnya demi keselamatan membatasi lapangan

Robot yang dikendalikan manusia dibutuhkan di tempat-tempat yang tidak dirancang untuk robot otonom. Seperti di lokasi konstruksi atau lokasi bencana, di mana penempatan orang dan peralatan berubah, dan apa yang boleh disentuh juga berbeda untuk setiap tugas. Untuk menggunakan kekuatan besar dari mesin, harus bisa menyentuh objek yang diperlukan sambil mencegah kontak yang tidak diinginkan.

Untuk penghindaran tabrakan yang sudah ada, ada metode menutupi robot dengan sensor jarak dekat atau mereproduksi sekeliling ke ruang virtual menggunakan sensor kedalaman. Namun, kedua metode tersebut memerlukan pengklasifikasian sebelumnya apakah objek adalah 'dapat dioperasikan' atau 'objek yang harus dilindungi'. Jika tidak ada yang didaftarkan, robot tidak bisa menyentuh apa pun demi keamanan, dan jika ingin mendaftarkan semuanya, diperlukan pengaturan dan kalibrasi untuk setiap lokasi. Beban persiapan ini menurunkan kepraktisan robot yang dipindahkan untuk digunakan di berbagai tempat.

Ide — Mengubah pandangan menjadi 'kondisi yang boleh disentuh'

Dalam loop kontrol robot yang dikendalikan manusia, sudah ada orang yang menilai situasinya. Saya berpikir jika kita bisa menyampaikan ke mana perhatian manusia tertuju kepada mesin, maka alih-alih mendaftarkan target sebelumnya, mungkin kita bisa memperkirakan niat untuk melakukan kontak selama pekerjaan berlangsung.

Di sana, gunakan pandangan sentral operator sebagai batas. Objek di dalam bidang pandang dianggap sebagai 'objek yang dapat dioperasikan' yang dipahami oleh operator. Objek di luar dianggap sebagai 'objek yang dilindungi' yang mungkin terlewat. Orang selalu dianggap sebagai objek yang dilindungi, terlepas dari posisi pandangannya.

Ini bukanlah mekanisme untuk mengirim perintah ke robot dengan pandangan. Ini adalah mekanisme untuk mengubah keadaan kognitif operator menjadi kondisi di mana robot boleh bergerak.

Gambar dari atas. Di depan robot, bidang pandang pusat operator digambarkan sebagai kerucut. Objek A yang berada di dalam kerucut ditunjukkan dengan lingkaran putih, sedangkan objek B, C, dan D yang berada di luar ditunjukkan dengan kotak gelap, dengan dua orang berdiri di dalam dan di luar kerucut.
Objek A yang berada di dalam bidang penglihatan pusat operator dapat dioperasikan, sedangkan objek B, C, dan D yang berada di luar menjadi objek yang dilindungi. Seseorang akan terlindungi di mana pun mereka berdiri.

Desain interaksi

Sistem tidak menjadikan posisi pandangan sebagai saklar sederhana hidup-mati. Ketika mendekati objek yang tidak dilihat, lengan akan perlahan melambat sesuai jarak dan berhenti sebelum menyentuhnya. Setelah berhenti, bila operator mengarahkan pandangannya ke objek, pembatasan juga secara bertahap dicabut. Hal ini menghindari perilaku berhenti tiba-tiba atau mulai bergerak secara mendadak, sehingga operator dapat memprediksi perubahan tersebut.

Di sisi lain, meskipun mata sesaat berpaling dari objek yang sudah disentuh, pekerjaan yang sedang berlangsung tidak dihentikan. Hal ini karena jika pegangan atau operasi terhenti hanya karena pandangan dialihkan, hal itu justru menjadi tidak stabil. Pendekatan terhadap manusia diperlakukan secara terpisah, dan dibatasi baik operator melihat atau tidak.

Yang dituju bukanlah memperlambat pekerjaan secara seragam demi keselamatan. Tujuannya adalah mempertahankan kemampuan robot di area yang diketahui operator, dan melindungi hanya area yang tidak terjangkau perhatiannya, sehingga keselamatan dan kemudahan kerja dapat dicapai secara bersamaan.

Diagram alir yang dimulai dari keadaan gerakan bebas. Cabang berdasarkan apakah objek berada di dekat, apakah objek itu manusia, apakah manipulator berada di arah mendekati manusia, atau apakah objek berada di area pandangan, dan berakhir pada gerakan presisi, penghentian bertahap, atau penguncian.
Node yang membaca parameter aktif operator dalam proses pengambilan keputusan hanyalah satu, yaitu 'apakah objek berada di area fokus'. Semua cabang lain bekerja dengan informasi sensor pasif.

Skenario penggunaan yang diharapkan

Yang menjadi sasaran adalah tempat-tempat di mana kekuatan besar digunakan dekat dengan manusia, seperti di lokasi konstruksi atau lokasi bencana. Di tempat-tempat semacam ini, sulit untuk memisahkan lingkungan sepenuhnya dengan pagar atau mendaftarkan semua objek sebelumnya. Sistem yang mengharuskan pengaturan keselamatan diubah setiap kali penempatan berubah akan kehilangan urgensi dan serbaguna.

Diskriminasi berdasarkan pandangan memanfaatkan kesadaran situasi seseorang saat itu, bukannya model lingkungan yang tetap. Hal ini berpotensi mengurangi beban persiapan di lapangan sekaligus menekan pendekatan terhadap objek yang terlewat. Namun, yang dikonfirmasi dalam penelitian ini hanya bahwa sistem bekerja sesuai definisi, dan efek pengurangan kecelakaan belum dievaluasi secara lapangan.

Prototipe dan evaluasi awal

Implementasi

Sistem ini diimplementasikan pada robot setinggi 1,9 m dengan berat 600 kg dan 30 derajat kebebasan, yang memiliki bentuk mirip dengan bagian atas tubuh manusia. Operator menggunakan headset VR dan mengoperasikan robot dengan menyelaraskan pandangan dan arah kepala robot dengan gerakan mereka sendiri.

Menggunakan LIDAR di atas robot, ruang kerja diperoleh sebagai kumpulan titik, dan dalam ruang virtual direpresentasikan sebagai voxel dengan deteksi tabrakan. Digital twin yang menyinkronkan ruang itu dengan perangkat nyata dijalankan. Bidang pandang pusat operator diwakili sebagai kerucut 60°×55°, dan arahannya diperkirakan menggunakan arah depan headset. Ketika lengan mendekati voxel di luar bidang pandang, peringatan dikirim ke perangkat nyata untuk memperlambat atau menghentikannya.

Pemandangan dalam ruang virtual. Voxel kuning merekonstruksi sekeliling, dan area merah transparan bertuliskan 'bidang pandang tengah operator' menembusnya, sementara robot kembaran digital putih merentangkan tangan ke arah rintangan yang berada di luar area tersebut.
Ruang virtual yang berisi robot dan kumpulan titik yang dipindai. Di sini, robot menyentuh hambatan yang berada di luar pandangan pusat operator.

Penilaian awal

Kami mencoba serangkaian operasi di mana operator mendekatkan lengan saat pandangan mereka menjauh dari objek, kemudian setelah berhenti, mengembalikan pandangan ke objek untuk membuka batasan, dan akhirnya menangkap bola. Dari lima percobaan, empat dilakukan oleh operator yang sudah berpengalaman, dan satu dilakukan oleh operator pada penerbangan kedua mereka. Dalam semua percobaan, lengan berhenti saat pandangan tidak diarahkan, dan operasi dapat dilanjutkan ketika pandangan diarahkan. Ini bukanlah eksperimen pengguna untuk mengukur efektivitas, melainkan evaluasi pendahuluan untuk memeriksa apakah perilaku yang dirancang dapat berjalan pada peralatan nyata.

Foto robot. Di bingkai atasnya, operator menaikinya dan menghadap ke samping. Tangan robot berhenti di depan bola biru dan kuning di atas tiang kuning, dan jarak yang tersisa ditunjukkan.
Pandangan operator teralihkan, dan lengan berhenti menjauh dari target.
Foto dari sudut bawah. Operator melihat ke arah bola, dan tangan robot menangkap bola biru dan kuning di atas tiang kuning.
Jika pandangan tertuju pada objek, gerakan yang sama akan berlangsung tanpa batasan.

Batas dan verifikasi berikutnya

Prototipe belum menerapkan deteksi manusia. Kami menetapkan aturan bahwa manusia selalu dilindungi terlepas dari arah pandangan, tetapi di lingkungan nyata diperlukan mekanisme untuk mengenali manusia secara andal. Selain itu, karena yang digunakan adalah arah depan headset sebagai nilai pengganti, bukan arah pandangan itu sendiri, gerakan hanya mata tidak dapat ditangkap.

Jika menggunakan kamera tetap atau kacamata pintar dengan pengukuran pandangan mata, kondisi perangkat yang dikenakan dan akurasi estimasi akan berubah. Ketika diterapkan pada robot bergerak, diperlukan juga pemrosesan titik awan yang dapat mengikuti perubahan posisi robot itu sendiri.

Evaluasi terbatas pada konfirmasi kualitatif melalui lima percobaan demonstrasi. Untuk menilai keamanan, kecepatan kerja, dan beban operator, diperlukan perbandingan kuantitatif dengan metode konvensional dalam kondisi kerja yang sebenarnya.

Perspektif yang diperoleh dari penelitian ini

Dalam penelitian ini, alih-alih menggunakan pandangan manusia sebagai perangkat input, pandangan tersebut diperlakukan sebagai kondisi yang memungkinkan tindakan mesin. Perilaku robot terhadap objek yang sama berubah tergantung pada apa yang sedang dipahami manusia saat itu. Yang dirancang bukanlah tindakan individu, melainkan hubungan antara keadaan kognitif manusia dan wewenang mesin.

Cara berpikir ini juga terhubung dengan Filosofi desain saya saat ini. Memahami kondisi manusia, mengubahnya menjadi batasan yang harus dijaga oleh sistem, dan di dalamnya mesin atau AI menunjukkan kemampuannya. Penelitian master menjadi titik awalnya.

Ucapan terima kasih

Penelitian ini dilakukan sebagai bagian dari program magister Design & Engineering di Universitas Teknik Milan, selama masa magang di Human-Computer Integration Co., Ltd. Saya sangat berterima kasih kepada kedua organisasi yang telah mewujudkan kesempatan ini.

Takafumi Horiuchi, Katsuya Kanaoka, “Gaze-based Unintended Contact Prevention for Human-Operated Robots,” The 39th Annual Conference of the Robotics Society of Japan, 2021, 2J2-07. Conference programme