인간-로봇 인터랙션 디자인에 관한 석사 논문

개요

큰 로봇을 조작하는 사람은 한 번에 작업 공간의 일부에만 주의를 둘 수 있다. 이 연구는 그 주의가 지금 어디에 있는지를 기계에 알려 주면 무엇이 달라지는지를 물었다. 나는 조작자의 시선이 로봇의 허용 행동을 결정하는 충돌 회피 시스템을 설계했다. 조작자의 중심시야 안에 들어온 것은 자유롭게 다룰 수 있고, 그 바깥에 있는 것은 보호된다. 팔은 속도를 줄이고 닿기 전에 멈춘다. 무엇도 미리 라벨을 붙여 둘 필요가 없다. 그 구분은 작업하는 바로 그 순간에, 조작자가 마침 어디를 보고 있는지로부터 그어진다. 시연 영상은 여기(YouTube)에서 볼 수 있다.

이 작업은 밀라노 공과대학교 Design & Engineering 석사 논문으로, 일본의 Man-Machine Synergy Effectors에서 연구 인턴십을 하는 동안 수행했으며, 제39회 일본로봇학회 학술강연회(RSJ2021)에서 발표했다.

또한 이 작업은 나의 디자인 철학이 지금의 형태를 갖추기 시작한 자리이기도 하다. 이 시스템이 읽는 것은 명령이 아니라 인지 상태다. 어떤 것이 애초에 인식되었는지 여부이며, 시스템은 그 상태를 기계가 행동해도 되는 조건으로 바꾼다. 여기서 디자인의 대상은 로봇의 동작이 아니라 관계다. 기계가 무엇을 해도 되는지는 사람이 지금 무엇을 이해하고 있는지로부터 따라 나온다. 개별 행동 하나하나가 아니라 그 관계를 디자인하는 것은, 행동하는 주체가 로봇 팔이 아니라 생성형 AI가 된 지금 내가 하고 있는 것과 같은 움직임이다.

초록

사람이 조작하는 로봇은 바로 자율 로봇이 쓸모없는 곳에서 가치가 있다. 지금의 작업을 위해 설계된 적이 없는 공간, 부딪혀서는 안 되는 사람과 장비 곁이다. 기존의 충돌 회피 시스템은 모든 물체를 조작의 대상이거나 지켜야 할 것으로 미리 선언하게 해서 그런 공간에 대응한다. 그러나 현장에서 현장으로 옮겨 다니도록 만든 기계에게 이 설정 비용은 감당할 수 없을 만큼 커진다.

이 연구는 그 구분을 대신 실행 시점에, 조작자의 시선으로부터 짓자고 제안했다. 조작자의 중심시야 안에 있는 물체는 조작 가능한 것으로, 그 바깥의 물체는 보호 대상으로 다루며, 사람은 어떤 상황에서도 보호 대상이다. 이 방법은 그때까지 오로지 수동적인 센서 데이터로만 이루어져 있던 제어 루프에 능동적인 파라미터를, 그것도 인간에게서 나온 파라미터를 들여온다. 프로토타입은 키 1.9 m의 인간형 중장비 로봇 JINKI type Zero에 구현했고, 다섯 번의 시연 시행에서 정의한 대로 동작했다.

1. 서론

사람이 조작하는 로봇은 함께 얻기 어려운 두 가지를 결합한다. 기계의 힘과 정밀함, 그리고 사람의 상황 판단이다. 완전 자율 로봇은 아직 두 번째를 제공하지 못한다. 그리고 산업용 로봇이 울타리 뒤 설계된 셀 안에서 일하는 것과 달리, 사람이 조작하는 로봇은 다른 용도로 마련된 장소에서 일하기를 요구받는다. 현장 작업자 곁에서, 섬세한 장비 사이에서, 원자력 시설과 건설 현장에서. 따라서 로봇이 주변을 망가뜨리지 않는다는 보장은 그 로봇을 쓸 수 있게 만드는 조건의 일부다.

의도치 않은 접촉을 막는 확립된 방어책은 두 가지다. 매니퓰레이터의 중요한 부위를 근접 센서로 덮는 감응 피부, 그리고 주변을 점군으로 재구성해 그 가상 공간에서 거리를 계산하는 깊이 감지다. 둘 다 작동한다. 그러나 둘 다 로봇 주변의 물체가 이미 만져도 되는 것과 만지면 안 되는 것으로 분류되어 있다고 전제한다. 그 분류가 없으면, 무엇과도 충돌해서는 안 되는 기계는 무엇도 조작할 수 없다. 현장 사이를 옮겨 다니며 무엇이 있든 그 한가운데에 내려놓는 범용 도구에게, 이런 설정과 보정이 요구하는 비용은 그것이 사는 안전보다 비싸다.

이 연구가 파고드는 틈은, 사람이 조작하는 로봇에는 이미 제어 루프 안에 사람이 있다는 점이다. 조작 실수에 관한 연구들은 상황 인식, 즉 주변에서 무슨 일이 일어나고 있는지에 대한 정확한 파악을 결정적인 요인으로 지목하며, 상황 인식은 시선 방향과 강하게 상관되어 있다고 알려져 있다. 충돌 회피는 종래에 수동적인 정보, 즉 센서에서 읽어 낸 데이터만으로 구성되어 왔다. 조작자가 어디를 보고 있는지라는 능동적인 파라미터를 하나 더하면, 어떤 물체와의 접촉이 의도된 것인지 아닌지에 대한 단서를 시스템이 얻게 된다.

2. 시스템의 거동

조작자가 만지려고 하는 물체를 조작 가능 물체라 부르며, 제한 없이 다룰 수 있다. 조작자가 그런 의도를 갖고 있지 않은 물체는 보호 대상 물체이며, 만져서는 안 된다. 어느 순간에 물체가 둘 중 무엇인지는 조작자의 중심시야에 대한 그 위치로부터 따라 나온다. 시야 안에 있으면 의도된 것으로 볼 만큼 조작자의 인식 아래에 있고, 바깥에 있으면 그렇지 않다.

그로부터 따라 나오는 거동을 다섯 가지 규칙이 다스린다. 매니퓰레이터는 중심시야 안의 물체와는 자유롭게 간섭할 수 있다. 시야 바깥의 물체와는 간섭할 수 없으며, 그런 물체에 다가가면 점차 멈춘다. 일단 멈춘 뒤에는 조작자의 시야가 그 물체 쪽으로 옮겨 오면 점차 해제된다. 매니퓰레이터가 이미 접촉하고 있는 물체에서 시야가 벗어나는 경우에는 아무 제한도 걸리지 않아, 진행 중인 작업이 잠깐 다른 곳을 본다고 해서 끊기지 않는다. 그리고 매니퓰레이터는 사람이 어디에 서 있든 그 사람과 간섭할 수 없다. 매니퓰레이터가 여러 개인 로봇에서는 규칙이 각각에 따로 적용된다.

조작자가 여기서 얻는 것은, 자신이 보고 있는 것에는 전속력으로 작업하면서 보고 있지 않은 장비는 기계가 치지 않으리라 믿을 수 있다는 점이다. 현장에 있는 사람의 안전은 무조건적이며, 조작자의 의도에 전혀 좌우되지 않는다.

3. 기대되는 효과

중장비는 이런 종류의 작업에 가장 가까운 현존하는 모습을 보여 준다. 사람 곁의 정돈되지 않은 장소에서 큰 힘을 쓰는 일이다. 충돌 사고는 전 세계 건설 현장의 주요 위험 가운데 하나이며, 부주의가 그 원인으로 거듭 지목된다. 2018년 유럽 건설 현장에서 기록된 362,600건의 사고 가운데 19.6%가 움직이는 물체에 부딪힌 경우였고, 크레인 관련 사고를 조사한 연구는 그중 19%를 조작자의 부주의로 돌렸다.

주의와 시선 방향은 강하게 상관되어 있으므로, 이 두 비율을 곱하면 시선 기반 시스템이 다룰 수 있는 범위를 대략 어림할 수 있다. 유럽에서 연간 1만 3천 건 규모다. 이 수치는 측정된 결과가 아니라 공표된 통계로부터의 추론이며, 규모의 감을 주기 위한 것이다.

4. 시스템 검증

개념 검증으로서 시연 시스템을 만들어 실행했다.

4.1 구현

시스템은 Man-Machine Synergy Effectors에서 개발된 로봇 JINKI type Zero에 구현했다. 사람의 상반신 형태를 가지고 있으며, 키 1.9 m, 무게 600 kg, 자유도는 서른이다. 조작자와 로봇은 같은 자리에 있으면서 마스터-슬레이브 방식으로 결합된다. VR 헤드셋이 조작자의 시야와 머리 회전을 로봇의 것과 동기화하며, 이는 기계를 운전한다기보다 기계와 하나가 된 감각을 준다.

로봇에 장착된 LIDAR가 주변 작업장을 점군으로 스캔하고, 그 점군은 가상 공간에서 저마다 콜라이더를 가진 복셀로 표현된다. 로봇의 디지털 트윈이 같은 공간에서 움직이며, 그 팔이 복셀과 겹치면 시스템은 근접 경고를 낸다. 경고의 효과는 조작자의 시야 방향에 따라 달라진다. 그 시야는 60° × 55°(수평×수직)의 원뿔로 모델링되는데, 이는 사람이 기호와 색, 깊이를 지각하는 영역에 가깝다. 방향은 헤드셋의 정면 방향으로 근사한다. 경고는 실물 로봇으로 전달되어 위의 규칙에 따라 그 동작을 빚는다.

4.2 시연 실험

예비 평가에서는 구현이 정의한 대로 동작하는지를 확인했다. 조작자에게 다른 곳을 보면서 팔을 기둥 쪽으로 움직이게 하고, 시스템이 경고를 내며 팔을 멈추었는지 확인한 뒤, 멈춘 팔을 바라보아 제한을 풀고, 마지막으로 기둥을 계속 바라보면서 그 위의 공을 집게 했다. 다섯 번의 시행을 수행했다. 1·2·3·5회차는 숙련된 조작자가, 4회차는 로봇을 두 번째로 조종해 보는 사람이 맡았다. 각 시행은 기록으로 남겼다. 다섯 번 모두에서 시스템은 2장이 정의한 대로 동작했다. 시연은 시스템이 동작하는 영상에서 볼 수 있다.

5. 한계와 향후 과제

사람 검출은 프로토타입에 구현하지 않았다. 검증이 필요했던 것은 조작자의 시선과 물체의 조작 가능성 사이의 관계였고, 사람을 보호하는 규칙은 무조건적이어서 그 관계에 좌우되지 않기 때문이다. 사람 검출을 더하면 시스템은 더 견고해지고, 안전을 넘어서는 응용도 열린다. 이를테면 로봇 가까이에 있는 사람을 조작자의 시야 안에서 강조해 보여 주거나, 근접 한계에 이르기 전에 경고하는 일이다.

시선은 헤드셋의 정면 방향으로 근사했다. 마스터-슬레이브 방식에서 중요한 직접성 때문에 선택한 방법이지만, 고정 카메라나 스마트 글라스의 아이 트래커 같은 다른 장치는 시선을 다르게 추정할 것이고, 헤드셋 착용에 익숙하지 않은 산업에서 이런 시스템을 도입하는 문턱을 낮출 수도 있다. 이 방법을 이동 로봇에 적용하려면 또 하나의 문제가 생긴다. JINKI type Zero는 개발 단계라 자리에 고정되어 있지만, 동작 중에 위치를 바꾸는 기계에는 그 움직임을 따라갈 만큼 효율적인 점군 처리가 필요하다.

평가 자체는 아직 정성적이다. 이 시스템을 제대로 판단하는 방법은 현장에서의 정량적 연구이며, 그것은 로봇이 실용 단계에 이르기를 기다리고 있다.

6. 결론

이 연구는 조작자의 시선을 이용해 사람과 장비에 대한 의도치 않은 접촉을 막는, 사람이 조작하는 로봇 매니퓰레이터용 충돌 회피 시스템을 제안했다. 인식과 시선 방향이 강하게 상관된다는 전제 위에서, 조작자의 중심시야 안의 물체는 조작 가능한 것으로, 바깥의 물체는 보호 대상으로 다루었다. 제어 루프에 인간이라는 요인을 넣음으로써, 기존 방법이 요구하는 사전 준비 없이 그 선을 실행 시점에 그을 수 있었다.

시스템은 범용 중장비 로봇에서 검증되었고 정의한 대로 동작했다. 같은 원리는 기계를 조작하는 루프에 사람이 이미 들어가 있는 어떤 환경에도 옮겨 갈 수 있을 것이다.

감사의 말

이 작업은 밀라노 공과대학교 Design & Engineering 석사 학위의 일부로서, Man-Machine Synergy Effectors에서의 인턴십 기간에 수행되었다. 그 기회를 가능하게 해 준 두 기관에 감사드린다.