CCTV 등 외부에서 사람의 행동을 촬영한 영상이 피지컬 인공지능(AI)을 학습시키는 핵심 데이터로 떠오르고 있다. 로봇을 직접 움직여 학습 데이터를 모으려면 많은 시간과 비용이 들기 때문이다. 사람이 움직이고 사물을 다루는 다양한 영상을 활용하면 부족한 로봇 학습 데이터를 빠르게 늘릴 수 있을 것으로 보인다. 특히 다양한 관점의 데이터셋 구축이 피지컬 AI 상용화를 앞당길 수 있다는 기대도 커지고 있다.
19일 학계에 따르면 중국의 저우다취안 베이징대 교수 연구팀은 총 100만 시간 분량에 달하는 피지컬 AI 학습용 영상 데이터셋 ‘휴먼넷’을 구축하고 이에 대한 연구 성과를 담은 논문을 올해 5월 발표했다.
휴먼넷의 특징은 작업자의 시야를 그대로 보여주는 1인칭 영상과 외부에서 사람의 행동을 바라보는 3인칭 영상을 통합했다는 점이다. 피지컬 AI 구현 측면에서 1인칭 시점과 제3자 시점의 영상이 갖는 역할은 다르다. 카메라를 착용한 작업자의 1인칭 영상은 손과 물체가 어떻게 접촉하는지, 어떤 순서로 작업하는지 등을 세밀하게 보여주는 데 특화돼 있다. 반면 3인칭 영상에서는 사람의 전신 움직임과 자세는 물론 주변 사람·사물과의 관계와 공간적 맥락까지 관찰할 수 있다. 연구진은 두 시점을 결합하면 인간의 행동을 보다 입체적으로 학습할 수 있다고 봤다.
베이징대 연구진은 제3자 시각 영상에서 추출한 인간의 3D 포즈를 휴머노이드 로봇의 제어 신호로 직관적으로 변환할 수 있도록 기술을 개발했다. 실험 결과 휴먼넷 영상 1000시간 분량으로 사전 학습된 피지컬 AI 모델은 실제 로봇 데이터 100시간으로 학습된 AI 모델보다 우수한 성능을 보이는 것으로 나타났다. 로봇 원격 제어를 통해 막대한 비용과 시간이 걸리는 데이터 수집을 영상 데이터로 상당 부분 대체할 수 있음을 입증한 셈이다.
더 나아가 국내에서는 3인칭 시점의 영상을 1인칭 시점으로 변환하는 기술도 나왔다. 주재걸 한국과학기술원(KAIST) 김재철AI대학원 교수 연구팀은 관찰자 시점의 영상만을 활용해 영상 속 인물이 실제로 보고 있을 법한 장면을 정밀하게 생성하는 AI 모델 ‘에고엑스(EgoX)’를 개발했다. 인물의 움직임과 실제 시야 사이의 상관관계를 정밀하게 모델링함으로써 고개를 돌릴 때 시야가 자연스럽게 전환되는 모습까지 사실적으로 구현한 것이 특징이다.
해외 빅테크도 AI 모델 성능을 개선하기 위해 다양한 영상을 활용하고 있다. 엔비디아는 사람이 움직이는 내용의 대규모 영상 데이터를 로봇 학습에 쓴다. 구글 또한 방대한 유튜브 영상을 활용해 물리 세계를 이해할 수 있는 AI 모델로의 고도화를 추진 중이다.