로봇이 보는 3차원 세상이나 증강현실(AR) 가상 공간 속 사물들을 사람의 말과 글로 자유롭게 검색하고 편집할 수 있는 인공지능(AI) 기술이 등장했다. 텍스트로 원하는 물체를 입력하면 AI가 3D 복원 공간 안에서 해당 사물의 위치와 경계를 알아서 찾아내는 방식이다. 이번 기술 개발로 메모리 소모는 크게 줄고 처리 속도는 빨라져, 로봇의 실시간 공간 인식 능력이 향상되고 AR·VR 콘텐츠 제작 환경도 한층 편리해질 것으로 기대된다.
울산과학기술원(UNIST) 인공지능대학원 주경돈 교수 연구팀은 사용자가 입력한 다양한 말이나 문장을 바탕으로 3D 공간 속 대상을 찾아내는 ‘오픈어휘 기반 3D 공간 인식 기술’인 ‘LightSplat’을 개발했다고 8일 밝혔다. 이번 연구 결과는 컴퓨터 비전 분야 최고 권위 학회인 ‘CVPR 2026’에 채택돼 이달 초 미국 덴버에서 발표됐다.
기존의 로봇이나 증강현실 기술은 카메라로 촬영한 2D 이미지를 위치, 색, 투명도 정보를 가진 작은 점 입자인 ‘가우시안’의 집합체로 변환해 3D 공간을 복원한다. 최근에는 미리 정해진 범주의 물체뿐만 아니라 사람의 자연어를 인식해 사물을 찾는 ‘오픈어휘 3D 공간 인식’ 연구가 활발히 진행돼 왔다.
그러나 기존 기술은 수많은 점 입자마다 긴 숫자 형태의 고차원 언어 특징값을 직접 저장해야 해 메모리 소모가 극심했다. 또한 2D 이미지를 3D 공간으로 반복해서 맞추는 과정에서 시간이 오래 걸리고 물체의 경계가 흐려지는 한계가 있었다.
연구팀이 개발한 LightSplat은 3D 공간의 각 점 입자에 긴 데이터 대신 단 2바이트짜리 짧은 인덱스(번호표)만 부여하는 방식으로 이 문제를 해결했다. 실제 사물의 의미 정보는 별도의 표(매핑 구조)에 저장해두고 필요할 때만 인덱스를 통해 찾아보도록 설계해, 기존 오픈어휘 3D 공간 인식 기술과 비교해 메모리 사용량을 64분의 1 수준으로 대폭 낮췄다.
속도 측면에서도 압도적인 성과를 거두었다. 3D 가우시안에 의미 정보를 연결해 사람이 쓰는 자연어로 검색할 수 있는 상태로 만드는 ‘의미 주입 시간’을 약 5초(4.2~4.8초) 내외로 줄였다. 이는 기존의 최신 기술들이 짧게는 4분에서 길게는 100분까지 소요되던 것과 비교해 약 50배에서 최대 400배까지 빠른 속도다.
연구팀은 인덱스를 붙일 때 실제 물체를 표현하는 데 기여도가 높은 점들만 골라내고, 여러 이미지에 흩어진 동일 물체의 정보를 하나로 묶는 ‘3D 클러스터링’ 공정을 적용했다. 이 변환 과정을 통해 사용자가 질의를 던졌을 때 수억 개의 점 입자와 일일이 비교하지 않고, 이미 의미적으로 묶인 ‘객체 단위 클러스터’와만 비교하도록 만들어 추론 속도를 높이고 객체의 경계도 뚜렷하게 유지할 수 있게 했다.
LightSplat은 메모리와 속도를 대폭 개선했음에도 불구하고 인식 정확도는 기존 기술을 능가했다. 다수의 데이터셋(LERF-OVS, DL3DV-OVS)을 활용한 실험에서 라면 위의 달걀이나 유리잔에 담긴 차처럼 크기가 작은 대상부터, 멀리 떨어져 있는 자동차나 사무실 내 복잡하게 배치된 가구까지 명확하게 구분해 냈다. 실내 공간 학술 데이터셋인 ScanNet을 활용한 3D 의미 분할 실험에서는 19개 분류 기준 mIoU(예측 영역과 정답 영역의 일치도) 37.11을 기록했으며, 질의당 추론 시간은 0.002초에 불과했다.
제1저자인 방재훈 연구원은 “오픈어휘 3D 사물 인식 기술을 실제 산업 환경에 적용하려면 정확도뿐만 아니라 속도와 메모리 효율이 필수적”이라며 “이번 연구는 이 세 가지 요소를 모두 확보했다는 점에서 의미 있는 성과”라고 설명했다.
주경돈 교수는 “사람의 말로 지시를 내리면 즉각 임무를 수행하는 인간-기계 상호작용 중심의 로봇 개발은 물론, 텍스트로 가상 공간의 대상을 바로 지정해 편집하는 AR·VR 콘텐츠 제작, 그리고 복잡한 공장이나 산업 현장 설비를 자연어로 탐색·관리하는 디지털 트윈 기술 등에 폭넓게 적용될 것”이라고 기대를 밝혔다.
한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 인공지능대학원 지원사업(UNIST), AI Star Fellowship, LG AI STAR 인재 양성 프로그램, 과기정통부 InnoCORE 사업 등의 지원을 받아 수행됐다.