인공지능(AI) 모델 사용료가 급등하자 기업들이 허리띠를 졸라매고 있다. 이용 모델 등급을 낮추거나 자체 모델을 개발하며 비용 절감에 들어간 것이다. 불과 몇 달 전까지만 해도 토큰 맥싱(토큰 이용 극대화)을 외치던 기업들은 AI 서비스 비용이 감당할 수 없을 정도로 치솟자 대체 방안을 강구하고 나섰다.
디인포메이션은 23일(현지 시간) 앤스로픽과 오픈AI 등 주요 인공지능(AI) 개발사들이 토큰 가격을 인상하자 AI 서비스 고객들이 대안을 찾고 있다고 보도했다. 토큰은 데이터를 처리하기 위한 최소 단위다. 주요 AI 기업들은 수익화를 위해 토큰 가격을 올리거나 월 정액제 서비스를 이용량에 비례해 과금하는 요금체계로 전환하고 있다.
보도에 따르면 병원용 소프트웨어 제공업체인 앙상블 헬스 파트너스는 가격이 고급 모델보다 20분의 1에 불과한 모델로 전환했다. 이 기업은 이용 모델을 바꿔 연간 약 70만 달러(10억 8000만 원)를 절약할 것으로 기대했다.
AI 기반 고객 상담 서비스를 제공하는 기업 핀은 1년 전부터 앤스로픽 모델인 소넷 대신 개방형 모델을 활용해 자체 맞춤형 AI를 개발하도록 방향을 바꿨다. 회사 측은 이러한 시도를 거쳐 매년 수백만 달러를 절약할 수 있게 됐다고 밝혔다.
페이스북과 인스타그램 운영사인 메타나 우버 같은 기업들은 직원들이 매달 사용할 수 있는 AI 용량을 제한하고 있다. 아마존은 한때 직원 80% 이상이 매주 AI를 써야 한다는 목표까지 제시하며 개발자들을 압박했지만 비용 부담이 증폭되자 직원들의 AI 사용 추적 도구 개발을 중단했다. 몇 달 전까지만 해도 AI 개발을 채찍질하기 위해 토큰 사용을 독려했지만 상황이 정반대가 된 것이다.
고급 모델 비용이 치솟자 이용자들은 무료이자 주로 중국기업이 제공하는 오픈소스(개방형) 모델 이용으로 돌아섰다. 미국 모델에 비해 뒤진다고 평가받던 중국 모델 성능이 많이 개선됐다고 보고 딥시크와 같은 중국 AI기업 서비스를 이용하는 곳도 늘었다. AI 모델 비교 서비스를 제공하는 오픈라우터에 따르면 중국 기업이 주도하는 오픈소스 모델에서 처리된 토큰 비중은 올해 1월 둘째 주 34%에서 6월 둘째 주 65%로 치솟았다.
소프트웨어 개발 회사인 인플렉트라의 애덤 샌드먼은 앤스로픽에서 중국 큐웬 모델로 전환하면서 이미지와 비디오 처리 AI 비용을 99% 절감했다고 밝혔다. 그는 “동일한 작업을 100분의 1의 비용으로 훨씬 더 빠르게 수행할 수 있다면 고객에게 더 나은 가치를 제공할 수 있다”고 말했다.
이 같은 분위기 속에서 돈이 쏠리는 기업은 토큰 비용 절감을 돕는 스타트업이다. AI 메모리 효율화를 연구하는 엔그랩은 6억 달러의 기업 가치를 인정받고 9800만 달러 투자를 유치했다. 창업 8개월 만이다. 이번 투자에는 세쿼이아, 제너럴 캐널리스트, 클라이너 퍼킨스 등 유명 벤처캐피털이 참여했다. 이 회사는 자사 기술로 토큰을 최대 100배 적게 사용하면서 최첨단 모델 이상의 성능을 낼 수 있다고 주장한다. CNBC방송은 “새로운 AI 모델 가격이 기존 모델보다 더 높게 나타나면서 규모가 커지면 비용이 줄어든다는 논리에 의문이 제기되고 있다”고 설명했다.