국내 A기업의 최고기술책임자(CTO) B 씨는 최근 한 달간 혼자서만 1000만 원어치의 토큰을 사용했다. B 씨 산하 팀 전체가 같은 기간 사용한 토큰은 총 6000만 원어치. 직원들이 각종 인공지능(AI) 에이전트를 개발해 24시간 운영하면서 토큰 비용이 불어난 것이다.
AI 전환(AX)이 기업의 필수 생존법으로 자리 잡으면서 국내 기업들도 AI 연산의 기본 단위인 토큰에 주목하기 시작했다. 더 많은 직원들이 토큰을 사용해 AI를 업무에 활용할 수 있도록 장려하는 동시에 이에 따른 토큰 비용을 걱정하는 목소리도 나온다. 효율적인 토큰 관리가 기업별 AI 거버넌스의 중요한 요소로 급부상하고 있다는 지적이다.
8일 업계에 따르면 업스테이지·뤼튼 등 국내 기업들은 직원들이 AI를 업무에 적극 활용하는 데 주력하고 있다. 한국 시장은 이제 AX를 추진하는 단계로 기업들은 당장 토큰 관리보다 AI 경험 확산이 중요하다고 보고 있다. AI 업계의 한 관계자는 “국내에서도 토큰 1억 원어치를 썼다는 얘기가 나온다”며 “토큰을 최대한 쓰는 직원들의 비중을 살펴보고 있는데 아직 많지 않은 분위기”라고 말했다.
그러나 선제적으로 토큰 관리 방안을 모색하는 기업들이 속속 나오고 있다. LG CNS는 최근 직원들의 토큰 사용량을 보여주는 대시보드를 개발해 운영하기 시작했다. 오픈AI로부터 이틀 전 기준 토큰 사용량을 받은 뒤 자체 기준에 따라 사용량을 재가공해 보여주는 방식이다. LG CNS는 대시보드 외에도 직원들이 토큰을 효율적으로 사용해 업무의 생산성을 높이도록 가이드라인을 마련하는 작업을 진행하고 있다.
데이터 테크기업 빅밸류는 아예 토큰 관리 AI 에이전트를 개발했다. 앞서 빅밸류는 고객이 부동산 관련 상담을 하면 각각 역할을 맡은 AI 에이전트끼리 대화를 거쳐 답을 도출해주는 ‘복덕방 가재’를 지난달 출시했다. 실제 운영 과정에서 AI 에이전트 간 대화가 늘어나자 토큰 사용이 급증했다. 이에 회사가 토큰 비용을 관리하는 AI 총무 에이전트도 임명했다. 총무 에이전트는 매일 전날 사용한 토큰 양을 집계하고 비용 보고서를 작성한다.
AI 스타트업 라이너는 개발자들이 라이트 대규모언어모델(LLM) API 키를 발급받아 AI를 쓸 수 있게 하고 있다. 이 방식으로 개발자들은 LLM 종류에 상관없이 토큰을 사용할 수 있다. 특정 모델에서 토큰이 부족해 서비스 개발이 지연되는 것을 막기 위한 조치다.
기업들이 이같이 토큰 관리에 주목하는 데는 최근 코딩을 할 줄 모르는 직원까지 AI 에이전트를 만들어 24시간 365일 가동하면서 토큰 사용량이 뛰었기 때문이다. 여기에 앤스로픽·오픈AI·구글 등이 토큰 사용량에 따라 과금하는 방식을 속속 도입하면서 토큰 비용 부담이 커졌다. 토큰 최적화 전략이 AX의 성패를 가를 변수가 된 셈이다. AI 스타트업 관계자는 “팀당 토큰을 배정해 운영하는데 특정 직원이 생산성이 떨어지는 작업에 토큰을 많이 소비해버리면 정작 생산성이 높은 직원은 토큰 부족 문제를 겪게 된다”며 “아직까지는 특별한 제약을 두고 있지 않지만 토큰 관리 고민은 커질 수밖에 없다”고 언급했다.
최경진 가천대 법학과 교수(인공지능법학회장)는 “이미 AI 이해도가 높고 AI를 잘 활용하는 개발자일수록 과도하게 토큰을 쓰는 경향이 있다”며 “개발자보다 그동안 AI를 잘 안 썼던 직원들이 AI를 많이 써보고 시행착오를 겪을 수 있도록 구분하는 게 필요하다”고 제안했다.