클라우드 데이터 분석 기업 스노플레이크를 이끄는 수장이 인공지능(AI) 산업에 퍼지고 있는 토큰 맥싱(tokenmaxxing)에 대해 우려를 나타냈다. 토큰을 얼마나 쓰는지에 따라 직원을 평가하는 기업 문화에 경종을 울린 것이다. 자신의 능력을 과시하기 위해 토큰 사용을 부풀리는 부작용이 나타나자 AI 도입에 적극적인 기업에서조차 역효과를 지적하고 있다.
스리다르 라마스와미 스노플레이크 최고경영자(CEO)는 지난 1일(현지 시간) 미국 샌프란시스코에서 개막한 ‘스노플레이크 서밋 26’에서 미디어 간담회를 통해 “단지 기록을 높이기 위한 토큰맥싱은 끔찍한 생각(terrible idea)이라고 생각한다”고 밝혔다.
토큰은 AI 모델이 학습과 추론 과정에서 처리하는 최소 데이터 단위다. AI가 정보를 글자나 문장부호로 쪼갠 뒤 토큰으로 인식한다. AI 에이전트로 추론이 이뤄질 때는 작업 단위당 토큰 수천 개가 들어간다. 토큰맥싱은 토큰 사용을 극대화해 AI 개발이나 업무 처리에서 성과를 내는 행위다.
라마스와미 CEO는 “나는 때때로 누가 AI를 쓰고 있고, 얼마나 쓰는지 나타내는 대시보드를 직원들과 공유한다”며 “하지만 AI를 쓴다고 해서 더 발전적이거나 생산적이라는 의미는 아니다”라고 강조했다. 이어 “하지만 숫자가 전혀 없다면 AI 활용에 대해 아무것도 모른다는 것을 의미하고, 그렇기 때문에 숫자를 어떻게 활용하는지 신중해야 한다”면서 “그것이 내 팀 전체를 나타내기에는 작은 부분들에 불과하며 큰 잣대가 될 수는 없다”고 덧붙였다.
글로벌 시가총액 1위 기업 엔비디아를 이끄는 젠슨 황 CEO는 토큰맥싱을 대표하는 대표 기업인이다. 그는 지난 3월 한 팟캐스트에서 “AI를 쓰지 않는 것은 칩 설계에 종이와 연필을 사용하는 것과 같다. 연 50만 달러(약 7억 6580만 원)를 받는 엔지니어가 연말에 25만 달러 이상을 토큰에 쓰지 않았다면 매우 걱정하게 될 것”이라며 연봉 절반을 토큰 구입에 써야 유능한 엔지니어라고 주장했다. 또 모든 엔지니어에게 기본 급여 외에 연간 ‘토큰 예산’을 지급하자고 제안했다.
엔비디아를 비롯한 빅테크들이 토큰맥싱에 앞장섰지만 예상밖 부작용을 낳았다. 아마존은 80% 이상이 매주 AI를 써야 한다는 목표를 제시하며 개발자들을 압박했지만 직원들은 AI 에이전트(비서)에 불필요한 업무를 지시해 토큰을 쓰도록 하고 자신의 평가 점수를 높이는 꼼수를 썼다. 이는 회사의 컴퓨팅 비용 증가로 이어졌다. 결국 아마존은 직원들의 AI 도구 사용 내역을 추적하는 자체 개발 도구인 ‘키로랭크’를 중단했다. 파이낸셜타임스(FT)는 소식통을 인용해 데이브 트레드웰 아마존 엔지니어링 수석 부사장이 직원들에게 단순히 AI를 쓰기 위해 토큰을 쓰지 말라고 당부했다고 전했다.
같은 이유로 토큰 순위 경쟁을 없애는 기업들이 늘고 있다. 페이스북 운영사인 메타는 순위표(클로드노믹스)를 통해 8만 5000명의 토큰 사용을 추적하며 상위 250명을 가렸다. 직원들은 ‘불멸자’나 ‘토큰 전설’이라는 칭호를 얻기 위해 경쟁했지만 토큰 소비 자체가 목표로 전락한 결과 피로감을 호소하는 목소리가 터져나왔다. 한 달 토큰 사용량이 60조 개를 넘어서고 1위 혼자서 토큰 2810억 개를 쓸 정도로 낭비가 심해지자 클로드노믹스를 개발한 내부 직원은 운영을 중단했다.
전자상거래 플랫폼 기업 쇼피파이는 토큰 순위표를 가장 먼저 도입했으나 부작용이 나타나며 순위표 대신 사용 현황판 명칭을 쓰고 있다. 기업용 소프트웨어 기업 세일즈포스는 토큰 수만 계산하는 방식에서 벗어나 에이전트가 얼마나 많은 업무를 처리했는지 평가하는 에이전트 작업 단위(AWU) 개념을 도입했다.
AI 개발사들이 월 정액제를 폐지하거나 토큰 사용료를 인상하면서 기업의 비용 부담도 증폭되고 있다. 우버는 올해 앤스로픽의 코딩 도구인 ‘클로드 코드’ 이용에 토큰을 쏟아부은 결과 연간 AI 예산을 4개월 만에 다 써버렸고 투자수익률(ROI)에 경고등이 켜졌다. 토큰맥싱 회의론이 커지면서 우버는 AI 이용 상한제를 도입했다. 앤드류 맥도널드 우버 최고운영책임자(COO)는 팟캐스트에 출연해 “기술연구 팀이 AI 코딩 서비스를 사용하고 있지만 생산성 향상이 뚜렷하게 나타나지 않고 있다”면서 “경영진이 토큰 소비 비용을 어떻게 관리할지 논의하기 시작했다”고 우려했다.
스노플레이크는 토큰 비용 상승에 대처하기 위해 AI 사용 시 전략적으로 고급 모델과 오픈소스(개방형) 모델 활용을 병행하고 있다. 라마스와미 CEO는 “텍스트에서 이용자가 화가 났는지 파악할 때 큰 모델이 필요하지 않다. 사실 매우 쉽고 간단하게 알 수 있기 때문”이라며 “예전에는 고객 피드백을 10가지 카테고리로 분류하기 위해 데이터 분석가들이 며칠 동안 작업해야 했지만 이제는 여러분이 쓰는 영어 문장 수준의 명령으로 충분히 잘 작동하는 모델들이 있다”고 설명했다.
라마스와미 CEO는 “에이전트 플랫폼 작업은 더 이상 하나의 모델이 오랜 시간 동안 순차적으로 수행하는 형태가 아니다”라며 “생산성을 향상시키기 위해서는 어떤 큰 작업이든 체계적으로 조직하는 것이 중요하다”고 말했다. 그러면서 “프로젝트에서 더 중요하고 덜 중요한 부분이 있다”며 “그래서 우리는 작은 모델을 사용해보는 실험을 하게 됐다. 예를 들어 오퍼스가 아니라 소넷 모델을 사용하는 방식”이라고 소개했다. 오퍼스는 앤스로픽 AI 모델인 클로드 최상위 모델이고, 소넷은 한 단계 낮은 모델이다. 추론 성격에 따라 고급, 중급, 무료 모델을 조합해 최적의 조합을 찾는 방식으로 수익성을 올린다는 이야기다.