인공지능(AI)에이전트는 기존 생성형AI보다 질문 한 건당 최대 136.5배 많은 에너지를 쓰는 것으로 나타났다.
KAIST는 전기및전자공학부 유민수 석좌교수 연구팀이 AI 에이전트가 실제 서비스 환경에서 얼마나 많은 계산 자원과 전력을 사용하는지 세계 최초로 체계적으로 분석했다고 6일 밝혔다.
AI 에이전트는 챗GPT 같은 대형언어모델(LLM)이 단순히 질문에 답하는 수준을 넘어 스스로 계획을 세우고, 인터넷 검색·계산기·코드 실행 등 외부 도구를 활용해 복잡한 문제를 해결한다. 소프트웨어 개발, 연구 지원, 업무 자동화 등 다양한 분야에서 활용이 확대되고 있지만, 이를 실제 서비스로 운영하는 데 필요한 전력과 비용은 충분히 알려지지 않았다.
연구팀은 AI 에이전트를 데이터센터 서버와 그래픽처리장치(GPU)가 지속적으로 처리해야 하는 새로운 형태의 작업으로 보고, 실행 과정에서 발생하는 계산량과 에너지 소비를 분석했다. 그 결과 AI 에이전트는 기존 단계별 추론 방식인 사고사슬(CoT)보다 평균 9.2배 많은 LLM 호출을 발생시키는 것으로 나타났다.
응답 시간도 크게 늘었다. AI 에이전트의 답변 시간은 최대 153.7배 증가했다. 특히 외부 도구가 작업을 수행하는 동안 GPU가 계산을 하지 못하고 대기하는 시간이 전체 실행 시간의 최대 54.5%에 달했다. 복잡한 문제를 풀기 위해 여러 도구를 오가는 과정에서 고가의 GPU가 충분히 활용되지 못하는 비효율이 발생한 것이다.
에너지 소비량은 기존 생성형 AI보다 훨씬 컸다. 연구팀 분석에 따르면 700억 개 매개변수를 가진 대형언어모델을 사용하는 AI 에이전트는 질문 한 건을 처리하는 데 평균 348.41Wh의 전력을 소비했다. 이는 일반적인 단일 질의응답 방식의 생성형 AI보다 136.5배 높은 수준이다.
연구팀은 이를 데이터센터 규모로 확장해 분석했다. 하루 137억 건의 AI 에이전트 요청이 발생하는 미래 환경을 가정할 경우 데이터센터 전력 수요는 약 198.9GW에 이를 것으로 추정됐다. 이는 현재 세계 각국이 추진 중인 수 GW급 AI 데이터센터 규모를 크게 웃도는 수준이며, 미국 전체 평균 전력 소비량의 약 절반에 해당한다.
이번 연구는 AI 경쟁력이 모델 성능뿐 아니라 AI 반도체, 데이터센터, 전력 인프라의 효율성으로 확대되고 있음을 보여준다. 앞으로는 더 똑똑한 AI 모델을 만드는 데 그치지 않고, AI 모델과 반도체, 데이터센터, 전력망을 함께 최적화하는 공동 설계가 중요해질 것으로 전망된다.
유민수 KAIST 석좌교수는 “이번 연구는 AI가 더 똑똑해지는 것을 넘어 그 지능을 구현하고 유지하기 위해 얼마나 많은 전력과 비용이 필요한지를 정량적으로 제시한 첫 사례”라며 “AI 에이전트가 보편화되는 시대에는 AI 데이터센터뿐 아니라 AI 에이전트 모델과 전력 인프라까지 통합적으로 설계하고 최적화하는 접근이 중요해질 것”이라고 말했다.
이번 연구는 KAIST 전기및전자공학부 김지인 박사과정 학생이 제1저자로 수행했다. 연구 결과는 컴퓨터 시스템 설계 분야 국제학회인 IEEE HPCA에서 지난 2월 발표됐다. 연구팀은 논문에서 활용한 AI 에이전트 구현 기술과 벤치마크를 오픈소스로 공개해 후속 연구에 활용할 수 있도록 했다.