인공지능(AI) 추론 효율화 기업 노타가 AI 반도체 스타트업 하이퍼엑셀에 대규모언어모델(LLM) 최적화 기술을 2년 연속 공급한다. 하이퍼엑셀의 AI 반도체에서 다양한 LLM을 효율적으로 구동할 수 있도록 지원해 데이터센터와 기업용 AI 시장을 공략한다는 구상이다.
노타는 하이퍼엑셀과 LLM 최적화 기술 공급을 위한 후속 계약을 체결했다고 13일 밝혔다. 지난해 9월 첫 계약에 이은 두 번째 수주다. 하이퍼엑셀이 개발한 LLM 추론 전용 반도체 ‘베르다 LPU’에서 최신 AI 모델을 효율적으로 구동할 수 있도록 최적화 기술을 공급하는 것이 핵심이다.
이번 계약을 통해 하이퍼엑셀은 자사 반도체에서 구동할 수 있는 AI 모델의 종류를 늘리고 데이터센터와 기업 고객의 다양한 서비스 수요에 대응할 계획이다.
이를 위해 노타는 자체 AI 최적화 플랫폼 ‘넷츠프레소’를 활용해 베르다의 하드웨어 특성에 맞게 LLM을 최적화한다. 하이퍼엑셀의 소프트웨어 개발도구(SDK)와 자체 개발 언어 ‘레가토’를 기반으로 주요 연산을 처리하는 커널의 실행 효율을 높이고, 모델의 수치 정밀도를 낮춰 메모리 사용량과 연산 부담을 줄이는 양자화 기술도 적용할 예정이다.
김주영 하이퍼엑셀 대표는 “LLM 추론 시장이 확대되면서 다양한 모델을 지원하고 실제 서비스 환경에 적용할 수 있는 AI 반도체의 활용성이 중요해지고 있다”며 “노타와의 지속적인 기술 협력을 통해 베르다 LPU의 모델 지원 범위를 확대하고 제품 경쟁력을 강화하겠다”고 말했다.
채명수 노타 대표는 “AI 반도체 기업의 경쟁력은 우수한 하드웨어뿐 아니라 고객이 원하는 AI 모델을 빠르고 효율적으로 실행할 수 있도록 지원하는 소프트웨어 생태계에서도 결정된다”며 “앞으로도 글로벌 AI 반도체 기업들과 협력을 확대하고 모델 최적화부터 연산 커널까지 아우르는 소프트웨어 기술 공급 사업을 성장시키겠다”고 밝혔다.