정부 선정 독자 인공지능(AI) 파운데이션 모델 프로젝트 2차 평가에서 스타트업이 글로벌 성능 지표로 대기업을 제치고 1위에 올라서는 결과가 나왔다. 다만 전체 평가의 일부인 데다 한국어 성능을 반영하지 않고 있는 만큼 이를 최종 평가 결과로 단정하기는 어렵다는 지적도 나온다.
13일 해외 AI 성능 평가 기관 ‘아티피셜 어낼러시스’에 따르면 모티프테크놀로지스의 ‘모티프 3’가 최신 ‘아티피셜 애널리시스 인텔리전스 지수(AAII)’에서 47점으로 독파모 4개 참여사 중 가장 높은 점수를 획득했다. 업스테이지 ‘솔라 오픈2’가 37점으로 뒤를 이었고 SK텔레콤 ‘에이닷엑스(A.X)-K2’(35점), LG AI연구원 ‘K-엑사원(EXAONE) 2.0’(31점) 순이었다. 아티피셜 어낼러시스는 AI 모델의 수학·과학·코딩·추론 등 다양한 능력을 종합적으로 평가하는 글로벌 AI 분석기관이다.
모티프 3는 총 3140억 파라미터 규모의 거대언어모델로 모티프테크놀로지스가 약 5개월 만에 사전학습부터 후처리까지 전 과정을 처음부터 개발한 기술이다. 임정환 대표는 “AI 모델 시장에서 국경은 의미가 없고 글로벌 최고 수준의 성능을 보여주는 것만이 독자 파운데이션 모델로서 진정한 의미가 있다”면서 “이번에 얻은 자신감을 바탕으로 미국과 중국 프론티어 모델들과 대등하게 경쟁할 수 있는 최고 수준의 AI 모델을 완성하겠다”고 밝혔다.
하지만 이번 AAII 점수가 독파모 2차 평가 최종 결과를 의미하지는 않는다. 독파모 2차 평가에서 벤치마크 평가는 총 100점 만점 중 40점을 차지하는데 이 중 AAII가 25점, 한국지능정보사회진흥원(NIA) 벤치마크 평가가 15점을 담당한다. 나머지 배점은 전문가 평가(35점)와 사용자 평가(25점)로 구성된다.
AI 업계에서는 한국어 벤치마크가 AAII에 반영되지 않는다는 점을 한계로 지적한다. 아울러 벤치마크 점수 자체의 신뢰성을 둘러싼 논란도 있다. 특정 벤치마크를 겨냥한 데이터와 사후학습으로 점수를 집중적으로 끌어올리는 이른바 ‘벤치맥싱’이 글로벌 AI 업계에서 확산되고 있기 때문이다.
정부는 독파모 2차 평가 결과를 조만간 발표할 예정이다. 최종 평가에서 4개 참여사 중 3팀이 생존해 다음 단계로 진출한다.