정부가 인공지능(AI) 안전·보안 기술을 미래 전략기술로 보고 국내 기술 자립을 추진하는 동시에 글로벌 빅테크 협력도 추진한다. 오픈AI·앤스로픽 등 글로벌 AI 기업과 안전성 평가·사이버보안 협력을 확대하는 한편, 국내에서는 AI 모델의 환각과 오남용을 막는 기술을 개발하기 위한 원천기술 확보에 속도를 낸다는 구상이다.
18일 업계에 따르면 정보통신기획평가원(IITP)과 과학기술정보통신부는 2027년부터 2034년까지 8년간 3000억 원 규모의 ‘AI안전신뢰기술개발 신규 사업’을 추진한다. 이를 위해 최근 IITP는 ‘AI 안전신뢰(Safety) 대규모 R&D사업 사전기획 연구용역’을 공고했다.
이번 사업은 대형언어모델(LLM) 등 AI 모델의 안전성을 국가 차원에서 평가하고, 위험한 응답이나 환각, 악의적 오남용을 차단할 기술을 확보하는 것을 목표로 한다. 현재 챗GPT, 클로드, 제미나이 등 글로벌 LLM은 각 기업이 자체적으로 안전성을 검증하지만 국가 차원의 시험·인증 체계는 충분하지 않다.
이에 따라 전 세계적으로 유해정보 제공, 악성코드 생성, 피싱 자동화, 허위정보 생성 등 위험도 커지고 있지만 대응이 쉽지 않다. 각 모델 개발사가 유해정보 검색을 차단하도록 조치해도 이용자가 문화권에 따라 기업이 발견할 수 없는 우회 방식을 알아내면 쉽게 AI 도구를 악용할 수 있기 때문이다. IITP 관계자는 “사용자가 우회 표현으로 마약 제조법을 물었을 때 일부 모델은 위험한 정보를 제공하기도 한다”며 “모델별 안전성을 평가할 수 있는 표준 체계가 필요하다”고 설명했다.
정부는 자체 연구개발 기반을 마련하는 동시에 글로벌 협력망도 넓히고 있다. 과기정통부는 이날 앤스로픽과 AI 안전성 확보 및 사이버보안 분야 업무협약을 체결했다. 양측은 AI가 사이버 공격과 방어에 미치는 영향을 분석하고, 한국어 맥락에서 AI 모델의 안전성과 오남용 위험을 평가하기로 했다. 자율형 AI 에이전트 레드팀 평가, AI 취약점 발굴, 사이버 위협 정보 공유도 협력 대상이다. 앞서 이달 17일 AI안전연구소는 오픈AI와 업무협약을 맺고 고위험 분야별 안전 평가 방법론과 벤치마크에 관한 지식과 모범사례를 공유하기로 했다. 양측은 한국 사회 맥락을 반영한 AI 안전 평가체계 개발을 위한 기술 정보를 교환하고, 국제적으로 적용 가능한 평가체계 마련에도 협력한다.
전문가들은 AI 안전이 국가 안보 문제로 부각되는 만큼 국가 차원의 평가체계와 원천기술 확보가 시급하다고 지적한다. 한 AI 안전 분야 전문가는 “AI 안전성 평가는 공공 인프라로 봐야 한다”며 “한국어와 국내 사회·문화 맥락을 반영한 평가체계, 오남용을 막는 방어기술, 모델의 판단 근거를 설명하고 검증할 수 있는 기술을 함께 키워야 한다”고 말했다.