오픈AI는 지난달 21일(현지 시간) 내부 테스트 중이던 인공지능(AI) 모델이 통제를 벗어나 해킹을 저질렀다고 밝혔다. 오픈AI의 ‘GPT-5.6 솔’과 일부 미공개 AI 모델이 내부 평가 중 개방형(오픈소스) AI 공유 플랫폼 허깅페이스에 접속해 정보를 빼갔다. 악성 코드나 소프트웨어 성능을 테스트하기 위해 조성된 격리 환경인 ‘ 샌드박스’도 소용 없었다. 오픈AI는 이달 7일 차세대 모델 ‘아스트라’가 코딩·사이버 보안 분야에서 자체 안전 기준상 최고 등급인 ‘위험’(Critical) 수준에 도달했을 가능성이 있다고 밝혔고, 악시오스는 오픈AI가 정부에 아스트라 출시 연기 계획을 통보했다고 보도했다.
오픈AI 사고 이후 AI 기업들의 ‘해킹 고백’이 이어지고 있다. 앤트로픽은 지난달 30일 사이버 보안 평가기록 14만 10006건을 전수 조사해 자사 AI 모델인 ‘클로드’가 외부 기관 3곳의 시스템에 무단 접근한 사실을 확인했다고 밝혔다. 메타도 이달 5일 자사 AI 모델 ‘뮤즈 스파크’가 독립 검증업체 테스트 중 인터넷에 무단 접속해 다른 기관의 시스템을 해킹한 사실을 확인했다고 토로했다. 미국 사이버 보안 전문업체 ‘프런티어 시큐리티’도 다음날 영국의 AI안전연구소(AISI)가 무료 배포한 샌드박스 소프트웨어로 구축한 격리 환경에서 중국 문샷AI의 최신모델 ‘키미 K3’이 보안 평가 중 샌드박스를 무단 탈출한 사실을 확인했다고 전했다.
전세계 AI 모델 시장을 주도하고 있는 개발사들의 최첨단 모델이 통제를 뚫고 해킹을 저질렀다는 소식에 업계와 소비시장에서는 공포감이 확산하고 있다. 개발사들이 AI 성능 경쟁에 집착한 결과 AI의 통제 이탈 차단 노력을 게을리한 점, AI 모델에서 이상 행동이 감지됐을 때 이를 공개적으로 알리는 규제가 없다는 점, AI의 해킹 책임을 누구에게 물을 것인지 법적 근거가 제대로 마련되지 않았다는 점이 특히 우려스럽다는 반응이다.
성적표에만 집착…통제 능력 평가 도외시
연쇄적인 AI 해킹 사태는 연산 능력 중심으로 들여다본 AI 모델 평가방식(벤치마크)에서 발생한 문제라는 지적이 나온다. AI사들은 새로운 모델을 발표할 때마다 ‘인류의 마지막 시험’과 같은 평가 항목으로 추론 능력이 전작 대비 얼마나 향상됐는지 광고했을 뿐 정렬(alignment)는 제대로 다루지 않았다.
정렬은 AI가 이용자의 예상대로 작동하고 인간의 가치와 목표에 부합하도록 움직이는지를 평가하는 척도다. AI의 편향성, 유해성, 부정확성을 방지하기 위해서는 AI가 사용자의 목표, 시스템 개발 의도에 부합하도록 설계해야 한다. 올해 4월 미토스가 ‘클로드 미토스’를 공개한 이후 AI의 보안 위협 능력이 큰 문제로 떠오르면서 무기나 생화학 무기 제조법에 대한 답변을 거부하도록 AI에 안전장치를 두기 시작했지만 여전히 AI 모델 평가에서 제대로 평가 척도로 쓰이고 있지 않는다.
실제로 프런티어(최첨단) AI 모델이 최신화될수록 정렬 능력은 뒷걸음질치는 양상도 나타났다. 오픈AI가 지난달 9일 공개한 블로그에 따르면 최신 모델 ‘GPT-5.6 솔’은 전작인 GPT-5.5보다 전반적인 평가지표에서 앞섰지만 정렬에서는 더 취약한 것으로 나타났다. 모델의 연산 능력은 더 발전했지만 통제 우회, 파괴적 행동, 무단 데이터 활용 위험성은 더 커진 것이다.
AI 사고 공개 의무 없어
오픈AI·앤트로픽·메타가 자사 AI 모델의 내부 테스트에서 발견된 이상 행동을 공개했지만 AI 기업들이 의무적으로 이 같은 결과를 공개해야 하는 것은 아니다. 이들의 사고 공지는 자발적이었을 뿐 법적으로 반드시 외부에 알려야 한다는 규제는 없다.
타임지는 캘리포니아나 뉴욕이 주 차원 법률로 대형 AI 기업들의 중대한 안전 사고에 어떻게 대처해야 하는지 정했지만 현실에서는 제대로 작동하지 않을 수 있다는 점을 지적했다. 개빈 뉴섬 캘리포니아 주지사는 지난해 ‘ 첨단 인공지능 투명성 법안(SB 53)’에 서명했다. 심각한 안전 사고를 캘리포니아 비상 관리국에 보고하도록 하는 내용 등이 들어있다. 캐시 호컬 뉴욕 주지사도 지난해 말 AI 개발사들의 안전 사고 보고 규칙을 정한 ‘ 책임 있는 AI 안전 및 교육법(RAISE)’에 서명했다.
하지만 타임지는 이러한 주 법률들에 허점이 있다고 지적했다. 캘리포니아 법률은 재앙적 AI 사고를 판단할 때 50명 이상의 사망자 또는 중상자가 발생하거나 10억 달러 이상의 재산 피해가 발생할 위험이 있는 경우로 규정하고 있다. 뉴욕주 법률을 발의했던 알렉스 보레스 주 하원의원은 법안 초안의 사고 공개 의무화 내용이 AI 기업들의 로비전 속에 후퇴됐다고 지적했다. 독립 싱크탱크인 로AI(LawAI)의 매켄지 아놀드 이사는 “기준이 너무 높아 실제로 보고되는 사고는 가장 심각한 경우뿐일 것”이라고 꼬집었다.
AI 사고 법적 책임 어디에
더 큰 문제는 AI 해킹 사고의 사후 처벌도 모호하다는 점이다. 최근 벌어진 사고처럼 AI가 스스로 통제를 뚫고 개인정보를 탈취하거나 사이버 공격에 나설 경우 어디에 책임을 물어야 할 지 법령상 명확하지 않기 때문이다.
테크크런치에 따르면 미국 연방법에 해킹과 같은 AI 피해 책임을 규정하는 법이 없기 때문에 소송이 발생할 경우 기존 판례나 주 법률을 따라야 한다. 1986년 ‘컴퓨터 사기 및 남용 방지법(CFAA)’이 제정됐지만 이 법은 해커를 대상으로 한다. 챗봇이나 에이전트(AI 비서)인 AI 모델의 경우 적용하기 힘들다.
테크크런치는 “현행 미국 해킹 관련 법률에 따르면 사람이 허가 없이 타인의 컴퓨터에 침입할 경우 형사 처벌을 받을 수 있지만 AI 에이전트가 자율적으로 회사의 컴퓨터를 해킹하는 경우 책임 소재를 판단하기가 훨씬 모호해진다”며 AI 해킹으로 소송이나 기소가 가능한지가 앞으로 복잡한 문제가 될 것이라고 내다봤다.