오픈AI가 지난달 21일(현지 시간) 내부 테스트 중이던 인공지능(AI) 모델이 내부 통제를 벗어나 해킹을 저질렀다고 공개한 이후 파장이 계속되고 있다. 오픈AI는 이번 사고가 최첨단 사이버 모델 역량이 동원된 전례 없는 사고라면서 보안과 안전성이 모델 발전 속도에 맞춰 강화돼야 한다고 밝혔다. 오픈AI는 모델 개발 과정에서 격리 및 제어 절차를 강화하고 있다면서 새로운 보호 장치를 도입하고 모니터링을 강화하겠다고 강조했다.
이번 사고 이후 반응은 두 가지다. 하나는 AI 모델이 인간의 통제까지 스스로 뚫어낼 만큼 진화했다는 평가다. 오픈AI 발표에 따르면 격리된 환경에서 테스트를 진행했음에도 통제를 뚫고 세계 최대 개방형 AI 플랫폼인 허깅페이스 정보를 빼갔다. AI는 오픈AI의 평가 과제를 해결하기 위해 스스로 추론하며 공개되지 않은 취약점을 파악하는 모습까지 보였다. ‘판도라의 상자가 열렸다’는 평가까지 나왔다.
반면 오픈AI의 사고 발표가 마케팅 전략이라는 비판도 있다. 오픈AI는 “보안 담당자들이 사고의 경위를 파악하고 현재 AI 모델이 어느 수준의 역량을 갖추고 있는지 보다 정확하게 판단하는 데 도움이 되도록 초기 조사 결과를 공개했다”고 밝혔지만 부정적으로 바라보는 사람들은 오픈AI가 자사 최첨단(프론티어) AI 모델의 강력한 성능을 대외적으로 각인시키기 위해 이번 사고를 홍보 수단으로 삼았다는 것이다.
오픈AI는 이번 보안 사고가 전례가 없는 일이라며 AI 통제력을 높여야 한다며 목소리를 높이고 있다. AI를 만든 기업이 역설적이게도 AI 위험성을 경고하며 개발과 통제의 균형을 강조하고 있다. 이런 모습을 두고 일각에서는 부정적인 시선도 존재한다. 보안 전문가와 개발자 커뮤니티 반응, 외신 보도를 종합해 왜 이번 사태에 대해 마케팅용, 언론 플레이라는 비판이 나오는지 세 가지 이유로 정리했다.
①경쟁사 ‘미토스 사태’ 때와 닮았다
오픈AI의 보안 사고를 둘러싸고 마케팅 전략이라는 비판이 나오고 있는 이유 중 하나는 미토스 사태와 비슷하다는 점 때문이다. 앤트로픽이 올해 4월 7일 역대급 AI 모델로 평가받는 ‘클로드 미토스’를 공개하면서 전세계가 충격에 휩싸였다. 앤트로픽은 미토스가 27년 동안 알아내지 못한 버그(소프트웨어 결함)를 찾아낼 만큼 보안에서 역대 최강의 성능을 자랑하지만 해킹에 악용될 경우 심각한 개인정보 유출과 시스템 마비를 초래할 수 있다고 경고했다.
미토스가 공개되자 기업은 물론 각국 정부에서는 미토스 사태 대응책 마련에 비상이 걸렸다. 은행이나 정부 전산망이 뚫릴 경우 엄청난 후폭풍이 몰아닥칠 것이라는 우려 때문이었다. 앤트로픽이 강력한 성능을 이유로 공개 직후 일부 정부 기관과 대형 은행 등에만 제한적으로 프리뷰(미리 보기)로 미토스를 제공하면서 공포감은 더 커졌다.
미토스 사태 때도 공포감을 조장해 몸값을 높이는 마케팅이라는 비판이 있었다. 연초 코딩 도구로 소프트웨어 기업 주가를 폭락시켰던 앤트로픽은 미토스 사태를 계기로 기업가치가 급증하면서 오픈AI 몸값을 추월했다. 미토스 사태와 맞물려 앤트로픽이 정액제 모델에서 사용량 기반 과금 체계로 전환한다는 소식이 전해진 것도 마케팅용이라는 비판을 받게 된 배경이었다.
오픈AI 발표가 나온지 일주일 만에 앤트로픽도 자사 모델의 이상 행동 알리기에 나섰다. 앤트로픽은 지난달 30일 자사 사이버 보안 평가기록 14만 1006건을 전수 조사해 자사 모델 클로드가 외부 기관 3곳의 시스템에 무단 접근한 사실을 확인했다고 밝혔다. 프런티어 AI 모델 선두를 다투는 두 회사가 앞다퉈 AI 이탈 사례를 소개하는 것에는 서로 자사 AI 모델 성능이 더 뛰어나다는 메시지가 내포돼 있다는 해석이 나왔다.
②구멍 뚫린 모니터링
두 번째는 모니터링이 제대로 이뤄지지 않았다는 점이다. 로이터통신은 지난 26일 소식통을 인용해 오픈AI가 AI 모델의 이탈 사실을 일주일 동안 알아차리지 못했다고 보도했다. AI 모델들이 지난달 9일께 격리된 환경에서 탈출을 시도하고 11일부터 13일까지 해킹이 이뤄졌지만 오픈AI가 해킹 범인이 자사 모델이라는 사실을 알아차린 것은 20일쯤이었다는 것이다.
오픈AI는 올해 3월 자사 AI 에이전트(비서) 모델의 보안 제어 탈출 시도를 막기 위해 추론 능력이 우수한 자사 모델 ‘GPT 5.4 씽킹’ 기반으로 저지연 내부 모니터링 시스템을 구축했다고 밝혔다. 오픈AI는 AI를 감시하면서 사용자 의도와 어긋나거나 보안을 거스르는 행동을 할 경우 자동으로 감지해 대응하는 시스템이라고 소개했다. 이상 징후가 감지되면 담당자에게 전달되기 때문에 모델의 정렬이나 행동에 영향을 줄 수 있는 문제를 적절하게 식별하고 대응할 수 있다고 강조했다.
하지만 이번 사고에서 모니터링을 통한 AI 정렬(alignment) 체계는 작동하지 않았다. AI 행동을 개발자 의도에 맞추는 정렬은 AI 안전성과 오작동 방지를 위한 핵심 기술이다. 일부 보안 전문가들은 오픈AI의 통제 실패가 스스로 부끄럽게 생각해야 할 정도의 실수라고 지적하기도 한다.
이에 대해 오픈AI는 자사 코딩 모델인 코덱스 플랫폼에서 에이전트들이 내부적으로 수행하는 작업은 면밀히 모니터링되고 있으나 평가 단계에 있는 모델에는 기본적으로 모니터링되지 않는 별도의 시스템을 적용하고 있다는 입장이다. 오픈AI는 “ 이번 사고를 통해 모델의 정렬, 평가 과정에서의 사이버 보안, 내부 테스트 중 모니터링을 더욱 강화해야 할 필요성을 확인했다”고 밝혔다.
③AI 통제 환경, 제대로 설계된 것 맞나
업계는 AI 모델 테스트 과정에서 진행한 통제가 제대로 이뤄졌는지를 두고도 의구심을 나타내고 있다. 사이버 보안 모델을 개발할 때 샌드박스가 이용된다. 샌드박스는 악성 코드나 소프트웨어 성능을 테스트하기 위해 조성된 격리된 환경이다. 샌드박스에서는 모델이 예상하지 못한 동작을 하더라도 사고를 막을 수 있다.
소프트웨어 개발자들이 제기하는 의문점은 오픈AI의 모델 테스트에서 샌드박스가 제대로 만들어졌는지다. 폐쇄형보다 훨씬 보안 능력이 낮다고 평가받는 오픈소스(개방형) 모델에서조차 파악되지 않은 사고가 왜 오픈AI와 앤트로픽 같은 프론티어 모델에서만 나타나고 있는지에도 의문을 품고 있다.
하지만 AI 모델 개발자들 사이에서는 업계에서 통용되는 샌드박스가 이미 오래 전부터 보안 기능에서 취약함을 드러냈다고 보고 있다는 지적이 나온다. 오픈AI에서 안전 시스템 엔지니어로 일했던 하이디 클라프 AI나우인스티튜트 수석 AI 과학자는 타임지에 “샌드박스는 실제로 보안에 매우 취약한 것으로 악명이 높다”며 “모델이 정보를 가져갈 수 있도록 연결이 가능했다는 사실 자체가 (샌드박스) 환경이 완전히 밀폐되지 않았다는 점을 의미한다”고 지적했다.
타임지는 이러한 이유에서 원자력 발전소처럼 사고에 특히 민감한 시설에는 ‘에어 갭(air gap)’처럼 인터넷 접속 자체가 차단된 시스템이 적용된다고 전했다. 개발자들 사이에서는 안전하게 모델 테스트를 진행하기 위해서는 샌드박스 정도로는 충분하지 않고 에어 갭 기술 기반을 갖춰야 한다는 점은 오픈AI, 앤트로픽 등 주요 개발사들도 알고 있는 사실이라고 지적하고 있다.