정부가 차세대 인공지능(AI)에 맞춰 보안 기준을 재정립하는 것은 AI의 발전으로 사이버 공격의 양상 자체가 달라지고 있기 때문이다. 공격 방법을 알려주거나 코드를 작성하던 AI가 취약점 탐색부터 시스템 침투, 데이터 탈취까지 여러 단계를 직접 수행하면서 공격에 필요한 시간과 인력은 줄고 피해 범위는 넓어지고 있다. 공격자가 더 적은 비용으로 더 많은 대상을 노릴 수 있게 된 반면 방어자가 위협을 발견하고 대응할 시간은 갈수록 짧아지는 것이다.
13일(현지 시간) 미국 정보기술(IT) 전문 매체 디인포메이션에 따르면 앤트로픽과 오픈AI·구글은 AI 업계를 위한 표준 기구를 공동으로 설립하는 방안을 논의하고 있다. AI가 인간의 통제를 벗어날 수 있다는 우려 속에 기술 개발의 속도를 조절해야 한다는 목소리가 커지는 가운데 업계 차원의 통제 장치를 마련하려는 움직임도 구체화하는 모습이다.
AI를 활용한 공격의 속도와 규모는 이미 실제 침해 사례에서 드러나고 있다. 앤트로픽이 지난해 12월부터 올해 8월까지 자사 AI 모델 클로드의 악용 사례를 분석해 이달 10일 공개한 보고서에 따르면 국제 해킹 조직 ‘샤이니헌터스’의 협력 세력으로 추정되는 공격자들은 서비스형 소프트웨어(SaaS) 업체에 침입한 뒤 이를 발판으로 고객사 약 200곳의 데이터를 빼냈다. 이후에는 디지털 출입증 역할을 하는 인증 토큰(Azure AD 토큰) 2100여 묶음이 담긴 로그인 세션 데이터를 약 34시간 만에 탈취했다. 앤트로픽은 이 작업의 거의 전부를 AI 에이전트가 수행했다고 설명했다. 또 다른 공격에서는 탈취한 개발자 토큰 하나를 이용해 약 3시간 만에 피해자의 클라우드 환경에 대한 관리자 권한을 확보했다. 사이버 범죄 조직이 데이터를 훔치는 일은 비일비재하지만 AI가 발전하면서 그 규모가 크게 늘고 속도가 빨라지고 있는 것이다.
여러 AI를 동시에 투입해 공격을 분업하는 사례도 확인됐다. 중국의 한 범죄 집단은 클로드가 24시간 내내 자율적으로 공격 대상의 취약점을 찾고 취약점을 악용할 만한 공격 코드(익스플로잇)를 연구할 수 있도록 하는 자율형 작업 체계를 설계·구축했다. 이들은 교육·의료·금융·제조 기업과 정부 기관 등 전 세계 약 50개 조직을 표적으로 삼고 실제로 다수의 데이터를 탈취했는데, 여기서도 에이전틱 AI가 핵심 역할을 했다. 특히 하나의 AI 에이전트가 작업을 나눠 여러 하위 에이전트에 맡기는 ‘에이전트 스웜(swarm)’ 방식을 활용했다. 사람이 일일이 지시하지 않아도 여러 공격 작업을 병렬로 진행할 수 있도록 한 것이다.
앤트로픽 측은 “정교한 공격에 더 이상 정교한 인간 공격자는 필요하지 않다”며 “정찰, 도구 개발부터 데이터처리와 취약점 악용에 이르기까지 공격의 모든 과정이 AI를 통해 고도화됐다”고 분석했다. 앤트로픽은 또 “AI의 역할이 점점 자율적인 형태로 변하고 있다”며 “AI 모델 성능이 갈수록 향상되고 있는 데 따른 강화된 보안 조치가 취해지지 않는다면 AI로 인한 위험은 더욱 커질 것”이라고 경고했다.
구글위협인텔리전스그룹(GTIG)이 올해 2분기 침해 사고를 분석하는 과정에서는 AI가 공격 시간을 크게 단축한 사례가 확인됐다. 공격자는 이미 침해한 클라우드 환경에서 에이전틱 AI를 활용해 6시간도 안 돼 대규모 인증 정보 탈취 작전을 기획·구축·실행했다. AI는 취약점을 탐색하고 실행 과정의 오류를 해결하는 작업 등을 자율적으로 처리했다. GTIG는 공격자가 AI에 단편적인 질문을 하는 단계를 넘어 여러 공격 절차를 자동화하면서 방어자의 대응 시간이 줄어들고 있다고 분석했다.
실제로 IBM이 지난해 3월부터 올해 2월까지 1년간 발생한 해킹 피해 기업 602곳을 조사한 결과 이들 중 25%는 AI를 활용한 공격을 받았다고 응답했다. 전년 대비 56% 증가한 수치로 AI 기반 공격으로 인한 피해는 침해 사고 1건당 평균 100만 달러(약 13억 4700만 원)의 추가 비용을 발생시켰다.
국내에서 벌어지는 사이버 위협 역시 급증하는 추세다. 과학기술정보통신부에 따르면 올해 상반기 접수된 사이버 침해 사고는 1236건으로 지난해 상반기보다 19.5%나 증가했다. 과기정통부는 “생성형 AI의 확산으로 현재 모든 공격이 완전 자동화된 것은 아니지만 공격 준비에 드는 시간과 비용이 줄면 기존보다 더 많은 대상을 짧은 시간에 분석할 수 있다”며 “AI의 악용은 기존 사이버 공격의 속도와 규모를 증폭시키는 요인을 넘어 독립적인 신종 사이버 위협으로 다가오고 있다”고 짚었다.
이에 전문가들은 사이버 보안의 개념을 탐색 중심에서 검증·속도 중심으로 고도화해야 한다고 봤다. 양종헌 S2W 통합분석실장은 “미토스와 같은 고성능 AI는 취약점 발견 비용을 낮추고 있다”며 “앞으로의 보안은 취약점을 찾아내는 것이 아니라 AI가 찾아낸 취약점을 어떻게 검증하고 어떤 순서로 고칠 것인지, 어떻게 공격자보다 빠르게 방어 체계를 만들어낼 것인지에 더 무게를 실어야 한다”고 제언했다.