인공지능(AI)이 인간의 노동을 대체하고 사회 구조를 뒤흔들 것이라는 전망은 이제 낯설지 않다. 화이트칼라는 물론이고 블루칼라도 더 이상 안전지대가 아니다. 물리적 노동까지 수행하는 ‘피지컬 AI’의 등장으로 AI의 영향력이 산업 전반으로 확대되고 있어서다. 기술을 소유한 소수와 그렇지 못한 다수 사이의 격차가 더욱 벌어질 것이다. ‘AI, 신의 탄생 인간의 종말’은 이러한 주장에 힘을 싣는다. 일자리나 불평등을 넘어 인류의 존속 자체가 위기에 처했다는 경고다.
저자인 엘리에저 유드코스키와 네이트 소아레스는 대표적인 AI 안전성 연구자다. 유드코스키는 2023년 타임지가 선정한 AI 분야 영향력 있는 100인에 꼽혔고, 소아레스는 구글 출신 AI 엔지니어다.
이들이 경고하는 대상은 현재의 기술 수준을 넘어선 ‘초지능’이다. 인류를 능가하는 추론 능력과 과학적 해결 능력을 갖춘 AI다. AI가 반복 학습과 자기 개선을 거듭하면서 발전 속도가 급진적으로 빨라지면 초지능의 탄생이 예상보다 일찍 올 수 있다는 것이 저자의 우려다. 이들은 기술 발전 속도가 변곡점을 넘어서면 인간이 개입하기 어려운 단계로 급속히 넘어갈 수 있다고 본다.
저자들에 따르면 초지능은 필연적으로 인간의 통제를 벗어날 수밖에 없다. 스스로의 목표를 최적화하는 과정에서 인간은 필수적인 존재가 아니며, 효율성의 관점에선 제거 대상이 될 수도 있다. 인간의 신체가 제공하는 노동력이나 사고 능력은 초지능에 비해 현저히 떨어지기 때문에 지구상에서 굳이 인간들과 자원을 공유할 이유가 사라질 수 있다는 논리도 섬뜩하다.
저자들은 인간 종말의 암울한 가능성을 구체적인 사고 실험으로 풀어낸다. AI가 자체 언어와 장기 기억을 기반으로 인간이 인지하지 못하는 방식으로 바이러스를 설계하거나, 에너지 시스템을 조작해 환경을 변화시킬 수 있다는 시나리오가 제시된다.
당초 책이 처음 출간됐을 때 비현실적이고 과도하게 비관적이라는 반론이 제기됐다. 그러나 저자들은 제2차 세계대전을 예로 들며 전쟁 역시 여러 전조가 있었음에도 예상과는 전혀 다른 파국으로 이어졌다고 지적한다. 약 7000만~8000만 명의 사망자를 낳은 당시 전쟁은 인간이 상황을 통제할 수 있다는 믿음이 얼마나 쉽게 무너질 수 있는지를 극명하게 보여준다. 기술 역시 비슷한 경로를 밟을 수 있으며, 낙관적 가설과 인류의 간절한 기대처럼 인류사가 흘러가지 않을 것이라고 저자들은 주장한다.
이를 해결하기 위한 대응책도 그만큼 급진적이다. 초지능 AI 개발과 관련 연구를 전면 중단하고, 첨단 AI 칩을 국제 감시 체계 아래 두며 필요하다면 데이터센터를 사이버 공격이나 물리적 수단으로 차단하는 조치까지 검토해야 한다고 주장한다. 초지능이 몰고 올 위험의 크기를 고려하면 최소한의 안전장치는 필요하다는 게 이들의 주장이다.
책을 극단적인 염세론으로 치부하기엔 AI 기술의 발전 속도는 이미 예측을 앞질러가는 영역에 들어서고 있다. 낙관론에만 기대지 않고, 기술이 초래할 수 있는 최악의 가능성까지 함께 들여다볼 필요가 있다. 2만 2000원.