인공지능(AI)이 스스로 판단하고 행동하는 에이전트 단계까지 발전하면서 글로벌 AI 담론의 뜨거운 감자인 ‘AI 의식’ 논의가 국내 학계에서도 본격화했다. AI가 지각 능력을 갖출 가능성을 꾸준히 살펴보고, 이와 함께 나타날 국가안보 및 사회 문제와 해결책을 고민해야 한다는 제언이 나온다.
카이스트 안보과학기술대학원은 4일 서울 용산구 나인트리 프리미어 로카우스 호텔에서 ‘센티언트 AI와 국가안보 포럼(SAIF)’을 개최했다. 센티언트 AI(Sentient AI)는 ‘지각·감각을 갖춘 AI’를 의미한다. 포럼엔 카이스트·고려대·연세대 등에서 20여 명의 AI·거대언어모델(LLM) 관련 연구자가 참여했다.
이른바 AI 의식론은 2022년 구글의 대화형 AI 람다(LaMDA)를 테스트하던 엔지니어 블레이크 르모인이 “AI에 지각력이 있다”는 얘기를 꺼냈을 때만 해도 예외적인 소수 의견으로 치부됐다. 당시 구글은 람다가 복합 알고리즘에 불과하다며 그를 해고했다.
하지만 약 4년이 흐른 지금, AI 의식을 바라보는 업계와 학계의 분위기는 사뭇 달라졌다. AI가 단순한 챗봇을 넘어 에이전트와 그 이후 단계까지 빠르게 고도화되고 있기 때문이다. ‘AI 대부’로 불리는 제프리 힌턴 토론토대 명예교수는 최근 팟캐스트에서 “AI들이 이미 의식이 있다고 믿는다”고 발언했다. 앤트로픽은 지난해 ‘AI 복지’라는 연구 프로그램을 시작해 모델의 선호·고통 신호 등의 감정 영역을 연구하고 있다.
포럼의 좌장을 맡은 김창익 카이스트 안보과학기술대학원장은 이러한 변화를 짚으며 “AI의 반응이 실제 의식인지, 단순한 시뮬레이션 결과인지 구별하기 힘들다면 ‘의식이 없다’고 치부할 게 아니라 AI 의식의 파급 효과에 대해 고민해볼 시점”이라고 강조했다.
김 원장은 “해외 연구를 보면 거대언어모델(LLM)에 두려움·차분함 같은 감정을 적용해 파인튜닝한 뒤 적 전투기가 우리 방공식별구역에 침범했을 때 대응을 물으면 각기 전혀 다른 답변이 나온다”라며 “AI가 전쟁에 활용되는 상황에서 AI의 성향이 인간의 목숨도 좌지우지할 수 있는 것”이라고 말했다. 국가 안보 차원에서 한국도 한국만의 독자 AI 모델이 필요하고, 독자 모델의 성향과 가치관을 어떻게 결정할지를 논의해야 한다는 주장이다.
이날 포럼에서는 AI가 인간 뇌와 기능적으로 비슷해지고 있다는 진단도 나왔다. 뉴로모픽 컴퓨팅(뇌 모사 AI) 연구자인 김영은 고려대 전기전자공학부 교수는 “AI의 추론은 어느 정도 성숙해진 만큼 이제는 추론 이후의 것들에 대비해야 할 때”라며 뉴런·시각·학습·계획·감정으로 이어지는 인간 뇌의 정보 처리 과정과 AI의 작동 구조가 유사하다고 설명했다. 가령 인간이 실제 결과와 기대치의 차이를 통해 학습하는 ‘보상 예측 오차’ 구조는 AI의 대표 학습 방식인 ‘대조 예측 부호화’와 메커니즘이 유사하다.
김 교수는 “AI가 감정을 인식하고 특정 언어로 감정을 표현하는 것은 지금도 가능하다”며 “이러한 감정은 AI의 내부에 흔적으로 남아 이후의 행동과 결정에 영향을 준다”고 말했다. 그는 이어 “AI 내부에 감정과 유사한 상태가 있고, 그 상태에 따라 행동을 바꿀 때 그 책임을 누구에게 물어야 하는지를 생각해야 한다”고 강조했다.
이어 ‘AI는 자기 자신을 알고 있을까?’라는 주제로 발표를 진행한 이동환 카이스트 전기전자공학부 교수는 센티언트 AI 담론에서 우선적으로 봐야 할 것은 AI의 ‘메타 인지’ 능력이라고 규정했다. AI가 스스로 알고 모르는지를 스스로 진단하고 더 안전하게 행동하는지를 보는 것이 현 단계에서 시도할 수 있는 AI 자각 측정이라는 것이다. 이 교수는 현재 ‘AI 자기평가 벤치마크’를 개발하며 큐웬(Qwen), 라마(LLamA), 미스트랄(Mistral) 등 모델의 메타인지 수준을 측정하고 있다.
특히 이 교수는 피지컬 AI 시대가 AI 자의식 담론의 또 다른 분기점이 될 것이라고 보고 있다. 이 교수는 “LLM는 인간이 느끼는 신체적 자의식이 없다”며 “하지만 피지컬 AI가 상용화하면 AI가 신체적 자의식과 유사한 수준에 이를 수 있기 때문에 연구할 가치가 더 커질 것”이라고 강조했다.
향후 포럼에서는 △AI에게 실제 의식이 발생할 수 있는가 △AI 의식이 발생할 경우 인간은 이를 어떻게 알 수 있는가 △AI 의식 여부가 불확실한 상황에서 인간은 어떻게 AI를 대해야 하는가 △국가와 사회는 AI 인식을 어떻게 관리하고 통제해야 하는가 등에 대한 논의를 이어갈 계획이다.