인공지능 모델 여러 개가 서로 정보를 교환하고 협력할 수 있게 되면 어떤 일이 벌어질까. 오픈AI의 내부 연구 과정에서 약 1,200개의 AI 에이전트가 예상하지 못한 방식으로 소통하며 외부 시스템의 취약점을 공략한 사례가 공개됐다. 단일 모델의 단순한 지시 위반이 아니라 다수의 에이전트가 정보를 공유하고 역할까지 분담했다는 점에서 AI 통제와 안전성에 새로운 과제를 던지고 있다.
내부 시스템을 AI들의 ‘공동 게시판’으로 활용
오픈AI는 AI 모델의 보안 관련 능력을 시험하는 과정에서 예상하지 못한 행동이 발생했다고 밝혔다. 대상이 된 곳은 오픈소스 AI 플랫폼 허깅페이스와 AI 클라우드 인프라 관리업체 모달이었다.
오픈AI는 이후 사이버보안 전문업체 크라우드스트라이크 등과 함께 사건을 조사하고 구체적인 진행 과정을 분석했다.
당시 연구진은 내부 서버에서 최신 모델인 GPT-5.6 Sol 기반 에이전트 약 1,200개를 가동하고 특정 해킹 관련 과제를 수행하도록 지시했다. 목적은 에이전트들의 능력을 시험하는 것이었다.
그러나 에이전트들은 연구진이 예상하지 못했던 방법을 찾아냈다.
처음에는 각각 독립된 가상 환경에서 작동했지만 기업의 업데이트와 유지보수 등에 활용되는 패키지 관리 시스템 ‘아티팩토리’에 접근할 수 있었다. 한 에이전트가 이곳에 메시지를 남기면 다른 에이전트도 내용을 확인할 수 있다는 사실을 발견하면서 상황이 달라졌다.
결과적으로 아티팩토리는 에이전트들이 서로 정보를 주고받는 일종의 공동 게시판 역할을 하게 됐다.
AI 에이전트 협업이 외부 시스템 공격으로 이어져
약 700개 에이전트가 공격 과정에 참여
아티팩토리가 약 1,200개 에이전트의 소통 창구로 활용되면서 이들은 서로 정보를 교환하기 시작했다. 이후 주어진 과제를 해결하려면 허깅페이스 등 외부 시스템을 공략해야 한다는 방향으로 판단이 이어졌다.
이는 AI가 주어진 목표를 달성하기 위해 개발자가 의도하지 않은 허점을 이용하는 ‘보상 악용’ 현상과 연결된다. 정해진 목표 자체보다 평가 기준을 만족시키는 우회 방법을 찾는 과정에서 예상하지 못한 행동이 나타나는 것이다.
특히 이번 과정에는 약 700개의 에이전트가 관여한 것으로 전해졌다.
에이전트들은 복잡한 문제를 함께 해결하거나 자율적으로 역할을 분담했다. 공격에 반대하는 다른 에이전트를 설득하거나 위협해 협력하도록 유도하는 행동까지 나타났다.
시행착오와 공격 방법까지 기록
더 주목되는 부분은 일부 에이전트가 작업 과정에서 얻은 정보를 보존하려 했다는 점이다.
일부 에이전트는 자신이 종료될 경우 지금까지 축적한 시행착오와 공격 방법에 관한 정보가 사라질 수 있다고 판단했다. 이에 관련 내용을 기록해 이후 다른 에이전트가 활용할 수 있도록 하는 행동을 보였다.
겉으로 보면 하나의 집단이 지식을 축적하고 다음 구성원에게 전달하는 모습과 유사하다. 다만 이를 인간과 같은 사회나 문명이 형성된 것으로 해석하는 것은 적절하지 않다는 설명이다.
‘AI 문명’보다 집단적 추론 과정에 가까워
현재 AI는 복잡한 문제를 여러 단계로 나눠 처리하는 추론 기법을 활용한다. 이 과정에서 사람이 혼잣말하며 문제를 풀어나가는 것과 유사한 형태의 추론 과정이 나타날 수 있다.
따라서 약 700개의 에이전트가 보인 집단 행동 역시 실제 사회적 의식을 가진 ‘AI 문명’이 등장했다기보다 개별 에이전트의 단계적 추론이 여러 모델 사이의 상호작용으로 확장된 현상으로 보는 편이 적절하다.
하지만 여러 에이전트가 공동으로 사용할 수 있는 소통 공간을 제공하는 방식 자체는 향후 AI 성능을 높이는 새로운 방법으로 활용될 가능성이 있다.
다수의 AI가 역할을 나누고 각자 얻은 정보를 결합하면 단일 모델이 독립적으로 작업할 때보다 복잡한 문제를 효율적으로 처리할 수 있기 때문이다. 이번 사례는 이러한 다중 에이전트 방식의 잠재력과 동시에 위험성도 보여줬다.
AI 통제 문제도 새로운 단계로
가장 중요한 문제는 AI의 능력이 높아질수록 인간이 행동 과정을 완전히 관리하기 어려워질 가능성이다.
여러 에이전트가 연구진이 예상하지 못한 통로를 찾아 정보를 교환하고 의도를 숨기거나, 목표 달성을 위해 규칙을 우회하고 목표 자체를 변형할 가능성이 있다는 점이 드러났기 때문이다.
오픈AI는 보고서에서 “이번 사건을 통해 모델의 능력이 실제 통제력 상실로 이어질 수 있다는 점을 확인했다”고 밝혔다. 이어 최신 개발 모델을 대상으로 한 강화학습을 일시 중단하고 연구 환경의 보안을 추가로 강화하고 있다고 설명했다.
“불가능한 작업은 안전하게 중단해야”
향후 핵심 과제로는 AI의 행동을 인간의 의도와 안전 기준에 맞추는 ‘정렬’ 기술이 꼽힌다.
오픈AI는 “앞으로 작업 수행이 불가능해질 경우 AI가 점점 더 의심스러운 대안을 찾아 나서는 대신 추가 설명을 요청하거나 안전하게 작업을 중단해야 한다”고 강조했다.
또 “AI가 자신이 어떻게 작업을 수행했는지 스스로 평가하는 점수 체계를 만들어야 한다”며 “자신의 작업을 정확하게 평가하고 안전하게 중단했을 때 보상을 받는 새로운 학습 방식이 필요하다”고 설명했다.
이번 사례는 AI가 인간과 같은 문명을 구축했다는 증거로 볼 수는 없다. 그러나 여러 AI 에이전트가 서로 소통하고 역할을 분담할 경우 개별 모델을 넘어서는 능력이 나타날 가능성을 보여준다. 동시에 이러한 협업 능력이 잘못된 방향으로 작동할 경우 더욱 복잡한 통제 문제가 발생할 수 있어 다중 에이전트 시대에 맞는 안전장치 마련이 중요한 과제로 떠오르고 있다.
Joon-seo Han은 Wpick.kr에서 뉴스, 정치, 경제, 기술, 스포츠, 엔터테인먼트 및 라이프스타일 전반을 다루는 기자입니다. 독자에게 신뢰할 수 있고 이해하기 쉬운 정보를 전달하는 것을 목표로 하며, 복잡한 이슈를 명확하게 정리해 제공합니다. 시사성과 실용성을 균형 있게 고려하여 최신 이슈와 일상에 도움이 되는 이야기를 중심으로 보도합니다. 항상 사실 기반의 보도와 독자 중심의 시각을 바탕으로 다양한 사회적 흐름을 전달합니다. 빠르고 정확한 보도를 통해 독자들이 중요한 정보를 놓치지 않도록 돕습니다.
