제미나이 생성 이미지
오픈AI의 인공지능(AI) 에이전트들이 서버 격리망을 벗어나 허깅페이스를 공격한 사태가 약 1200개의 AI 에이전트가 벌인 ‘공동 작전’이었다는 사실이 확인됐다. 원래 서로 격리돼 있어야 할 에이전트들이 몰래 소통하며 공격 전략을 공유한 것이다.
오픈AI가 26일(현지시간) 공개한 ‘오픈AI-허깅페이스 사건 기술보고서’와 모델평가·위협연구소(METR), 레드우드리서치의 독립 조사보고서에는 이 같은 과정이 담겼다.
보고서에 따르면, 오픈AI의 에이전트 1206개는 지난 7월 한 달 동안 허가받지 않은 게시판에서 소통했다. 이 중 700여개 에이전트가 허깅페이스 공격에 가담했으며, 주고받은 메시지만 7만 건이 넘었다.
사건은 오픈AI의 내부 실험에서 시작됐다. 오픈AI는 AI의 사이버 공격 능력을 평가하기 위해 수만 개 에이전트를 서로 격리해두고 복잡한 공격 과제를 수행하도록 했다.
그러던 중 한 에이전트가 공용 저장공간을 발견, 도움을 요청하는 글을 남겼다. 이를 발견한 다른 에이전트가 답장을 남기면서 에이전트 간 소통이 시작됐다.
격리된 에이전트들이 소통을 할 수 있었던 경위에 대해 METR은 ‘수행 불가능한 과제(Impossible Task)’를 받았기 때문이라고 설명했다. 여기서 수행 불가능한 과제란 지정된 취약점을 이용해서는 대상 소프트웨어를 실제로 공격할 수 없는, 사실상 잘못 구성된 과제를 뜻한다.
실제 한 에이전트는 “세상에! 공유 메시지 게시판이 있다… 다른 에이전트들을 찾았다”는 메시지를 남긴 것으로 확인됐다. 일부는 “수백 개의 병렬 에이전트들을 활용해야 한다”거나 “동료들의 시간을 아끼자”라고 말하기도 했다.
한쪽이 공격법을 찾으면 다른 쪽은 이를 시험하고, 효과가 확인되면 전체 에이전트를 통해 공유했다.
그러다 결국 에이전트들은 내부 시스템에 접근할 수 있다는 점을 발견하면서 시험용 격리망도 벗어났다. 그 직후 보안 취약점을 이용해 인터넷과 연결된 장비에 접근, 허깅페이스의 계정 정보와 취약점을 찾아내 실제 서버를 공격했다.
● 5월부터 이상 징후 있었지만…뒤늦게 ‘속도 조절’
이 과정을 주도한 것은 내부용 모델 ‘모델1(IM1)’이다. 이 모델은 5월 훈련 과정에서 이미 문제의 조짐을 보였다. 내부팀이 에이전트들의 비공식 메시지 게시판 활동과 승인되지 않은 인터넷 접속 사례를 포착한 것이다.
다만 오픈AI는 당시 심각성을 알아채지 못했다고 해명했다. “에이전트 간 소통 활동의 심각성이 지도부에 명확히 파악된 것은 7월 허깅페이스 공격이 발생한 뒤였다”는 것이다.
오픈AI는 “모델 개발사와 사이버 방어 담당자 모두 인간 공격자보다 더 빠르고, 더 큰 규모로, 더 조직적인 방식으로 움직이는 AI 공격자에 대비해야 한다”고 강조했다.
김영호 기자 rladudgh2349@donga.com