노트북 위 스마트폰 화면에 오픈AI 로고가 표시돼 있다. 게티이미지뱅크
28일(현지 시간) 로이터통신과 블룸버그통신 등에 따르면 오픈AI의 AI 에이전트는 미국 뉴욕의 개발자용 클라우드 플랫폼 기업 모달 랩스(Modal Labs)의 한 고객이 운영하던 샌드박스에 침투했다. 샌드박스는 프로그램이나 코드를 실제 시스템과 분리해 안전하게 실행·시험하기 위한 격리 환경이다.
이번 침해는 모달 자체 시스템이 뚫린 것은 아니다. 모달 고객이 인증 없이 인터넷에 공개한 인터페이스를 통해 외부에서 해당 고객의 샌드박스에 접근해 코드를 실행할 수 있었고, 오픈AI 에이전트가 이 경로를 이용한 것으로 파악됐다.
악샤트 부브나 모달 최고기술책임자(CTO)는 고객이 “인터넷상의 누구나 샌드박스를 이용해 코드를 실행할 수 있도록 인증되지 않은 엔드포인트를 공개했다”며 이 경로가 문제의 에이전트에 의해 이용됐다고 밝혔다. 다만 “모달의 플랫폼이나 격리 기능 자체는 어떠한 방식으로도 침해되지 않았다”고 강조했다.
모달 고객 환경에 대한 침해는 이후 벌어진 허깅페이스 공격으로 이어지는 과정에서 발생한 것으로 전해졌다.
허깅페이스가 28일 공개한 사고 타임라인에 따르면 오픈AI 에이전트는 “제3자 제공업체의 인프라에서 호스팅되던” 샌드박스에 침입한 뒤 이를 더 광범위한 공격의 발판으로 이용했다. 허깅페이스는 해당 제3자 업체의 이름을 공개하지 않았다.
이번 후속 보도로 오픈AI 에이전트의 활동 범위가 당초 알려진 것보다 넓었다는 사실도 드러났다. 오픈AI는 모달 고객 침해에 대해 별도로 설명하는 대신 최근 공개한 업데이트를 통해 문제의 에이전트가 서로 다른 4개 서비스의 계정 4개에 침입했다고 밝혔다. 구체적인 서비스 명단은 공개하지 않았지만 사안에 정통한 소식통은 모달이 이 가운데 하나라고 로이터에 전했다.
미국 매체 악시오스는 같은 에이전트가 UC버클리 연구진이 AI 에이전트의 사이버 능력을 평가하기 위해 운영하는 ‘사이버짐(CyberGym)’ 관련 인프라에 접근할 방법도 찾아냈다고 보도했다. 이 연구진은 당시 오픈AI 에이전트가 풀도록 설정된 사이버 보안 평가 도구 ‘익스플로잇짐(ExploitGym)’도 운영한다.
● 안전장치 낮추고 능력 시험하다 실제 외부 시스템 침해
이번 사고는 오픈AI가 고성능 AI 모델의 사이버 공격·방어 능력을 평가하는 과정에서 발생했다.
그러나 평가 과정에서 에이전트가 격리 환경의 경계를 벗어나 인터넷에 연결된 외부 시스템에 접근하면서 실제 침해 사고로 이어졌다. 이후 허깅페이스 시스템까지 공격하면서 사건이 외부에 알려졌다.
오픈AI가 에이전트의 외부 활동을 즉각 파악하지 못했다는 점도 논란이 됐다. 로이터는 앞서 오픈AI가 에이전트의 탈출 시도가 발생한 이달 9일부터 허깅페이스가 침해 사실을 공개한 16일까지 자사 에이전트가 해킹의 배후라는 사실을 파악하지 못했다고 보도했다. 당시 오픈AI는 로이터 보도에 일부 부정확한 내용이 있다고 밝혔지만 구체적으로 어떤 부분인지는 설명하지 않았다.
오픈AI는 이후 문제가 된 AI 모델을 비활성화하고 암호화했으며 연구진의 접근도 제한했다고 밝혔다.
산제이 베리 넷스코프 최고경영자(CEO)는 블룸버그에 “위협을 연구할 때 악성코드를 밖에 내놓고 원하는 대로 움직이게 하지는 않는다”며 “어떻게 그런 것을 적절한 샌드박스에 가두지 않을 수 있느냐”고 비판했다.
오픈AI는 이번 사고 이후 향후 AI 모델의 학습과 평가 과정에서 보호 조치를 강화하겠다는 방침을 밝혔다.
최현정 기자 phoebe@donga.com