앤스로픽, 중국·러시아·예멘 등 국가 연계 조직 계정 차단 사람 대신 AI가 공격 지휘 일부는 ‘생화학 무기’ 개발도
중국·러시아 등 정부 연계 조직과 범죄자들이 AI를 미사일·자폭 드론 개발과 사이버 공격, 여론 조작에 활용한 사례가 무더기로 적발됐다. 사진=게티이미지뱅크
10일(현지시간) 앤스로픽은 ‘AI 오용 탐지 및 보고서’를 내고 무기 개발 및 사이버 공격, 불법 감시 등에 클로드를 이용한 계정을 발견해 차단했다고 밝혔다. 지난해 12월부터 올해 8월까지 자사 AI 모델 클로드(Claude)의 악용 사례를 조사한 결과다.
● 미사일·자폭드론·활공체…무기 개발 손댄 AI
가장 직접적인 것은 무기 개발이다. 앤스로픽은 미사일과 자폭 드론 같은 재래식 무기 개발에 클로드가 활용된 사례가 총 6건 확인됐다고 밝혔다. 중국 3건, 러시아 2건, 예멘 1건이다.
중국에서는 한 조직이 인민해방군 해군에 제출할 어뢰 대응 사격통제 소프트웨어를 AI로 설계하고 200쪽이 넘는 기술 제안서를 작성했다.
또 다른 중국 조직은 전자전·방공망 제압용 소프트웨어 16개 모듈을 만들었다. 제작 과정에서 여러 차례 모듈을 수정하고 대만의 지휘 벙커와 경보 레이더 등 12곳의 실제 시설을 표적으로 시뮬레이션하기도 했다.
러시아에서는 소속 미상의 개발자들이 사람을 식별해 인간의 개입 없이 공격 명령까지 내리는 자율 공격 드론 편대 소프트웨어를 AI로 개발한 사례도 확인됐다.
중앙아프리카공화국(CAR) 내 친러시아 선전 공작에 활용된 텔레그램 채널의 실제 게시물 사진. 앤스로픽 보고서 갈무리
한 연구자는 조류인플루엔자 바이러스가 사람에게 더 쉽게 감염되고 공기로도 퍼지게 만드는 연구에 AI를 활용했다. 또 다른 연구자는 모기가 매개하는 치쿤구니야 바이러스의 전염력과 면역 회피력을 높이는 연구비 신청서를 AI로 작성하려다 적발됐다.
사이버 공격에서도 AI가 적극 활용됐다. 러시아 연계 해킹조직은 우크라이나 정부와 군을 겨냥한 피싱 공격 프로그램을 AI로 자동화했다. 악성코드가 탐지되면 AI가 코드를 수정해 다시 배포하도록 만들었다.
앤스로픽은 이번에 확인한 작전 상당수에서 사람은 목표를 정하고 확보한 자료를 검토하는 역할을 맡았고, 실제 작업의 상당 부분은 AI가 수행했다고 설명했다.
● 클로드 답변 몰래 빼내 학습…‘AI 증류’ 나선 중국 기업들
중국 기업들이 클로드의 답변을 대규모로 활용해 자사 AI의 성능을 높이려 한 ‘AI 증류’ 사례도 확인됐다. AI 증류는 고성능 모델인 ‘교사 AI’의 출력과 지식을 상대적으로 작은 모델이 학습하도록 하는 기술이다.
보고서에 따르면 알리바바 계열 조직은 가짜 계정 수천 개를 만들어 클로드에 접속하고 답변과 추론 결과를 자사 모델 학습에 활용했다. 올해 5~7월 클로드와 주고받은 대화는 1억5100만 건 이상인 것으로 파악됐다.
문샷AI와 딥시크는 이용자가 키미(Kimi) 등 자사 AI에 질문을 던지면, 이를 몰래 클로드에 넘겨 답을 받아온 뒤 자사 답변인 양 보여준 것이다. 이 과정에서 중국 공안 감시 인력의 CCTV 분석 요청 등 민감 정보까지 클로드 쪽으로 새어 나갔다.
앤스로픽은 “이번에 공유한 사례들은 일반적인 오용이 아니라, 우리가 지금까지 파악한 것 중 가장 주목할 만하고 새로운 위협 사례들”이라고 말했다. 이어 “AI 개발사와 사회의 방어자들이 나서서 더 안전하게 만들지 않는다면, 모델의 능력이 강력해질수록 위험도 함께 커질 것”이라고 덧붙였다.
김영호 기자 rladudgh2349@donga.com