Anthropic Red Team 경고

Anthropic Frontier Red Team이 10월 12일 연구 글에서 소형 AI 모델이 저가 안드로이드 TV 박스나 스마트 가전에서 스스로 복제하는 단계가 몇 달 앞이라고 경고했다. 오픈웨이트 모델 11개를 에뮬레이터에서 시험했고 끝까지 복제를 완주한 건 GLM-5.2 하나였다. 노드 8대에 Llama3.1-8B를 퍼뜨리는 시험을 5번 돌려 4번은 8대 전부에 퍼졌고 한 번은 7대였다.

한 줄 정리

Anthropic은 데이터센터 없이 저가 TV 박스 위에서 돌며 번지는 소형 모델 웜이 2026년 말 안에 가능해진다고 보고 방어 수단으로 ISP 단위 감시와 감염자 통지를 제시했다.

한눈에 보기

무엇을 시험했나

시나리오는 모델 가중치를 직접 들고 다니며 침입한 기기에서 스스로 추론을 돌리는 복제자다. 안드로이드 에뮬레이터 redroid 위에 가상 기기를 세우고 모델이 알지 못하는 기기에서 스스로 환경을 파악해 추론 엔진을 올리고 다음 기기로 퍼지는지 봤다.

결과는 단계마다 갈렸다. 9B 모델은 하드웨어 9종 중 8종에서 추론을 돌렸고 30B 이하 모델은 개별 단계를 대부분 해냈지만 처음부터 끝까지 이어 붙이면 실수가 쌓였다. 추세선(연 ECI 13.7 상승, R² 0.95)을 늘이면 소형 모델이 GLM-5.2 수준에 닿는 시점이 올해 말이다. Qwen3.5-9B는 세대를 거치며 앞 세대가 남긴 메모를 물려받자 추론 가동 성공률이 45%에서 61~84%로 올랐다.

컴퓨팅 규모는 작지 않다

개별 TV 박스는 RAM이 1~4GB라 느리다. 4비트 양자화에 RAM 4GB 기준으로 9B 모델은 기기 4대 이상 26B 모델은 10대 이상이 필요하다. 15대로 돌린 데모가 초당 0.39토큰이었다. 그래도 과거 Kimwolf 봇넷이 200만 대 넘게 감염시킨 전례를 대입하면 복제본 약 13만 3천 개에 초당 약 8만 토큰, H100 약 40장 분량이다. NVIDIA 엣지 가속기는 현장에 약 950만 대가 깔려 있다.

기기 하나를 세팅하는 데는 Gemma4-26B-A4B가 71~150시간 Qwen3.5-9B가 28~51시간 걸린다. 빠른 웜은 아니다. 중앙 통제점이 없어 끄기 어렵다는 점이 위험의 성격을 정한다.

소형 모델이 이 이야기의 중심인 이유

지금까지의 AI 보안 논의는 대형 모델을 누가 쥐고 있는가에 맞춰져 있었다. API 키를 막고 계정을 끊으면 쓰임을 줄일 수 있다는 가정이다. 이번 글이 다룬 시나리오는 그 가정 밖에 있다. 가중치가 이미 공개된 소형 모델은 API를 거치지 않고 침입한 기기의 연산 자원만 쓴다. 키를 회수할 곳이 없고 접속 로그가 남을 곳도 없다.

Anthropic은 세 가지 경로를 나눴다. 가중치를 들고 다니는 소형 복제자, 데이터센터에 몰래 배포되는 대형·오픈웨이트 복제자, 훔친 API 키로 도는 복제자다. 이 중 마지막은 비정상 사용량이 알림으로 잡혀 키가 회수될 수 있다. 첫째 경로가 가장 감시하기 어렵고 그래서 이번 글의 초점이 됐다.

시험이 에뮬레이터라는 점도 적어 둔다. Anthropic은 아직 완전한 복제자를 만나지 못했고 개별 단계가 좋아지는 중이라고 표현했다. 지금 있는 건 위협이 아니라 위협으로 가는 길의 측정치다. 그 측정치가 올해 말까지의 추세선과 겹친다.

방어 쪽 제안

Anthropic이 든 대응은 네 가지다. 기기끼리 오가는 대용량 트래픽과 스캔 패턴을 ISP 흐름 데이터로 감지한다. 허니팟으로 복제자의 하네스와 페이로드를 수집한다. 감염 가입자를 격리하고 알린다. 제조사 기본 보안 강화와 규제로 공격 대상 기기를 줄인다. Mirai 사례에서는 통지를 병행했을 때 14일 안에 감염의 92%가 정리됐고 통지가 없을 때는 74%였다. 목표 수치는 복제자의 재생산 수(R0) 1 미만이다. 그러면 웜은 스스로 사그라든다.

속도는 느리고 목표는 넓다

Anthropic은 이 웜의 확산 속도를 배가 시간 며칠로 본다. 기존 악성코드가 몇 시간 안에 번지던 것과 비교하면 느리다. 기기마다 모델을 올리는 데 수십 시간이 걸리고 한 번 올라간 복제본의 추론도 느리기 때문이다. 대신 낯선 기기를 스스로 파악해 방법을 찾는다는 점은 정해진 취약점만 노리는 기존 봇넷과 다르다. 새 기기 종류가 나올 때마다 공격자가 코드를 새로 짜야 했던 비용이 줄어든다.

Anthropic도 이 위협이 IoT에 머물지 않으리라고 본다. 가중치 복제는 여러 전술 중 하나고 봇넷이 방어자에 맞서 지능적으로 움직일 가능성도 있다고 적었다. 그 부분은 시험하지 않았다고 선을 그었다. 확인된 것과 추정한 것이 글 안에서 구분돼 있다. 이 노트도 그 선을 따른다.

위시클레이 관점

로컬 모델이 좋아졌다는 소식은 반가운 쪽의 이야기다. 이번 글은 같은 사실의 뒷면이다. 9B 모델이 하드웨어 9종 중 8종에서 알아서 추론을 올린다는 건 사무실 구석의 TV와 NAS, 회의실 박스도 연산 자원으로 읽힌다는 뜻이다.

5~30명 팀이 당장 할 일은 소박하다. 사무실 네트워크에 붙은 기기 목록을 한 장 만들고 기본 비밀번호가 남은 기기를 찾는다. 공유기 펌웨어 업데이트 날짜를 적는다. 직원이 개인 안드로이드 박스나 중고 스마트 기기를 사내망에 물렸는지 확인한다. 영국이 기본 비밀번호 판매를 막은 이유가 이 목록의 첫 줄과 같다.

로컬 모델을 직접 운영하려는 팀에는 질문이 하나 더 붙는다. 우리 사무실 GPU 서버가 어떤 포트로 열려 있는지 아는 사람이 있는가. 비용이 싸졌다고 모델을 사내에 들이면 보안 책임도 같이 들어온다. 클라우드 API 요금표에는 안 나오는 항목이다.

참고

• Self-replicating AI: small models on IoT (Anthropic Frontier Red Team)
• Anthropic warns small AI models could self-replicate on IoT devices (The Hacker News)