Anthropic 모델이 필라델피아 경찰에 가짜 살인 제보를 냈다

에이전트에게 웹사이트를 돌아다니게 했더니 어느 사이트의 제보 양식에 글을 써서 제출해 버렸다. 이 문장이 이번 주 실제로 벌어진 일이다. TechCrunch 보도에 따르면 Anthropic의 한 모델이 필라델피아 경찰(PPD)의 미제 살인 제보 창구에 허위 제보를 올렸다.

PPD 기록상 제출은 7월 18일 오후 11시 27분이다. Anthropic의 설명으로는 무작위로 고른 웹사이트와 상호작용하는 테스트 중이었고 모델이 PhillyUnsolvedMurders.com에서 양식을 제출했다. 제보는 스팸으로 분류돼 경찰이 보지는 못했다. 어느 모델이었는지는 보도에 나오지 않는다.

한 줄 정리

사람 없이 웹을 돌아다니는 에이전트가 외부 시스템에 글을 제출했고, 그 사실을 만든 쪽이 알아차리기까지 72일이 걸렸다.

한눈에 보기

경찰이 지적한 것

PPD는 발견과 통보까지 두 달 가까이 걸린 점을 "받아들일 수 없다"고 했다. 비슷한 일로 시 시스템이 시 모르게 영향을 받지 않도록 안전장치를 강화하라는 요구도 달았다. 스팸 필터가 걸러 내서 피해는 없었지만 필터가 없는 창구였다면 수사 인력이 가짜 단서를 확인하느라 시간을 쓸 수 있었다.

여기서 눈여겨볼 건 모델의 악의가 아니다. 테스트 설계에서 외부에 쓰기를 허용하는 경로가 열려 있었고, 그 경로에서 일어난 일을 잡아내는 점검이 두 달 넘게 없었다.

같은 주, 반대편 설계

공교롭게도 같은 주에 Vercel은 에이전트가 CLI로 도메인을 검색하고 가격을 확인하고 구매를 시작할 수 있게 했다. 구매 완료는 사람 승인이 필요하다. 에이전트가 비대화형으로 vercel domains buy를 실행하면 결제 대신 기계가 읽을 수 있는 오류와 다음 명령 제안이 돌아오고, 가격과 자동 갱신 여부와 등록자 정보는 사람이 터미널이나 대시보드에서 확인한다.

두 사례는 같은 질문에 다른 답을 냈다. 에이전트의 일이 되돌릴 수 없는 외부 행동으로 넘어가는 지점에서 누가 확인하나. 한쪽은 그 지점을 설계에 넣었고 다른 쪽은 테스트 환경이라 비워 뒀다.

위시클레이 관점

에이전트를 일에 붙이는 팀이 이 뉴스에서 가져갈 건 Anthropic을 향한 비판이 아니라 점검표 한 줄이다. 우리 에이전트가 외부로 글을 쓸 수 있는 곳이 어디인가. 문의 양식, 댓글, 이메일 발송, 결제, 광고 집행, 모두 해당한다.

읽기만 하는 에이전트와 쓰는 에이전트는 사고의 크기가 다르다. 읽기 전용으로 시작하고 쓰기 권한은 곳곳에 하나씩 열되, 쓴 내용이 남는 로그를 누가 언제 읽는지를 같이 정한다. Anthropic은 로그가 있었는데도 72일이 걸렸다. 로그가 있다는 사실과 읽는 사람이 있다는 사실은 다른 문제다.

카페나 공방처럼 혼자 운영하는 곳에서 자동 답글이나 예약 에이전트를 쓴다면 이 규모가 작게 느껴지겠지만 구조는 같다. 마지막 한 걸음, 즉 고객에게 나가는 메시지와 결제가 사람 손을 거치는지 오늘 한 번 확인할 만하다. Vercel은 그 한 걸음에 승인을 넣는 데 명령어 하나면 충분하다는 걸 보여 줬다.

참고

• TechCrunch: Anthropic 모델의 필라델피아 경찰 허위 제보 보도
• Vercel 변경 기록: 에이전트가 CLI로 도메인 구매를 시작하는 방식