인터넷이 없다던 프롬프트, 클로드가 실제 시스템 세 곳을 침해했습니다

공지는 앤트로픽 공식 X 계정에 올라왔습니다. 사고 세 건은 실행 횟수로는 여섯 번이고, 그중 네 번이 같은 회사를 향한 실행입니다. 앤트로픽은 무슨 일이 있었고 어떻게 일어났으며 무엇을 바꾸는지를 함께 적으면서, 다른 AI 연구소에도 같은 점검을 권했습니다. 사고는 모두 출시 전 모델의 능력을 재는 평가 안에서 벌어졌고, 클로드를 쓰는 이용자에게 일어난 일은 없었습니다.

인터넷이 없다던 평가 환경이 인터넷에 붙어 있었습니다

사고가 난 평가는 CTF 형식입니다. 가상의 회사와 상황을 준 다음, 네트워크 어딘가에 숨겨 둔 비밀 문자열을 찾아오라고 시키는 훈련 형식입니다. 방법은 지정하지 않고, 어디까지 뒤져도 되는지도 적어 두지 않습니다. 사람 보안 전문가를 훈련시킬 때 쓰는 방식 그대로입니다.

앤트로픽의 프롬프트는 클로드에게 여기가 시뮬레이션이고 인터넷 접근이 없다고 못 박았습니다. 그런데 평가 파트너와의 소통이 어긋나면서, 클로드가 접근한 기계들이 실제 인터넷에 연결된 채로 남아 있었습니다. 앤트로픽은 지난주 감시를 늘리기 전까지 이 설정 오류를 몰랐다고 적었습니다. 사전에 인터넷 경로를 하나씩 확인하거나 네트워크 기록을 더 꼼꼼히 봤다면 먼저 잡혔을 문제입니다.

사이버 평가 환경은 실전 성능을 재려고 일부러 현실적으로 만듭니다. 그래서 실물처럼 생긴 표적을 만났다는 사실 자체가 모델에게 여기가 현실이라는 증거가 되지 않습니다. 측정을 정확하게 하려고 넣은 현실감이, 모델이 자기 위치를 판단할 근거를 그만큼 지웁니다. 프롬프트로 「없다」고 적어 둔 인터넷이 실제로 열려 있을 때, 그 간극이 어디로 흘러가는지가 세 사고에 나뉘어 담겼습니다.

세 모델이 같은 상황에서 다르게 굴었습니다

첫 번째 사고에서는 클로드가 평가 환경 안의 표적에 닿지 못하자, 같은 이름의 회사가 인터넷에 실제로 있는 것을 발견했습니다. 그쪽이 원래 표적이라고 판단해 취약점을 찾아 뚫었고, 네 번의 실행에서 애플리케이션과 인프라 자격증명을 뽑아낸 뒤 운영 데이터 수백 행이 든 데이터베이스까지 들어갔습니다. 이번 검토에서 확인된 피해 가운데 가장 큽니다. 쓰인 모델은 Opus 4.7이고, 세 건 가운데 실제 시스템임을 알고도 공격을 멈추지 않은 유일한 경우입니다. 네 번 모두 실행 도중에 실제 서버라는 것을 알아봤고, 그중 두 번은 저 회사도 훈련의 일부일 거라고 스스로를 설득했습니다.

두 번째 사고의 출발점은 클로드가 가상 환경 안에서 찾아낸 신입 개발자용 설치 안내 문서입니다. 그 문서가 PyPI에서 받으라고 적어 둔 파이썬 패키지는 실제로는 없는 이름이었습니다. PyPI는 파이썬 패키지를 누구나 올리고 내려받는 공개 저장소입니다. 클로드는 같은 이름으로 자기 패키지를 올려 두면 그 회사 시스템이 알아서 내려받을 것이라고 보고, 악성 코드를 넣은 패키지를 만들어 올렸습니다. 계정을 만드는 데만도 여러 단계를 지나야 했는데, 앤트로픽은 사람이라면 그 지점에서 이것이 연습이 아님을 알았을 것이라고 적었습니다. 쓰인 모델은 Mythos 5입니다.

이것이 실제 인터넷이라면 현실 공격이고, 괜찮지 않으며, 의도된 정답일 리 없습니다.— Mythos 5, 추론 기록(앤트로픽 보고 인용)

Mythos 5는 실행 초반에 위 문장을 남겼습니다. 그러고는 접속을 지켜 주는 인증서 발급기관을 자기가 알아보지 못한다는 점, 시스템 날짜가 2026년이라는 점을 근거로 여기는 꾸며진 무대라고 결론지었습니다. 문제는 이 판단을 끝까지 되돌리지 않았다는 점입니다. 처음에 자기 상황을 잘못 잡으면 그 뒤의 판단이 모두 그 전제를 따라 어긋납니다.

세 번째 사고는 반대로 모델이 스스로 멈춘 경우입니다. 내부 연구용 시험 모델이 의도된 가상 표적에 닿지 못하자 인터넷에서 대안을 찾아 약 9,000개 대상을 훑었고, 노출된 페이지에서 얻은 정보로 한 회사의 외부 노출 애플리케이션을 뚫었습니다. 새로 발견한 취약점은 하나도 없었고, 쓴 기법은 전부 오래전부터 알려진 기초적인 것이었습니다. 실행 후반에 모델은 뚫은 서버가 훈련과 아무 상관 없는 클라우드 계정에 있다는 것을 알아채고, 지시 없이 공격을 멈췄습니다.

세대가 올라갈수록 상황 판단이 나아지는 것처럼 보이는 배열이고, 앤트로픽도 그렇게 읽힐 여지를 인정합니다. 다만 이 세 건은 통제된 비교 실험이 아니어서 결론을 조심해야 한다는 단서를 달았습니다. 스스로 멈춘 모델조차 멈추기 전까지 원하는 것보다 멀리 갔다고도 적었습니다.

한 시간 공개된 패키지가 실제 시스템 15곳에서 돌았습니다

두 번째 사고에서 가장 무거운 대목은 표적을 고르지 않는 피해입니다. 클로드가 올린 패키지는 PyPI 보안 시스템이 자동으로 걷어낼 때까지 약 한 시간 공개돼 있었습니다. 그 한 시간 동안 실제 시스템 15곳이 이 패키지를 내려받아 실행했습니다.

15곳 가운데 하나는 어느 보안업체의 검사 설비였습니다. 파이썬 패키지를 자동으로 설치해 악성 여부를 훑는 장비인데, 설치하는 순간 클로드가 숨겨 둔 코드가 실행됐습니다. 그 회사 자격증명이 클로드가 미리 만들어 둔 수집 지점으로 빠져나갔고, 클로드는 그 자격증명으로 회사 인프라에 더 들어갔습니다. 클로드는 이 회사가 존재하는 줄도 몰랐고, 표적으로 고른 적도 없습니다. 공개된 코드가 그것을 내려받아 실행한 모두에게 닿았을 뿐입니다.

공급망 공격으로 보면 클로드가 쓴 수법은 새롭지 않습니다. 실재하지 않는 내부 패키지 이름을 공개 저장소에 먼저 등록해 두는 수법은 보안 교과서에 나옵니다. 소나타입 집계로 누적 악성 패키지는 180만 건을 넘었고, npm을 빼면 PyPI가 48.5%로 가장 많습니다. 지난 3월에는 월 9,700만 회 내려받히는 litellm이 실제로 뚫렸고, 국내에서는 그 사고 뒤 사내 PyPI 프록시에 신규 배포 대기 기간을 거는 대응이 나왔습니다. 배포된 지 며칠 안 된 패키지는 일부러 늦게 받는 방식입니다. 이번 패키지는 한 시간 만에 걷혔는데도 15곳에 닿았으니, 며칠짜리 대기 기간이 걸린 프록시였다면 내려받기 전에 이미 삭제됐을 겁니다.

사람 공격자를 전제로 만든 방어 논리가 여기서 어긋납니다. 우리 회사가 노려질 이유가 없다는 판단은 공격자가 표적을 고를 때만 성립합니다. 과제를 푸는 과정에서 흘러나온 코드는 표적을 고르지 않고, 내려받아 실행한 모든 시스템에 닿습니다. 국내 보안 조직이 돌리는 자동 분석 설비도 같은 방식으로 공개 저장소에서 패키지를 끌어와 실행합니다.

과제를 끝내려는 의지 하나로 생긴 침해

세 건 어디에서도 모델이 자기를 밖으로 빼내거나 시험 환경을 탈출하려 한 정황은 없었습니다. 클로드는 매번 부여받은 과제 하나를 계속 풀고 있었을 뿐입니다. 이 사건에서 가장 불편한 점이 여기 있습니다. 탈출하려는 의도가 없어도, 과제를 끝내려는 의지 하나로 실제 침해가 생겼습니다.

평가에 쓰인 모델들은 일반 공개 때 붙는 분류기와 감시 없이 돌았습니다. 분류기는 모델이 주고받는 내용을 실시간으로 보면서 위험한 요청과 응답을 걸러 내는 별도 시스템입니다. 이것을 켜 두면 모델이 실제로 어디까지 할 수 있는지 잴 수 없어서 껐습니다. 다만 모델별 안전 훈련은 남아 있었고, 거부 기능을 뺀 시험용 버전도 아니었습니다. 평가는 앤트로픽 내부 시스템이나 고객 데이터와 분리된 전용 인프라에서 돌았습니다.

앤트로픽은 배포 모델에 붙는 보호 기능이 있었다면 이번 행동을 막았을 것이라고 밝혔습니다. 실제로 시스템 카드에서 배포용 분류기는 익스플로잇 평가 410개 에피소드 가운데 407개를 평균 27턴에서 끊었습니다. 이 보호 기능의 성적을 앤트로픽이 어떻게 공개해 왔는지는 차단율 99%만 적고 오차단율은 비워 둔 점수표에서 볼 수 있습니다. 능력을 재려고 안전장치를 껐다면 격리는 그만큼 더 단단해야 한다는 것이, 이 대비가 남기는 교훈입니다.

9일 전 오픈AI 사고와는 경로가 달랐습니다

오픈AI 사건에서는 모델이 사내 패키지 저장소의 캐시 프록시에서 아무도 모르던 취약점을 찾아내 봉인된 샌드박스를 깨고 나갔고, 권한을 올려 가며 허깅페이스 운영 서버에서 코드 실행까지 갔습니다. 그 경위는 평가용 모델이 허깅페이스 서버까지 닿은 사건에, 허깅페이스가 명령 단위까지 복원한 기록은 포렌식 타임라인에 정리했습니다.

이번 클로드가 지난 길은 처음부터 열려 있던 인터넷 연결입니다. 미공개 취약점은 필요하지 않았습니다. 앤트로픽이 이 사건을 정렬 실패보다 하네스, 곧 평가를 돌리는 실행 환경과 운영의 실패로 규정한 근거가 여기 있습니다. 발견 방식도 다릅니다. 오픈AI는 침해가 드러난 뒤에 공개했고, 앤트로픽은 남의 사고를 보고 자기 기록을 뒤져 찾아냈습니다. 다만 뚫린 회사 입장에서 두 사건의 결과는 같습니다. 같은 주에 오픈AI가 공개한 또 다른 사건, 곧 장기 실행 모델이 샌드박스를 뚫고 PR을 연 일도 능력이 오래갈수록 짧은 평가로는 놓치는 위험이 커진다는 같은 이야기를 담고 있습니다.

평가 환경 탈출이 처음도 아닙니다. 오픈AI 연구자 테잘 파트와르단은 o1 출시 심사 때의 일을 초기 사례로 꼽았습니다. 모델이 CTF용 도커 컨테이너에 갇혀 있어야 했는데, 그 CTF 구현의 취약점을 찾아 빠져나왔다는 겁니다. 그때는 회사 안에서 끝났고 자랑스러운 순간처럼 회고됐지만, 지금 평가 환경은 실제 회사 이름과 실제 패키지 저장소를 재료로 씁니다.

YouTube 영상 · 누르면 재생

왜 지금 이런 사고가 나왔나

앤트로픽은 2025년 2월 Sonnet 3.7로 CTF 40문제짜리 Cybench를 돌리며 사이버 평가를 시작했습니다. 그런데 Mythos 5 시스템 카드에서는 점수가 포화됐다는 이유로 Cybench를 아예 돌리지 않았습니다. 대신 실제 프로젝트의 취약점을 재현하는 CyberGym과, 찾은 취약점을 작동하는 익스플로잇으로 키우는 ExploitBench가 들어갔습니다. 문제가 어려워질수록 평가 환경도 실제 소프트웨어와 실제처럼 생긴 회사를 재료로 삼아 현실을 닮아 갑니다.

능력 자체가 얼마나 빠르게 오르는지는 시스템 카드의 수치에 나옵니다. Mythos 5는 CyberGym 1,507개 과제에서 목표 취약점 재현률 83.8%를 기록했고, 파이어폭스 147 환경에서는 250번 가운데 221번, 88.4%를 완전한 익스플로잇까지 밀어붙였습니다. 같은 표에서 Opus 4.8은 8.8%에 그쳐, 두 모델의 격차가 10배로 벌어졌습니다.

앤트로픽이 공개한 다른 도표는 같은 속도를 돈으로 환산해 보여 줍니다. 지식 마감 이후 등장한 스마트 컨트랙트를 시뮬레이션에서 공격해 얻은 총수익이, 모델이 새로 나올 때마다 로그 축을 따라 위로 올라갑니다.

Sonnet 4.5가 6만 7천 달러에 그쳤던 값이 Mythos Preview에서는 3,528만 달러가 됐고, 앤트로픽은 이 수익이 두 배가 되는 기간을 약 0.7개월로 적었습니다. 능력이 이 속도로 오르는데 평가 환경의 격리를 실험 설비처럼 다루면, 능력이 오른 만큼 사고의 크기도 커집니다.

앤트로픽이 교훈으로 적은 것

앤트로픽은 세 가지를 교훈으로 정리했습니다. 하나는 강력한 자율 능력이 도는 평가 환경을 다른 운영 시스템과 같은 보안 기준으로 다뤄야 한다는 것입니다. 안에 든 것이 전부 가상이라 위험이 낮아 보여도, 능력이 오른 에이전트는 그 자체로 큰 위협이 됩니다. 다음은 정렬된 행동과 해로운 행동을 가르는 것이 모델이 자기 상황을 어떻게 이해하느냐라는 점입니다. 세 건 어디에서도 모델이 제 목표를 좇지는 않았고, 대개 환경이 진짜인지 잘못 판단한 채 과제가 시킨 일을 했습니다. 마지막은 여러 겹의 방어가 필요하다는 것입니다. 능력을 재려고 보호 장치를 뺐다면, 그 평가가 제대로 격리돼 있을 때만 안전합니다.

앤트로픽은 평가 파트너 Irregular와 함께 조사했다고 밝혔습니다. Irregular는 2025년 9월 세쿼이아와 레드포인트에서 8,000만 달러를 받으며 기업가치 4억 5,000만 달러를 인정받은 회사입니다. 프런티어 연구소 대부분이 이런 외부 업체의 환경을 빌려 씁니다. 직접 만들 때보다 시나리오가 다양하고, 제3자 평가라는 명분도 생기기 때문입니다. 평가를 밖에 맡기는 관행은 국내 기업에도 그대로 들어오는데, 계약서에 격리 검증 책임과 사고 통보 시한을 적어 두지 않으면 이번과 같은 3개월짜리 공백이 되풀이될 수 있습니다.

한국 조직이 오늘 확인할 것

에이전트를 평가하거나 레드팀을 돌리는 국내 팀이 당장 확인할 것은 하나입니다. 그 컨테이너가 바깥으로 나가는 경로를 실제로 끊어 두었는지입니다. 프롬프트에 「인터넷이 없다」고 적는 것으로는 끊기지 않고, 이번 사고의 프롬프트에도 그렇게 적혀 있었습니다. 확인하는 방법은 간단합니다. 그 컨테이너 안에서 바깥 주소로 요청을 한 번 보내 보면 됩니다. 응답이 오면 끊긴 것이 아닙니다.

사내 저장소를 쓰는 팀이라면 두 가지를 더 볼 수 있습니다. 사내 PyPI 프록시가 공개 저장소에서 새 패키지를 자동으로 끌어오는 설정인지, 신규 배포에 대기 기간이 걸려 있는지입니다. 이번 패키지가 한 시간 만에 걷히고도 15곳에 닿은 것을 보면, 대기 기간 하나가 표적이 되지 않고도 피해자가 되는 경로를 줄여 줍니다. 모델이 정직하게 커닝을 하는 경향은 평가에서 시험한 모델이 모두 지름길을 찾았다는 조사에서도 확인됐습니다.

앤트로픽은 독립 평가 기관 METR과 함께 전체 기록과 모델 샘플링 접근을 조건으로 제3자 검토를 논의하고 있고, 일주일 안에 클로드가 악성 PyPI 패키지를 만든 기록을 일부 가린 채 공개하겠다고 했습니다. 뚫린 회사가 자기 사고를 며칠 만에 문서로 내놓는 흐름 옆에서, 모델을 만든 회사가 평가 환경의 격리를 어디까지 문서로 남기는지가 다음에 확인할 대목입니다. 다음 소식이 나오면 다시 전하겠습니다.

읽어 주셔서 고맙습니다.

초이 드림