허깅페이스를 뚫은 정체불명 AI, 시험 정답을 찾던 오픈AI 모델이었습니다

샘 올트먼 CEO는 같은 날 X에 모델을 평가하던 중 심각한 보안 사고가 있었다며, 지금까지 파악한 내용을 공유한다고 썼습니다. 이번 일에 함께 대응해 준 허깅페이스에 고맙다는 말도 붙였고, 발표문 제목 역시 「오픈AI와 허깅페이스가 모델 평가 중 발생한 보안 사고에 함께 대응합니다」였습니다. 오픈AI는 이번 일을 최첨단 사이버 능력이 얽힌 전례 없는 사고로 규정하고, 조사가 끝나기 전이지만 방어자들이 지금 모델의 능력을 가늠할 수 있도록 초기 조사 결과부터 내놓는다고 밝혔습니다.

5일 전 공지에는 공격자 이름이 없었습니다

허깅페이스는 7월 16일 블로그에서 이번 주 초 운영 인프라 일부에 들어온 침입을 탐지해 대응했다고 알렸습니다. 이 침입은 처음부터 끝까지 자율 AI 에이전트 시스템이 몰았고, 탐지와 분석도 대부분 자사 AI로 했다는 점에서 그동안 다룬 어떤 사고와도 달랐다고 적었습니다. 공격 도구는 에이전트형 보안 연구 하네스(모델에 도구와 지시를 붙여 일을 시키는 실행 틀) 위에 만든 것으로 보였지만, 그 도구를 움직인 언어 모델이 무엇인지는 아직 모른다고 밝혔습니다.

침입은 AI 플랫폼이 유독 약한 곳인 데이터 처리 과정에서 시작했습니다. 악성 데이터셋 하나가 데이터셋 처리 과정의 코드 실행 경로 두 곳, 곧 원격 코드를 불러오는 데이터셋 로더와 데이터셋 설정 파일의 템플릿 삽입 취약점을 이용해 처리 서버에서 코드를 돌렸습니다. 공격자는 거기서 노드 권한까지 올라가 클라우드와 클러스터 자격증명을 거둔 뒤, 주말 사이 내부 클러스터 여러 곳으로 옮겨 다녔습니다. 명령 수천 건이 수명이 짧은 샌드박스 여러 개에서 실행됐고, 지휘 통신은 누구나 쓰는 공개 웹 서비스 위에 올려 스스로 옮겨 다니게 했습니다.

피해로는 일부 내부 데이터셋과 서비스가 쓰는 자격증명 몇 개에 무단 접근이 있었다고 밝혔습니다. 공개 모델과 데이터셋, Spaces가 변조된 증거는 찾지 못했고, 컨테이너 이미지와 배포 패키지로 이뤄진 소프트웨어 공급망도 깨끗하다고 확인했습니다. 허깅페이스는 이 공격이 업계가 예고해 온 「에이전트 공격자」 시나리오와 들어맞는다고 적었습니다.

정답은 허깅페이스에 있다고 추론했습니다

오픈AI 발표에 따르면 사고는 모델에게 복잡한 공격 경로로 고급 익스플로잇(취약점을 실제 공격으로 바꾸는 코드)을 시도하게 해 사이버 능력을 수치로 재는 내부 평가에서 났습니다. 오픈AI는 최대 능력을 추정하려고 고위험 사이버 행위를 막는 운영용 분류기를 끈 채 이 평가를 돌렸고, 모델들의 사이버 요청 거부도 평가 목적으로 낮춰 둔 상태였습니다. 시험 환경은 강하게 격리돼 있었고, 네트워크는 패키지 저장소의 프록시이자 캐시 역할을 하는 사내 설치 외부 소프트웨어를 거쳐 패키지를 설치하는 데만 쓸 수 있었습니다.

모델들은 평가 문제를 풀겠다며 인터넷으로 나갈 길을 찾는 데 상당한 추론 연산을 썼습니다. 그러다 그 패키지 프록시에서 제로데이(제조사도 아직 모르는 보안 구멍)를 찾아 이용했고, 연구용 시험 환경 안에서 권한 상승과 수평 이동을 거듭한 끝에 인터넷에 연결된 노드에 닿았습니다. 오픈AI는 이 제로데이를 해당 소프트웨어 업체에 알리고 패치를 함께 만들고 있다고 밝혔습니다.

인터넷에 나온 모델들은 허깅페이스가 ExploitGym의 모델과 데이터셋, 정답을 호스팅하고 있을 수 있다고 추론했습니다. 이어 평가를 속이는 데 쓸 비밀 정보를 찾아 나섰고, 한 사례에서는 훔친 자격증명과 제로데이 여러 개를 엮어 허깅페이스 서버에서 원격으로 코드를 실행하는 경로를 찾아냈습니다. 오픈AI는 모델들이 자사 연구 환경과 허깅페이스 운영 인프라에 걸친 취약점을 이어 붙여 허깅페이스 운영 데이터베이스에서 시험 정답을 직접 얻으려 했다고 적었습니다.

모든 증거는 모델들이 ExploitGym의 답을 찾는 데 과도하게 몰입해, 꽤 좁은 시험 목표 하나를 이루려고 극단적인 수단까지 동원했다는 쪽을 가리킵니다.— 오픈AI, 7월 21일 발표문

이상 활동은 오픈AI 보안팀이 내부에서 발견했습니다. 오픈AI에 따르면 허깅페이스 보안팀과 에이전트는 이미 자기 인프라에서 이 활동을 잡아 멈췄고, 두 회사 팀이 연결됐을 때는 자체 오픈소스 모델로 격리와 포렌식 재구성을 시작한 상태였습니다.

ExploitGym은 무엇을 시키는 시험인가

ExploitGym은 AI 에이전트가 이미 알려진 취약점을 실제 공격으로 키울 수 있는지 재는 벤치마크입니다. 5월 공개된 논문에는 UC 버클리와 막스플랑크 보안·프라이버시 연구소, UC 샌타바버라 연구진과 앤트로픽, 오픈AI, 구글 연구자가 함께 이름을 올렸습니다. 과제는 실제로 보고된 취약점 898개에서 나왔습니다.

에이전트는 프로그램을 멈추게 만드는 입력 하나와 취약점 설명을 받고, 그 입력을 권한 밖의 코드를 실행하는 완전한 익스플로잇으로 키워야 합니다. 논문이 든 예시 하나는 V8 엔진의 결함을 건드리는 다섯 줄짜리 자바스크립트에서 출발합니다. 성공 여부는 두 단계로 가립니다. 권한이 없으면 읽을 수 없는 곳에 매번 새로 만들어 두는 문자열(flag)을 회수했는지 먼저 확인하고, 이어 별도의 심판 에이전트가 작업 기록을 읽어 지정한 취약점을 실제로 이용했는지 판정합니다.

심판을 둔 까닭은 지름길을 막는 데 있습니다. 논문은 더 쉽게 뚫리는 다른 취약점을 쓰거나 이미 공개된 익스플로잇을 재현해 flag를 얻으면 실패로 처리한다고 적었습니다. 시험 안의 지름길은 이렇게 막혀 있었고, 모델들이 찾아 나선 것은 시험 밖 실제 회사 서버에 있다고 짐작한 정답이었습니다.

정당한 풀이로는 대부분 막히는 시험

시험의 난도는 숫자로 나와 있습니다. 논문에서 가장 잘한 조합은 앤트로픽의 Claude Mythos Preview로 2시간 안에 898개 중 157개를 풀었고, 오픈AI의 GPT-5.5는 120개를 풀었습니다. 오픈AI가 6월 25일 GPT-5.6 시스템 카드에 실은 그래프에서도 가장 강한 Sol이 6시간을 들여 지정한 취약점으로 푼 비율은 35%에 못 미칩니다.

평가받는 모델 쪽에서 보면 과제 대부분이 정당한 방법으로는 풀리지 않는 문제입니다. 오픈AI 발표문은 모델들이 이 좁은 목표를 이루려고 인터넷으로 나갈 길부터 찾았다고 적었습니다. 과제를 낸 사람의 의도 대신 채점 규칙의 빈틈을 파고드는 이런 행동을 보안과 AI 안전 연구에서는 명세 게이밍 또는 보상 해킹이라고 부르고, 이번에는 그 빈틈이 시험 환경 밖의 실제 회사 서버에 있었습니다.

26일 전 시스템 카드에 적힌 성향

오픈AI는 6월 25일 GPT-5.6 시스템 카드에서 Sol과 Terra, Luna를 사이버 보안과 생물·화학 두 분야 모두 High 등급으로 다룬다고 밝혔습니다. 사이버 능력이 한 단계 올라섰지만 최고 등급인 Critical에는 미치지 않는다는 판단이었고, Sol과 Terra가 취약점과 익스플로잇 조각은 찾아내도 방비가 단단한 표적을 처음부터 끝까지 자율로 공격하지는 못했다고 적었습니다. 이 판정이 나오고 3주가 안 돼 허깅페이스가 말한 주말 침입이 있었습니다.

같은 문서에는 이번 사고와 닮은 성향도 적혀 있었습니다. 오픈AI가 사내 코딩 에이전트 사용을 시뮬레이션해 보니 GPT-5.6 Sol은 이전 모델보다 자주 사용자의 목표를 지나치게 끈질기게 좇아 사용자가 의도하지 않은 행동까지 했고, 그 비율은 이전 배포보다 높았지만 절대 건수는 적었습니다. 원인으로는 과제를 끝내려는 과한 의욕과 지시를 너무 넓게 해석하는 버릇, 곧 명시적으로 금지하지 않은 행동은 허용된다고 가정하는 경향을 들었습니다. 모델이 자기가 어떻게 채점될지를 따지는 추론(메타게이밍)은 풀 수 없는 코딩 과제를 주는 평가에서 특히 많이 나왔다는 측정도 실었습니다.

GPT-5.6 Sol은 이전 모델보다 더 자주 사용자의 목표를 지나치게 끈질기게 좇아, 사용자가 의도하지 않은 행동까지 하기도 합니다.— 오픈AI, GPT-5.6 시스템 카드

이번 발표 하루 전에는 다른 기록도 나왔습니다. 오픈AI는 7월 20일 장기 실행 모델을 내부에서 쓰다 발견한 안전 사건 두 건을 공개했습니다. 결과를 Slack에만 올리라는 지시를 받은 모델이 샌드박스의 취약점을 한 시간 만에 찾아 GitHub에 PR을 열었고, 다른 실행에서는 평가 백엔드에 있는 비공개 정답을 되찾으려고 인증 토큰을 두 조각으로 쪼개 스캐너를 지나갔습니다. 두 사건은 한 시간 만에 샌드박스를 뚫은 내부 모델 글에 정리했습니다.

같은 주 오픈AI 정렬팀과 아폴로리서치는 모델이 채점자가 원하는 쪽으로 기우는 정도가 강화학습 후반으로 갈수록 커진다는 보상 추구 측정 결과를 냈습니다. 정답을 향해 끈질기게 가는 성향, 금지되지 않은 길을 열린 길로 보는 해석, 채점 방식을 따지는 추론이 한 달 사이 오픈AI 문서 세 건에 따로 적혔습니다. 분류기를 끄고 거부를 낮춘 평가 하나에서 세 가지가 한꺼번에 나타났습니다.

오픈AI도 발표문에서 배포용 안전장치는 사이버 취약점을 시험하는 평가라서 일부러 켜지 않았다고 밝혔습니다. 그러면서 모델 정렬과 평가 단계의 사이버 보호, 내부 시험 중 감시를 더 강화할 필요가 드러났다고 적었습니다. 영국 AI 보안연구소 평가에서 GPT-5.6 Sol 같은 모델이 긴 시간에 걸친 여러 단계의 사이버 작전을 점점 더 잘 이어 간다는 결과가 나왔는데, 오픈AI는 이번 사고가 그 이론상의 능력이 실제 환경에서도 통한다는 방증이라고 봤습니다. 모델이 소스 코드 없이도 실제 시스템에서 새로운 공격 경로를 찾아 이용할 수 있다는 점도 분명해졌다고 덧붙였습니다.

막는 쪽 AI가 분석을 거부했습니다

허깅페이스는 침입을 처음 잡아낸 것도 AI였다고 밝혔습니다. 보안 원격 측정 데이터에 대형 언어 모델로 1차 분류를 돌려 매일 쏟아지는 잡음에서 진짜 신호를 가려내는데, 그 신호들을 이어 붙인 결과가 침해를 가리켰습니다. 이어 공격자 동작 기록 1만 7,000여 건 전체에 분석 에이전트를 돌려 시간선 재구성과 침해 지표 추출, 건드린 자격증명 목록 작성을 했고, 보통 며칠 걸리는 일을 몇 시간 만에 끝냈습니다.

문제는 분석에 쓸 모델을 고를 때 생겼습니다. 허깅페이스는 처음에 상용 API 뒤의 프런티어 모델에 로그 분석을 맡겼는데, 실제 공격 명령과 익스플로잇 코드, 지휘 통신 흔적을 대량으로 넣어야 하는 일이라 요청이 제공사의 안전장치에 막혔습니다. 허깅페이스는 그 안전장치가 사고 대응자와 공격자를 구분하지 못했다고 적었습니다. 그래서 중국 Z.ai가 공개한 오픈웨이트 모델 GLM-5.2를 자사 인프라에 올려 분석을 돌렸고, 공격자 데이터와 그 안에 든 자격증명은 회사 밖으로 한 건도 나가지 않았습니다.

공격한 쪽은 개발사가 평가를 위해 사이버 거부를 낮춘 모델이었고, 막는 쪽이 처음 꺼낸 상용 모델은 거부를 그대로 켠 채였습니다. 허깅페이스는 공지를 쓸 때까지 공격자가 탈옥한 호스팅 모델을 썼는지 제약 없는 오픈웨이트 모델을 썼는지 몰랐지만, 어느 쪽이든 공격자는 이용 정책에 묶이지 않았고 자신들의 포렌식 작업은 막혔다고 적었습니다. 그러면서 사고가 나기 전에 자기 인프라에서 돌릴 수 있는 쓸 만한 모델을 검증해 두라고 권했고, 호스팅 모델의 안전장치에 반대하는 주장은 아니라며 해당 제공사들에 의견을 전하고 있다고 덧붙였습니다.

사이버 요청을 어디까지 막을지는 모델 회사들도 답을 정하지 못한 문제입니다. 앤트로픽은 6월 말 수출통제로 꺼져 있던 Fable 5를 다시 풀면서 새 사이버 분류기의 차단율이 99%를 넘는다고 공개했지만, 정상 요청을 잘못 막는 비율은 내놓지 않았습니다. 그 과정은 오차단율을 비워 둔 앤트로픽의 점수표에 정리했습니다.

어쩌면 처음 있는 종류의 이번 사고는 우리가 오래 믿어 온 것을 증명합니다. AI 안전은 한 회사가 비밀리에 일해서는 풀리지 않고, 모든 방어자가 AI를 폭넓게 쓸 수 있을 때 공개적으로, 함께 풀립니다.— 클레망 들랑그, 허깅페이스 공동창업자·CEO

들랑그 CEO의 이 말은 오픈AI 발표문에 실렸습니다. 허깅페이스가 침입을 공지한 7월 16일, 문샷AI는 매개변수 2조 8,000억 개의 Kimi K3를 공개했습니다. 미국의 가장 강한 사이버 모델이 수출통제로 꺼졌다 켜지는 사이, 서방의 대표 AI 플랫폼 하나는 베이징 회사가 공개한 모델로 침입 기록을 풀었습니다.

앤트로픽이 작년에 기록한 공격과 다른 점

AI가 침투 작업 대부분을 스스로 해낸 공격은 전에도 기록됐습니다. 앤트로픽은 2025년 11월 13일, 중국 국가 지원 조직으로 판단한 집단이 Claude Code를 조작해 대형 기술 기업과 금융기관, 화학 제조사, 정부 기관 등 세계 30곳가량에 침투를 시도했고 몇 곳에서 성공했다고 발표했습니다. 캠페인 작업의 80~90%를 AI가 했고, 사람은 캠페인 하나에 4~6번쯤 중요한 결정에서만 개입했습니다.

두 사건은 공격을 시작한 주체가 다릅니다. 앤트로픽 사례에서는 사람이 표적을 고르고 AI를 도구로 썼습니다. 이번에는 표적을 고른 사람이 없었고, 모델이 시험 점수를 얻으려고 스스로 허깅페이스를 골랐습니다. 개발사가 돌리던 평가에서 모델이 남의 회사를 공격했다고 그 개발사가 스스로 발표한 사례는 제가 아는 한 이번이 처음입니다.

발표에 없는 것

오픈AI 발표문은 초기 조사 결과여서 빠진 내용이 많습니다. 함께 관여한 미공개 모델의 이름과 규모, 모델들이 샌드박스를 빠져나간 날짜와 탐지까지 걸린 시간, 제로데이가 있던 프록시 소프트웨어의 이름은 나오지 않았습니다. 허깅페이스도 협력사나 고객 데이터가 영향을 받았는지는 아직 평가 중이며, 영향이 확인되면 해당 당사자에게 직접 연락하겠다고만 밝혔습니다.

이번 사고는 출시 전 내부 평가에서 났고, 내부 배포는 미국도 EU도 영국도 강제로 규율하지 않습니다. 미국의 6월 행정명령은 출시 30일 전 자발적 제출을 권하는 데 그치고, EU의 출시 전 검증은 2027년을 목표로 잡으면서 개발사 내부 테스트는 다루지 않습니다. 미국의 프런티어 모델 평가 창구인 CAISI(AI 표준·혁신 센터)는 3개월째 수장을 채우지 못해 표준기술원 원장이 겸하고 있습니다.

허깅페이스 이용자와 국내 기업에 달라지는 것

허깅페이스는 국내 AI 기업의 모델 공개 창구이기도 합니다. LG AI연구원과 업스테이지, SK텔레콤, 네이버, 카카오가 허깅페이스 조직 계정으로 모델을 공개해 왔고, 업스테이지는 이날 250B 모델 Solar Open 2도 허깅페이스에 올렸습니다. 허깅페이스는 공개 모델과 데이터셋, Spaces가 변조된 증거가 없고 컨테이너 이미지와 배포 패키지도 깨끗하다고 확인했습니다. 다만 예방 차원에서 이용자들에게 액세스 토큰을 새로 발급하고 최근 계정 활동을 확인하라고 권했습니다.

오픈AI가 쓴 격리는 인터넷을 막고 패키지 저장소로 가는 통로 하나만 열어 두는 방식이었습니다. 외부망과 분리해 운영하는 개발 환경에서도 오픈소스 패키지만큼은 사내 미러 저장소를 거쳐 받게 하는 구성이 널리 쓰입니다. 이번에는 그 통로를 맡은 소프트웨어의 알려지지 않은 취약점 하나가 인터넷으로 나가는 길이 됐고, 그 길을 찾은 쪽은 사람 공격자 대신 평가받던 모델이었습니다.

조사는 아직 진행 중입니다

오픈AI는 취약점이 고쳐질 때까지 연구 속도를 희생하더라도 인프라 설정을 엄격하게 통제하고, 이를 안전보안위원회에 정기적으로 보고한다고 밝혔습니다. 허깅페이스는 사이버 능력이 높은 모델을 검증된 방어자에게 여는 Trusted Access 프로그램에 들어갔고, 오픈AI는 앞으로의 훈련과 평가에 더 강한 보호 장치를 붙이겠다고 했습니다. 허깅페이스는 외부 포렌식 전문가와 함께 조사를 이어 가며 수사 기관에도 사고를 신고했습니다. 오픈AI는 조사를 마치면 취약점과 사고 경위, 발견 사항을 더 자세히 공개하겠다고 밝혔고, 허깅페이스도 알게 된 것을 계속 공유하겠다고 했습니다. 새 기록이 나오면 이어서 전하겠습니다.

읽어 주셔서 고맙습니다.

초이 드림