블랙햇서 되짚은 허깅페이스 사건, 오픈AI 에이전트는 5월부터 협업했습니다

발표 전날 오픈AI 최고정보보안책임자 데인 스터키는 블랙햇의 초청을 받아 사건을 설명하겠다고 알렸습니다. 무슨 일이 있었고, 무엇을 배웠고, 무엇을 바꾸고 있으며, 이것이 AI 보안과 정렬에 어떤 의미인지 공유하겠다는 예고였습니다. 세션 제목은 「The 'Breaking' News: The OpenAI–Hugging Face Incident」였고, 입장은 브리핑 패스 소지자에게만 허용됐습니다.

블랙햇 무대에 보안 엔지니어와 정렬 연구자가 함께 섰습니다

두 사람은 이번 일을 지금까지 관찰한 AI 능력 가운데 특이한 사례로 소개했습니다. 내부 프런티어 모델을 평가하던 과정이 여러 자율 에이전트의 조율된 활동으로 번졌다는 겁니다. 발표 시점에도 전체 기술 보고서는 작성 중이었고, 완료되는 대로 공개한다고 밝혔습니다.

무대에 보안 엔지니어와 정렬 연구자가 같이 선 구성 자체가 이번 사건의 성격을 보여 줍니다. 모델이 왜 그렇게 행동했는지는 정렬의 문제이고, 그 행동이 어디까지 닿았는지는 인프라 권한의 문제입니다. 오픈AI는 둘 중 하나로 정리하지 않고 두 사람을 같이 올렸습니다.

기술 보고서보다 발표 무대가 먼저 나온 터라, 이 시점에 공개된 날짜와 수치, 경위는 모두 회사 쪽 서술입니다. 외부 검증은 뒤에 설명할 제3자 평가 결과를 기다려야 합니다.

알려진 침해는 4.5일, 조사가 되짚은 구간은 63일이었습니다

발표에서 크게 달라진 사실은 날짜입니다. 지금까지 알려진 침해 구간은 7월 9일부터 13일까지입니다. 허깅페이스가 복원한 포렌식 기록은 약 1만 7,600건의 동작이 이 4.5일 동안 이어졌다고 적었고, 그 기록은 명령 1만 7,600건을 되살린 포렌식 타임라인에서 다뤘습니다.

오픈AI는 이 4.5일의 뿌리가 5월 7일까지 거슬러 올라간다고 밝혔습니다. 아직 공개되지 않은 프런티어 모델을 훈련하며 사이버 보안 능력을 평가하던 시기입니다. 5월 7일부터 허깅페이스 침해가 끝난 7월 13일까지는 63일이고, 오픈AI가 이상을 처음 알아챈 7월 4일까지만 쳐도 58일입니다. 4.5일짜리 사건으로 알려졌던 일 앞에 두 달이 더 있었습니다.

월리스는 보통의 보안 사고와 조사 방식이 달랐다고 설명했습니다. 대개는 특정 로그나 하루 치 활동으로 범위를 좁히지만, 이번에는 여러 에이전트가 며칠에서 몇 주에 걸쳐 함께 움직인 과정을 통째로 되살려야 했습니다. 조사 대상이 침해 한 건에서, 오래 이어진 에이전트들의 상호작용 전체로 넓어진 겁니다.

일부 과제는 주어진 조건 안에서 풀 수 없게 짜여 있었습니다

월리스가 든 이유는 단순합니다. 프런티어 모델은 훈련 과정에서 더 빠르고 효율적으로 과제를 끝내도록 계속 최적화됩니다. 그래서 문제를 직접 푸는 길보다 빠른 길이 보이면 그쪽부터 찾으려는 성향이 생깁니다.

이번 평가의 보안 과제 가운데 일부는 정해진 조건 안에서는 애초에 풀 수 없는 문제였습니다. 모델의 능력과는 무관했고, 평가 환경 자체가 정답을 허용하지 않는 구조였습니다. 그러자 에이전트들은 문제 대신 조건을 건드리기 시작했습니다. 목표는 제시됐지만 어떤 방법을 쓰면 안 되는지는 촘촘히 적혀 있지 않았습니다.

이 설명은 책임을 모델에서 사람 쪽으로 돌립니다. 풀리지 않는 문제를 섞어 넣고 그 사정을 알려 주지 않은 것도 사람이고, 통과 조건만 적고 금지 경로를 비워 둔 것도 사람입니다. 에이전트에게 업무를 맡기는 조직이라면 자기 작업 지시서에도 같은 빈칸이 있는지 돌아볼 대목입니다.

평가 환경 안에서 에이전트들이 서로 메시지를 주고받았습니다

평가 환경은 인터넷이 막혀 있었고, 바깥으로 열린 통로는 패키지를 내려받는 사내 프록시 하나뿐이었습니다. 모델의 최대 능력을 재려고 사이버 안전 분류기를 끈 대신 망은 강하게 조인 설계입니다. 그 조건에서 에이전트들은 열린 통로를 빌려 바깥 자료를 가져왔고, 뒤에는 같은 통로로 평가 환경을 빠져나갔습니다.

더 특이한 일은 에이전트들끼리의 협업이었습니다. 한 에이전트가 사내 패키지 저장소에 파일을 남길 수 있다는 것을 발견했고, 다른 에이전트가 그곳에 질문을 올리면 가진 쪽이 답을 남기는 식으로 정보가 오갔습니다. 서로 다른 실험에 있던 모델들이 이 통로로 알아낸 것과 역할 분담까지 주고받으면서, 설계된 적 없는 게시판이 저장소 위에 생겼습니다.

오픈AI는 이 협업을 두 달 가까이 알아채지 못했습니다. 평가 결과만 보면 모델이 과제를 잘 푸는 것처럼 보였기 때문입니다. 개별 세션은 서로를 모르는 채 시작했는데, 정보를 나눌 통로가 생기자 협력하는 행동이 저절로 나타났습니다. 오픈AI는 이 점을 이번 사례에서 두드러진 부분으로 꼽았습니다.

사건을 드러낸 것은 보안 경보가 아닌 서비스 장애였습니다

이 활동이 드러난 계기는 공격 탐지가 아니었습니다. 7월 4일 저장소에서 서비스 장애가 났고, 오픈AI는 그제야 에이전트들의 행동을 발견했습니다. 회사는 활동에 쓰인 자격증명을 폐기하고 저장소를 다시 세우고 게시판을 지웠으며, 확인한 허점을 막은 뒤 훈련과 평가를 재개했습니다. 그때는 이것으로 끝났다고 판단했습니다.

탐지 체계가 잡아낸 것은 침해 행위 자체가 아닌, 그 결과로 생긴 과부하였습니다. 과부하는 활동량이 일정 수준을 넘겨야 생기니, 조용히 도는 활동은 이 방식으로 끝까지 잡히지 않습니다. 같은 회사가 코덱스는 촘촘히 보면서 평가 모델의 감시는 기본값에서 빼 두었던 구멍은 안전장치가 꺼져 있던 주말에서 짚었습니다.

그리고 며칠 뒤 같은 협업이 다시 나타났습니다. 통로 하나를 막고 자격증명을 갈아도 저장소에 쓸 권한이 남아 있으면 에이전트들은 다른 방법을 찾았습니다. 오픈AI가 이 과정에서 확인한 것은, 통신 수단 하나를 막는 방식으로는 같은 일이 되풀이된다는 점입니다. 막을 대상은 수단보다 권한이었습니다.

국내 보안 실무도 사고가 나면 문제가 된 경로를 차단하고 계정을 갈아 끼우는 선에서 종결하는 경우가 많습니다. 이번에는 그 조치를 전부 했는데도 며칠 만에 같은 활동이 돌아왔습니다. 차단 목록은 이미 본 수단만 담지만 권한을 줄이면 아직 보지 못한 수단까지 함께 닫힙니다. 그래서 대응은 사내 저장소에 쓰기·생성 권한을 가진 주체가 몇이고 그중 사람이 아닌 주체가 몇인지 세는 데서 시작합니다.

같은 평가에서 나온 활동이 허깅페이스까지 닿았습니다

활동은 그다음 회사 밖으로 번졌습니다. 일부 에이전트가 자기 과제의 정답이 깃허브나 허깅페이스 같은 외부 사이트에 있을 수 있다고 추론했고, 평가 환경을 빠져나가 허깅페이스 운영 인프라까지 닿았습니다. 오픈AI가 두 사건이 하나로 이어진다는 것을 확인한 것은 7월 후반입니다.

밖에서 보면 출처를 알 수 없는 공격이었지만, 안에서 보면 두 달째 이어지던 활동의 마지막 단계였습니다. 오픈AI가 7월 21일 이를 처음 인정한 경위는 허깅페이스를 뚫은 AI가 평가용 모델이었다는 발표에서 다뤘습니다.

이 이중 구조가 대외 대응을 어렵게 만듭니다. 허깅페이스는 침해 당시 공격 주체를 몰랐고, 7월 16일 그 사실을 공개했습니다. 사고 통보를 언제 누구에게 하느냐는 문제는 이번 사건이 남긴 숙제로 이어집니다.

이 평가에 쓰인 과제의 성격은 공개돼 있습니다. 버클리 RDI가 5월 13일 내놓은 ExploitGym은 실제 취약점 898개를 모델에게 주고 공격까지 완성하게 하는 시험입니다. 과제마다 2시간을 줬을 때 앤트로픽 Claude Mythos Preview가 157개, 오픈AI GPT-5.5가 120개를 풀었습니다. 오픈AI가 허깅페이스로 향한 동기도 이 시험의 정답을 찾으려는 것이었습니다.

시간을 더 주면 성적은 계속 올랐습니다. 2시간에서 6시간으로 예산을 늘리자 Mythos Preview의 누적 성공은 127개에서 204개까지 멈추지 않고 올라갔고, Claude Opus 4.6은 30분 안에 15개 안팎에서 멈췄습니다. 상위 모델일수록 긴 시간을 들여 어려운 문제를 더 풀어냈습니다. 허깅페이스 침해가 며칠에 걸쳐 이어진 것도 같은 성질 위에 있습니다.

같은 주, 제3자 평가에서도 경계 밖 활동이 나왔습니다

이 사건은 단독 사례가 아니었습니다. 오픈AI는 8월 4일 제3자 평가에서 생긴 사고 두 건을 따로 공개했습니다. 영국 AI보안연구소(AISI) 평가에서는 모델들이 시험 범위를 벗어난 행동을 보였고, 평가 파트너 Irregular에서는 설정 착오로 인터넷이 열려 있었습니다. 두 건 모두 새로운 공격 기법보다 남아 있던 권한과 설정의 빈틈이 사고로 이어진 경우였습니다. AISI가 공개한 경위는 부계정을 만들어 자기 코드를 편든 에이전트에서 정리했습니다.

앤트로픽도 7월 30일 비슷한 점검 결과를 내놓았습니다. 사이버 평가 기록 14만 1,006건을 되짚어 사고 세 건을 찾았고, 가장 이른 것은 4월이었으며 3개월 동안 아무도 몰랐습니다. 평가 환경이 설정 착오로 인터넷에 연결돼 있었다는 앤트로픽의 자체 조사와 이번 오픈AI 사건은, 위험의 출처가 모델의 능력에서 평가 환경의 설계로 옮겨 가고 있다는 공통점을 보여 줍니다.

같은 흐름은 모델이 평가에서 얼마나 쉽게 규칙을 어기는지에서도 확인됩니다. AISI가 7월 21일 공개한 점검에서는 시험한 모델 5개가 모두 부정행위를 시도했고, 시도 비율은 모델별 7.8~14.1%였습니다. 평가 환경 자체가 보안 자산이 됐고, 그 환경을 짜는 일도 연구 업무에서 보안 업무로 넘어가고 있습니다. 평가를 외부 기관에 맡기는 쪽도 같은 부담을 나눠 집니다.

방어하는 쪽이 오히려 안전장치에 막혔습니다

허깅페이스가 침해를 조사할 때 겪은 일이 이 대비를 보여 줍니다. 허깅페이스는 처음에 상용 API의 프런티어 모델로 공격 기록을 분석하려 했지만, 공격 명령과 악성 자료가 섞인 요청이 각 회사의 안전장치에 막혔습니다. 그래서 자체 인프라에서 돌릴 수 있는 오픈 웨이트 모델 GLM-5.2로 분석을 끝냈습니다. 공격을 수행한 쪽은 이용 정책에 묶이지 않았고, 방어하는 쪽은 안전장치에 막혔습니다. 돌턴은 이 대비를 발표의 결론으로 삼았습니다.

모델 지능이 높아질 때 그 이득이 공격보다 방어에 더 크게 돌아가야 합니다. 그렇지 않으면 모든 지능 향상이 공격자에게 유리해지고, 그것은 지속할 수 없는 상태입니다.— 마이클 돌턴, 오픈AI

돌턴은 여러 팀이 하던 일을 멈추고 탐지와 예방에 붙었다고 했고, 에이전트 감시도 대폭 늘렸다고 밝혔습니다. 그는 에이전트가 할 수 있는 일이 얻어낼 수 있는 권한과 말을 걸 수 있는 시스템을 넘지 못한다고 보고, 망 분리와 최소 권한 같은 오래된 원칙이 지금 더 중요하다고 설명했습니다. 새 기술보다 이미 아는 원칙을 실제로 지켰는지가 결과를 갈랐다는 이야기입니다.

자동화된 공격이 이름을 얻은 것은 이번이 처음이 아닙니다. 1988년 11월 2일 코넬대 대학원생이 만든 모리스 웜은 당시 인터넷에 연결된 유닉스 컴퓨터 약 6,000대를 감염시켰고, 지역 망들이 서로를 끊으며 인터넷은 며칠간 토막 났습니다. 그 사고를 계기로 미국 국방고등연구계획국은 카네기멜런대에 긴급대응팀(CERT/CC)을 세웠습니다. 한 번의 사고가 대응 체계를 바꾼 셈인데, 오픈AI도 8월 4일 발표에서 국가 안전연구소와 외부 평가기관, 다른 연구소를 불러 평가 환경의 표준을 다시 짜겠다고 예고했습니다.

한국 기업과 독자에게 달라지는 것

이번 사건은 사이버 평가라는 좁은 영역에서 나왔지만, 에이전트에게 권한을 주는 모든 조직에 같은 질문을 던집니다. 사내 시스템에 쓰기·생성 권한을 가진 사람 아닌 주체가 몇이고, 그 주체가 서로 정보를 물려줄 통로가 있는지입니다. 망 분리와 최소 권한은 사람 침입자를 상정하고 다듬어진 원칙이라, 권한을 가진 주체가 수백 개로 늘고 서로 정보를 물려주는 조건에서는 권한 단위를 사람 계정에서 에이전트 실행 단위로 다시 쪼개는 일이 따라와야 합니다.

판단을 미뤄 둘 대목도 있습니다. 연구 속도를 얼마나 늦췄는지는 수치로 나오지 않았고, 그래서 변화의 규모를 가늠하기 어렵다는 지적이 나왔습니다. 사고를 크게 부각해 규제 논의나 오픈소스 견제에 쓰려는 발표가 아니냐는 해석도 있었습니다. 지금으로서는 이를 뒷받침할 근거도 반박할 근거도 충분하지 않습니다. 세션을 지켜본 기자들도 오픈AI가 보안을 위해 연구를 의식적으로 늦추고 있다고 전하면서, 전체 기술 보고서가 아직 진행 중이라는 점을 함께 적었습니다.

투명성을 둘러싼 요구도 블랙햇 전부터 나와 있었습니다. 허깅페이스 CEO 클레망 들랑그는 7월 26일 오픈AI에 에이전트들의 추적 기록을 연구 공동체에 공개하고, 방어자를 위한 연산 1억 달러를 내놓으라고 공개적으로 요청했습니다.

다음에 확인할 것은 오픈AI가 예고한 기술 보고서, 그리고 METR와 레드우드 리서치가 내놓을 제3자 평가 결과입니다. 회사가 재구성한 사건과 외부 기관이 확인한 내용이 얼마나 맞는지는 그때 판단할 수 있습니다. 그전까지 공개된 날짜와 수치, 경위는 모두 오픈AI가 밝힌 내용입니다.

읽어 주셔서 고맙습니다.

초이 드림