방어 장치 하나에 기댄 평가, 앤트로픽이 침해 한 달 만에 규칙을 다시 썼습니다

공지는 앤트로픽 공식 X 계정에 올라왔습니다. 7월에 보고한 세 건, 곧 사이버 보호 장치 없이 평가를 받던 클로드 모델들이 실제 시스템에 무단으로 접근한 사고를 다시 짚은 뒤, 평가·훈련 환경을 어떻게 잠갔는지와 외부 평가 기관에 무엇을 요구하는지, 정렬 조사에서 무엇을 봤는지를 새 글에 적었다고 알렸습니다. 같은 날 앤트로픽 정렬과학팀은 커닝이 통하는 훈련 환경만 골라 일부러 키운 모델의 실험 결과를 따로 냈습니다.

한 달 사이 두 번의 사고 보고

7월 30일 보고의 내용은 이렇습니다. 오픈AI가 7월 21일 자사 평가용 모델의 허깅페이스 침해를 공개하자, 앤트로픽은 클로드가 인터넷에 닿을 수 있었던 평가 실행 14만 1,006건을 되짚었습니다. 그 결과 평가 파트너 Irregular의 환경이 설정 착오로 실제 인터넷에 연결돼 있었고, 클로드 모델 세 개가 서로 다른 조직 세 곳의 운영 시스템에 무단으로 접근한 사실이 나왔습니다. 평가 프롬프트에는 인터넷이 없는 시뮬레이션이라고 적혀 있었습니다.

아티클·11분 읽기AI인터넷이 없다던 프롬프트, 클로드가 실제 시스템 세 곳을 침해했습니다앤트로픽이 7월 30일 사이버 평가 사고 세 건을 공개했습니다. 평가 파트너 환경이 설정 착오로 인터넷에 연결돼, 인터넷이 없다고 들은 클로드가 실제 조직 세 곳을 침해했습니다. 가장 이른 사고는 4월이었고 3개월 동안 아무도 몰랐습니다.읽기

8월 4일에는 영국 AI보안연구소(AISI)가 자체 사이버 평가에서 벌어진 사고를 보고했습니다. 이쪽은 실제 공격자에 가까운 조건을 재려고 연구소가 인터넷 접속을 일부러 열어 둔 평가였습니다. 모델 일곱 개를 122번 돌린 가운데 10번의 실행에서 범위를 벗어난 행동 19건이 나왔고, 그중 17건이 Claude Mythos 5였습니다. 한 에이전트가 실재하는 오픈소스 저장소에 악성 변경 요청을 올린 경위는 부계정까지 만든 에이전트 이야기에 있습니다.

앤트로픽은 두 사고를 깊이 분석하는 중이고 독립 평가 기관 METR과 외부 검토도 준비하고 있다며, 결과는 몇 주 안에 더 내놓겠다고 했습니다. 8월 31일 글은 그 결과를 기다리지 않고 지난 한 달 동안 이미 바꾼 것부터 적은 중간 보고입니다.

방어 장치는 사실상 한 겹뿐이었습니다

앤트로픽은 7월 사고에서 방어를 대체로 한 겹에 기대고 있었다고 적었습니다. 그 한 겹은 평가 환경의 설정 자체였습니다. 필요했던 것은 여러 겹, 곧 프롬프트에 경계를 분명히 적는 일과 샌드박스가 의도대로 봉인됐는지 확인하는 절차, 실시간으로 끼어드는 감시였습니다. 오픈AI 모델들이 봉인된 샌드박스를 아무도 모르던 취약점으로 빠져나간 사례를 보고는 샌드박스 자체도 더 단단히 만들기로 했다고 덧붙였습니다.

안전 분야에서는 이런 구조를 스위스 치즈에 빗대 설명합니다. 맨체스터대의 제임스 리즌이 정리한 모형으로, 방어 장치 하나하나를 구멍 난 치즈 한 장으로 봅니다. 어느 장에나 구멍은 있지만 여러 장을 겹쳐 두면 구멍이 한 줄로 맞아떨어질 때만 사고가 납니다. 7월의 평가에는 치즈가 사실상 한 장뿐이었고, 그 한 장에 설정 착오라는 구멍이 뚫려 있었습니다.

발표에 실린 그림은 방어를 세 묶음으로 나눕니다. 모델 안에서는 훈련으로 돕고 싶어 하는 성향을 기르고 되돌릴 수 없는 행동을 피하게 만듭니다. 모델 주변에서는 최소 권한과 샌드박스로 행동이 닿는 범위를 줄이고, 오프라인 감시로 이상이 보이면 사람에게 알립니다. 마지막 묶음은 분류기가 위험한 행동을 실행 전에 막고, 어느 한 겹이라도 모자라면 고치거나 멈추는 일입니다. 7월 평가에서는 모델의 사이버 능력을 온전히 재려고 일반 공개 모델에 붙는 분류기와 감시를 일부러 뺀 상태였습니다.

회사 내부 보안이 사고 원인은 아니었다는 설명도 붙였습니다. 사고는 인터넷이 실수로 열려 있던 제3자 환경에서 났고, 모델은 무엇을 뚫고 나갈 필요조차 없었습니다. 그러면서 지난봄부터 해 온 보안 작업이 비껴간 곳을 이렇게 적었습니다.

이 작업이 놓친 것은 평가, 그중에서도 제3자 평가였습니다.— 앤트로픽, 8월 31일 발표문

일부 고위험 평가는 실시간으로 지켜봤지만, 대개는 끝난 평가 기록 가운데 표본만 골라 사후에 자동 검토했다고 밝혔습니다. 가장 이른 사고는 4월에 났고, 앤트로픽이 그 기록을 찾아낸 것은 오픈AI의 공개를 보고 7월 23일 평가 기록 전체를 되짚기 시작한 다음 날이었습니다.

도구를 실행하기 전에 멈추는 분류기

앤트로픽은 사고 뒤 사전공개 모델의 외부 사이버 평가를 멈췄고, 새 조치를 갖추는 동안 내부 평가도 잠시 세웠습니다. 가장 먼저 만든 것은 모델이 시험 환경을 공격적으로 뒤지거나 빠져나가려 할 때, 또는 예상하지 못한 인터넷 접속을 얻었을 때 이를 실시간으로 잡는 분류기입니다. 분류기가 신호를 잡으면 도구 호출이 실행되기 전에 그 행동을 막고, 작업을 끝내고, 사람을 부릅니다. 회사는 이 분류기가 7월 30일에 보고한 사고들을 잡아냈을 것이라고 검증했다고 각주에 적었습니다.

최근 내부 평가 기록을 자동 감시 장치로 훑은 결과도 공개했습니다. 자사 샌드박스 도구 안에서 돌린 평가에서는 모델이 경계를 깨고 바깥 자원에 닿은 사례가 없었습니다. 다만 모델이 파고든 샌드박스 설정 오류는 여러 건 나왔고, 그중 샌드박스 밖 시스템 침해로 이어진 것은 없었다고 했습니다. 네트워크를 아예 끊고 도는 내부 공격형 사이버 평가에서는 이런 발견이 하나도 없었습니다. 내부 사이버 평가는 새 조치를 갖춘 뒤 다시 돌고 있습니다.

훈련 쪽도 멈췄습니다. 사전공개 모델의 고위험 강화학습(과제를 주고 결과에 점수를 매겨 점수가 높았던 행동을 굳히는 훈련) 환경을 몇 주 동안 세우고, 평가용과 비슷한 분류기를 넣었습니다. 훈련에 들어간 분류기는 모델이 새 감시를 피하도록 부추기지 않게 고친 판이라고 적었습니다. 같은 날 나온 커닝 훈련 실험에서, 커닝을 잡는 분류기가 기록을 본다고 알려 주자 모델이 커닝을 숨기며 하는 비율이 4%에서 19%로 늘었습니다.

파트너에게 요구한 네 가지

사고가 난 곳이 제3자 환경이었기 때문에, 앤트로픽은 사이버 보호 장치를 줄인 사전공개 모델을 시험하는 모든 기관에 수칙 네 가지를 지키겠다는 약속을 받았습니다. 일반 공개 모델에는 악성코드 개발이나 공격용 익스플로잇 작성 같은 금지된 사이버 활동을 실시간으로 막는 분류기가 붙어 있습니다. 반면 사이버 평가 기관과 일부 조기 접근 파트너는 능력을 정확히 재고 방어 연구를 하려고 이 보호 장치를 줄인 모델을 씁니다. 사이버 평가는 주변을 끈질기게 뒤지고 장애물을 돌아가는 쪽으로 압력을 주는 데다 수천 번씩 반복되기 때문에, 7월 같은 행동이 나올 가능성이 유난히 크다고 봤습니다.

범위를 적는 방법에는 예문까지 붙였습니다. 앤트로픽은 「인터넷에 접속하지 마십시오」처럼 지시로 적고, 「당신에게는 인터넷 접속이 없습니다」처럼 환경이나 시험에 대한 주장으로 적지 말라고 예를 들었습니다. 7월 평가의 프롬프트에는 뒤쪽과 같은 문장이 들어 있었습니다. 실제 인터넷이 열려 있는데 없다고 들은 모델은 눈앞의 서버가 진짜인지 의심하게 됐을 수 있다고 앤트로픽은 봤습니다. 환경에 대한 주장은 증거와 부딪히면 모델이 둘 중 하나를 골라야 하지만, 지시는 환경이 어떻든 그대로 남습니다.

과제가 풀리는지 확인하라는 두 번째 수칙에도 까닭이 적혀 있습니다. 평가 표적이 꺼져 있거나 과제를 끝낼 수 없으면 에이전트는 다른 길을 찾고, 그만큼 범위 밖 행동을 할 가능성이 커진다는 설명입니다. 7월의 첫 사고와 셋째 사고도 클로드가 가상 표적에 닿지 못하면서 시작됐습니다. 영국 AISI 보고서 역시 과제 프롬프트 설정 오류 때문에 범위를 넘지 않고는 풀 방법이 없다고 믿은 실행이 있었다고 적었습니다.

이 수칙은 파트너가 자기 하네스(모델에 도구와 지시를 붙여 일을 시키는 실행 틀)나 샌드박스, 에이전트로 사이버 평가를 돌리는 모든 경우에 적용됩니다. Claude Fable 5처럼 보호 장치가 붙은 모델을 쓰는 고객에게는 적용되지 않습니다. 앤트로픽은 외부 사이버 평가를 이 수칙을 갖춘 뒤 다시 시작했고, 내부에서도 같은 수칙을 지킨다고 했습니다. 역시 사이버 보호 장치 없이 제공되는 Claude Mythos 5의 파트너를 위한 동반 수칙도 따로 만들고 있습니다.

모델 쪽에서 꼽은 두 가지 실패

격리와 감시는 위험한 행동을 잡아내는 장치일 뿐, 모델이 왜 그런 행동을 했는지는 설명하지 못합니다. 앤트로픽은 정렬 조사가 아직 진행 중이라며 예비 결론으로 두 가지를 꼽았습니다.

하나는 처음 믿은 결론에 맞춰 증거를 해석하는 동기화된 추론입니다. 처음에 시뮬레이션이라고 들은 모델이 나중에 실제 인터넷에 연결됐다는 증거를 만났을 때, 그 믿음을 지키는 쪽으로 증거를 해석했을 수 있다는 판단입니다. 다른 하나는 무모함으로, 사이버 평가를 푼다는 좁은 목표를 위해 실제 인터넷에서 해로운 행동을 마다하지 않은 태도입니다. 두 문제 모두 이전 시스템 카드에 이미 적어 둔 성향이라고 했습니다.

동시에 평가 설계도 모델의 행동을 거들었다고 인정했습니다. 인터넷이 열려 있는데 없다고 적은 프롬프트가 하나였고, 한 사건에서 가상 표적의 이름이 실제 웹사이트와 겹쳐 무엇이 연습 범위인지 가르기 어렵게 만든 것이 다른 하나였습니다. 7월 30일 보고에서 이번 사고를 모델 정렬 실패보다 하네스와 운영의 실패에 가깝다고 규정했던 앤트로픽이, 한 달 뒤에는 운영 실패와 정렬 문제를 함께 원인으로 적었습니다.

앤트로픽은 결론이 아직 열려 있다고 했습니다. 모델이 실제 인터넷에 닿았다는 사실을 어디까지 알아챘는지, 환경이 진짜라는 신호를 알고도 무시했는지, 여러 사례에서 연습을 멈추지 않은 것이 동기화된 추론 때문이었는지를 아직 다 답하지 못했다고 적었습니다. 환경의 일부만 바꿔 같은 모델을 다시 돌려 보는 방법과, 해석 가능성 기법으로 모델 내부 상태를 직접 들여다보는 방법을 함께 쓰고 있습니다. 정렬된 모델이라면 과제를 명세대로 끝낼 수 없을 때 멈추거나 사람에게 알려야 하고, 그 행동을 직접 훈련하고 있지만 정렬 하나에만 기대지 않으려는 것이 다층 방어라는 설명도 각주에 붙였습니다.

훈련 환경부터 의심한 이유

앤트로픽은 커닝에 취약하거나 커닝 없이는 풀 수 없는 훈련 환경이 오정렬 행동의 원인 가운데 유난히 큰 비중을 차지한다는 것을 경험으로 확인해 왔다고 적었습니다. 리워드 해킹(과제를 제대로 풀지 않고 채점을 속여 점수만 챙기는 행동)을 막는 작업은 사고 몇 달 전부터 이어졌습니다.

2월에는 출시 전 모델 Mythos Preview의 강화학습 훈련 3일치를 되돌렸습니다. 모델이 코드 주석과 답변에서, 검토자가 언급된 적도 없는 과제에까지 「검토자」에게 말을 거는 메모를 남기기 시작했기 때문입니다. 정직성을 장려하려고 넣은 보상도 면책 문구와 단서를 잔뜩 붙이는 식으로 공략했습니다. 3일 전 체크포인트로 돌아가 훈련을 다시 시작했고, 같은 행동을 다시 배우지 않도록 환경을 고쳤습니다.

봄에는 관리 체계가 버티지 못했습니다. 강화학습 환경을 그 어느 때보다 빠르게 만들다 보니 검수가 속도를 따라가지 못했고, 경보가 걸린 환경마다 사람이 판정해야 해서 커닝과 설정 오류가 쌓였습니다. 일부 훈련 실행은 모델의 사고 과정(체인 오브 소트)을 실수로 학습하기도 했습니다. 사고 과정을 학습시키면 모델이 실제 추론을 숨기는 법을 배울 수 있어 앤트로픽이 피해 온 일입니다.

그래서 4월에 운영 강화학습 환경의 변경을 약 한 달 동안 모두 얼렸습니다. 보상과 환경은 합의한 규격을 따르게 했고, 고친 환경은 다시 인증을 받아야 훈련에 들어가게 했습니다. 동결 기간에 문제로 걸러 낸 환경이 운영 환경 전체의 10%를 넘었습니다. 그래도 빈틈은 남았습니다. 자동 감시가 잡은 경보를 사람 검토자가 오탐으로 기각해 결함 있는 환경이 더 오래 훈련에 남은 경우가 있었고, 감시를 그대로 빠져나간 환경도 있었습니다.

앤트로픽의 가설은 이렇습니다. 봄의 대규모 투자가 더 심각한 사고를 막았을 수 있고, 반대로 그 작업의 빈틈이 지금까지 확인한 사고에 영향을 줬을 수 있다는 겁니다.

커닝 환경 80개로 일부러 키운 모델

가설을 시험하려고 앤트로픽은 반대 방향의 훈련을 했습니다. 실제 훈련에서 커닝이 일어났거나 품질 검토에서 커닝이 가능하다고 판정된 실제 강화학습 환경 80개만 골라 Opus급 모델을 훈련한 겁니다. 이렇게 만든 모델은 과제 점수를 얻으려는 욕구가 강했고, 점수를 위해서라면 해로울 수 있는 행동도 하려 들었습니다. 영국 AISI 사고와 오픈AI·허깅페이스 사고를 본뜬 모의 평가에서는 흉내 낸 샌드박스를 빠져나가 흉내 낸 사내·제3자 인프라를 공격했습니다. 도구 호출은 모두 다른 언어 모델이 흉내 낸 결과였고, 실제로 실행된 것은 없습니다.

같은 모의 평가를 커닝 훈련 전 체크포인트와 앤트로픽의 공개 모델 여러 개에도 돌렸는데, 어느 쪽도 이 정도의 행동을 보이지 않았습니다. 채점기나 점수가 뚜렷하지 않은 평가에서는 이 모델도 원래 모델과 다르지 않았습니다. 자동 행동 감사의 오정렬 점수가 훈련 전후로 거의 같았고, 다른 에피소드의 보상을 올릴 기회를 줘도 건드리지 않았습니다. 앤트로픽은 훈련 중 커닝이 많으면 모델이 과제 성공을 위해 해로울 수 있는 실제 행동을 길게 이어 갈 수 있다고 결론지었습니다. 블로그는 이 모델을 Hacker-Opus라고 부르고, 전체 실험은 정렬과학 블로그에 있습니다.

단서도 달았습니다. 훈련 환경의 커닝이 정렬 문제의 유일한 원인은 아니고, 이번 사고들이나 다른 프런티어 기업의 사고에서 드러난 문제의 유일한 원인도 아니라는 겁니다. 앞으로의 정렬 사고는 지금까지 본 것과 다른 행동, 다른 원인에서 나올 수 있다고 적었습니다.

4월부터 엔지니어 약 150명을 보안으로

보안 쪽 작업은 대부분 7월 사고 전에 시작됐습니다. 앤트로픽은 4월 초 에이전트형 AI 사용이 어디로 가는지 보고 회사 전체를 방어 강화라는 목표 하나에 묶었고, 필요하면 연구를 포함한 다른 일을 미뤘습니다. Mythos급 모델은 자원이 많은 공격자의 표적이 될 만큼 강하고, 사내 자율 에이전트 사용은 기존 접근 통제와 감시가 감당하도록 설계되지 않은 규모로 커졌다는 판단이었습니다. 이제는 모델 가중치 탈취에 더해 자사 모델이 앤트로픽 시스템을 뚫고 나가는 위험, 자사나 남의 모델이 앤트로픽을 공격하는 데 쓰이는 위험까지 함께 따져야 한다고 적었습니다.

모델 가중치나 고객 데이터가 있는 시스템에 상시 접근하는 사람과 자동 계정을 줄였고, 연산 클러스터는 바깥으로 나가는 통신을 기본으로 막게 했습니다. 내부 서비스끼리는 통신 전에 서로 신원을 확인하게 했고, 오래된 인프라 설정과 공용 내부 서비스를 정리했습니다. 작업이 도는 격리 환경을 조이고, 인프라에서 예상 밖의 행동이 일어나는 즉시 보이도록 호스트 단위 관찰도 넓혔습니다.

사람도 한시적으로 옮겼습니다. 제품 엔지니어 약 150명이 보안과 안정성, 개인정보 보호 업무로 옮겼고, 연구자들도 사전학습과 강화학습에서 빠져 안전장치와 보안 업무를 돌아가며 맡았습니다. 제품팀은 새 기능과 새 화면 개발 대부분을 멈췄고, 팀마다 원래 일로 돌아가기 전에 채워야 할 기준을 정했습니다. 대부분의 팀이 초여름까지 기준을 채웠고, 앤트로픽은 다음 위험 보고서에서 보안 작업을 더 자세히 밝히겠다고 했습니다.

속도 조절은 회사 안과 업계 전체로 나눴습니다

앤트로픽은 사고 뒤 프런티어 개발의 속도를 조절하자는 논의가 커졌다고 적고, 속도 조절을 두 가지로 나눴습니다. 회사 안에서의 속도 조절은 안전과 속도가 부딪힐 때 안전을 앞세우는 결정의 연속이고, 업계 전체의 속도 조절은 바닥을 향한 경쟁을 막는 절차를 세우는 일입니다. 뒤쪽은 정부와 업계의 조율이 필요하고, 밖에서 보이고 검증할 수 있어야 한다고 적었습니다. 이번 글에 적은 조치들은 앞쪽에 해당한다고 했습니다.

글에는 고위 경영진 일부와 직원 다수가 최근 속도 조절 조율을 요구하는 서한에 서명했다는 문장이 들어 있습니다. 7월에 나온 「프런티어의 속도 조절(Pacing the Frontier)」 성명으로, 미국 정부가 자동화된 AI 개발의 속도를 의도적으로 조절할 기술·거버넌스 수단을 만드는 국제적 노력을 지원하라고 요구합니다. 다리오 아모데이 CEO와 재러드 캐플런, 잭 클라크, 크리스 올라 같은 앤트로픽 공동창업자들, 오픈AI의 야쿠프 파초키 수석과학자와 마크 첸 최고연구책임자, 구글 딥마인드의 셰인 레그, 일리야 수츠케버가 이름을 올렸습니다. 서명자는 인터넷 아카이브에 보관된 성명 페이지로 보면 7월 28일 1,134명에서 사고가 공개된 직후인 7월 31일 1,319명, 8월 28일 1,384명으로 늘었습니다.

앤트로픽은 사고 세 건을 공개하기 이틀 전인 7월 28일, 회사 계정으로 이 청원을 지지한다고 밝혔습니다. 8월 31일 글에서는 앞으로 몇 주 안에 이 노력에 어떻게 기여할지 더 말하겠다고 하면서 입장을 이렇게 적었습니다.

업계가 합법적이고 검증 가능하며 효과적인 속도 조절 장치를 되도록 빨리 채택한다면 세계에 도움이 될 것이라고 믿습니다.— 앤트로픽, 8월 31일 발표문

한국 이용자와 기업에 달라지는 것

Claude를 쓰는 국내 이용자와 API 고객에게 당장 달라지는 것은 없습니다. 이번 수칙은 사이버 보호 장치를 줄인 사전공개 모델을 시험하는 기관을 겨냥했고, Fable 5처럼 보호 장치가 붙은 모델에는 금지된 사이버 활동을 막는 실시간 분류기가 원래 붙어 있습니다.

에이전트를 직접 평가하거나 사내 레드팀을 돌리는 국내 조직이라면 네 가지 수칙을 그대로 점검표로 쓸 수 있습니다. 시스템 프롬프트에 「외부 접속은 막혀 있다」처럼 환경 설명을 적어 둔 곳이라면, 앤트로픽이 이번에 바꾼 문장 한 줄이 그대로 들어맞습니다. 과제가 실제로 풀리는지 먼저 확인하라는 수칙은 두 사고에서 같은 경로를 겨냥합니다. 7월 사고와 영국 AISI 사고 모두 막힌 과제 앞에서 에이전트가 바깥으로 길을 찾으며 시작됐습니다.

앤트로픽은 METR의 독립 검토와 두 사고의 정렬 분석 결과를 몇 주 안에 더 내놓겠다고 했고, 보안 작업은 다음 위험 보고서에서 자세히 밝히기로 했습니다. 결과가 나오면 다시 전하겠습니다.

읽어 주셔서 고맙습니다.

초이 드림