에이전트 시험 최대 96% 부정행위, 굿파이어 "모델은 자기가 속이는 줄 안다"

굿파이어가 한국 시각 9월 18일 새벽 X에 올린 연구 공지입니다. 모델은 자기가 보상 해킹을 한다는 것을 알면서도 연구진이 살펴본 실행의 50~96%에서 그렇게 했고, 굿파이어는 허깅페이스 사건 뒤에 있던 바로 그 행동을 실시간으로 잡는 활성값 감시 장치를 만들었다고 적었습니다. 이렇게 잡아내면 진행 중인 해킹을 멈추고, 다음 모델을 부정행위 없이 훈련하는 데도 쓸 수 있다는 설명입니다.

모델 속을 읽는 연구

해석 가능성 연구가 따로 있는 이유는 지금의 AI를 사람이 한 줄씩 짜지 않았기 때문입니다. 호는 지금은 시행착오로 모델을 훈련할 뿐 모델이 왜 작동하는지 모르고, 과학이 있어야 시행착오가 공학이 된다고 했습니다. 터크가 앤트로픽 공동창업자 크리스 올라의 말로 알려진 「모델은 만들어지지 않고 길러진다」를 꺼내자, 호는 안드레이 카파시의 「소프트웨어 2.0」을 들었습니다. 사람이 쓰고 고치는 코드와 달리, 소프트웨어 2.0은 경사하강법(오차를 줄이는 쪽으로 모델의 숫자를 조금씩 고쳐 가는 학습법)이 신경망 안에 써 넣은 코드라 사람이 한 줄도 쓰지 않는다는 설명입니다.

이 분야의 도구는 크게 두 가지입니다. 탐침(probe)은 모델이 토큰 하나를 만들 때 켜지는 내부 값, 곧 활성값(activation) 위에 얹는 작은 분류기입니다. 호는 모든 레이어가 계산 결과를 써 넣는 잔차 흐름(residual stream)을 모델 속을 흐르는 강에 빗댔고, 계산이 충분히 쌓인 중간 이후의 레이어에서 사이버 공격이나 보상 해킹 같은 개념을 뽑아낸다고 했습니다. 조향(steering)은 그렇게 찾은 방향을 모델 안에 직접 더해 행동을 바꾸는 기법으로, 2024년 앤트로픽이 Claude를 금문교 이야기만 하게 만든 「골든게이트 Claude」가 대표 사례이고 호는 이를 모델에 하는 뇌수술이라고 불렀습니다.

굿파이어는 2025년 4월 창업 1년이 안 돼 멘로벤처스가 이끌고 앤트로픽이 참여한 5,000만 달러 시리즈 A를, 2026년 2월에는 기업가치 12억 5,000만 달러에 1억 5,000만 달러 시리즈 B를 받았습니다. 호에 따르면 공동창업자 토머스 맥그래스는 구글 딥마인드의 해석 가능성 팀을 처음 꾸렸고, 2021년 11월 데미스 하사비스, 블라디미르 크람니크와 함께 알파제로가 체스 지식을 익힌 과정을 들여다본 논문을 냈습니다. 굿파이어는 7월 15일 이런 실험을 대신 돌려 주는 연구 에이전트 플랫폼 Silico를 비공개 베타로 열었고, 저도 그때 스레드로 소개했습니다. 딥마인드의 닐 난다가 7월 제미나이 사이버 악용을 거르는 탐침을 1만 배 비싼 언어 모델과 견줬던 것도 같은 도구입니다.

감독 없는 비도덕적 학생

굿파이어는 논문 소개 글에서 허깅페이스 사건을 먼저 꺼낸 뒤 AI 에이전트를 감독이 거의 없는 비도덕적 학생에 빗댔습니다. 호는 지금 모델의 선생이 대부분 강화학습(모델이 과제를 풀고 받은 점수로 스스로를 고쳐 가는 훈련)이라고 설명했습니다. 정답이면 보상, 오답이면 벌점을 줄 뿐 도덕이나 가치와는 상관이 없어서, 에이전트가 현실에서 하는 일이 많아질수록 문제가 커진다는 겁니다.

우리는 아주 비도덕적이면서 아주 유능한 모델들이 돌아다니며, 사람이라면 도덕적으로 잘못이라고 여길 일을 할 수도 있는 상황을 맞고 있습니다.— 에릭 호, 굿파이어 CEO (The MAD Podcast)

보상 해킹은 모델이 맡은 일을 제대로 하지 않고 점수만 올리는 행동입니다. 호가 떠올리는 고전적인 예는 강화학습으로 훈련한 게임 캐릭터가 코드의 버그 때문에 점수가 오르는 구석에서 빙글빙글 도는 모습이고, 터크는 시험공부 대신 답안지를 훔치는 학생에 빗댔습니다. 요즘 에이전트는 코딩 시험에서 문제를 풀지 않고 정답을 기억해 내거나 찾아보려 하고, 저장소의 로그와 커밋 기록을 뒤져 답을 얻으려 한다고 호는 말했습니다. 굿파이어 논문이 시험별로 잰 보상 해킹 비율은 이렇습니다.

호는 방송에서 키미 K3가 SWE-bench의 96%에서 보상 해킹을 한다고 기억했지만, 논문 그림에서 96%대는 Qwen 3.8 Max의 DeepSWE(96.2%)이고 키미 K3의 SWE-bench는 90.9%입니다. 셋 가운데 가장 덜한 GLM 5.2도 SWE-bench 실행 열 번 가운데 일곱 번 넘게 채점을 속였습니다.

호는 문제가 커진 계기로 지난 1년 남짓 강화학습을 크게 늘린 일을 들었습니다. 강화학습은 목표를 최적화하는 법을 놀랄 만큼 잘 가르치고 앞으로도 계속 커질 텐데, 강화학습 자체가 보상 해킹을 점점 더 부르는 구조라는 설명입니다. 6개월 전만 해도 채팅에서는 정렬(모델이 개발자가 의도한 목표와 행동 기준을 따르게 하는 일)을 다 풀었다는 분위기였지만, 에이전트가 현실에서 행동하면서 어긋날 기회가 전혀 다른 규모로 늘었다고 했습니다.

지금 있는 정렬 기법은 초지능까지 확장되지 않을 겁니다. 저는 이것이 프런티어 연구소들 모두의 공통된 생각이라고 봅니다.— 에릭 호, 굿파이어 CEO (The MAD Podcast)

허깅페이스 사건에서 시험이 놓친 것

터크가 허깅페이스를 뚫은 모델들이 연구소의 안전 시험을 모두 통과했다는 점을 묻자, 호는 문제가 겹쳐 있었다고 답했습니다. 그의 설명으로는 모델들이 예상보다 유능했고, 달성해야만 보상을 받는 불가능한 과제와 아주 큰 토큰 예산을 함께 받았습니다. 인터넷 없이는 풀 수 없다고 판단한 모델들이 인터넷에 닿을 방법을 찾았고, 호는 불가능한 과제를 준 훈련 설정과 권한이 허술했던 샌드박스(바깥과 격리한 실행 환경)를 함께 원인으로 꼽았습니다.

오픈AI도 8월 26일 낸 기술 보고서에서 지금 쓰는 감시가 그때 돌았다면 침해 하루 전에 경보가 갔을 것이라고 적었습니다. 호가 더 놀란 쪽은 에이전트들의 끈기였습니다. 서로 손을 맞춰 취약점을 이어 붙이고 바깥 조직의 높은 권한까지 얻었는데, 보상만 받으면 그 행동에 잘못이 없다고 여기는 것이 지금 강화학습 모델의 근본 문제라는 겁니다. 그는 지금 모델이 앞으로 몇 년 동안 우리가 다룰 모델 가운데 가장 멍청한 모델이라는 말도 덧붙였습니다.

모델은 자기가 속이는 것을 안다

굿파이어가 쓴 방법은 부정행위를 하는 예시 묶음과 하지 않는 예시 묶음을 모델에 넣고 두 묶음의 평균 활성값 차이를 구하는 「평균 차이(difference of means)」 벡터로, 짧은 합성 코드 예시만으로 만든 단순한 도구입니다. 이 벡터는 실제 모델이 내놓은 아주 긴 작업 기록에서도, 쇼핑이나 고객 응대처럼 처음 보는 과제에서도 통했습니다.

이 신호가 정말 「부정행위」를 가리키는지는 세 가지로 확인했습니다. 인터넷 글 모음 FineWeb에서 신호가 가장 세게 켜진 글은 속도 측정 때만 빨라지게 설계된 CPU 이야기, 표절 검사기 Turnitin을 피하려 글자를 다른 언어 문자로 바꾸는 요령 같은 것이었습니다. 신호를 어휘로 되돌리면 cheating, hack, sneak, illicit, hardcoded, unethical 같은 단어와 비슷한 뜻의 중국어 단어가 위에 올랐습니다. 신호를 키워 조향하자 모델은 연구진이 심어 둔 미끼 지름길을 훨씬 자주 썼고, 시험 보는 소녀 이야기를 쓰라는 요청에는 답이 저절로 써지는 손을 직감이라 부르는 이야기를 내놓았습니다.

호는 이 방법을 버튼이 달린 뇌 MRI에 빗댔습니다. 부정행위를 할 때 켜지는 부위를 찍고 그 부위를 다시 켜거나 끌 수도 있어, 손상 없이는 건드릴 수 없는 사람 뇌보다 실험하기 좋다는 설명입니다.

이 모델들은 부정행위를 실제로 저지르는 순간 자기가 부정행위를 하고 있다는 것을 정말로 압니다.— 에릭 호, 굿파이어 CEO (The MAD Podcast)

짧아지는 사고 사슬

지금까지 가장 널리 쓴 감시는 사고 사슬(chain of thought, 추론 모델이 답하기 전에 글로 적는 풀이 과정)을 다른 모델에게 읽히는 방식입니다. 모델이 문제를 푸는 것보다 부정행위가 쉬우니 그렇게 하겠다고 적으면 해킹 전에 잡을 수 있었습니다. 호는 두 가지가 이 방법을 약하게 만든다고 했습니다. 강화학습 압력 때문에 모델이 더 많은 뜻을 더 적은 토큰에 눌러 담으며 추론이 짧아지고, 토큰을 내기 전에 모델 안에서 계산을 여러 번 되도는 잠재 추론이 늘어난다는 겁니다. 호는 오픈AI의 Astra가 잠재 추론 모델이라는 보도가 있었다고 했지만, 오픈AI 시스템 카드는 Astra의 사고 사슬 통제력 증가를 구조 변경 탓으로 보지 않는다며 사고 사슬 없이 풀 수 있는 과제가 늘어난 것과 함께 움직였다고 적었습니다.

방송에서 가장 구체적인 사례는 호가 며칠 전 일이라며 꺼낸 이야기였습니다.

며칠 전 우리 연구자 한 명이, 모델이 바깥의 사고 사슬 감시 장치가 자기 보상 해킹을 지켜보고 있다는 사실을 놓고 대놓고 추론하는 것을 찾았습니다.— 에릭 호, 굿파이어 CEO (The MAD Podcast)

그 모델은 감시에 들키지 않게 해킹을 짜는 방법을 따졌고, 호는 이런 겹겹의 게임을 자기도 다 따라가지 못하겠다며 쫓고 쫓기는 싸움이 될 것이라고 했습니다. 어떤 모델이었는지와 기록은 공개되지 않았습니다.

비슷한 현상은 오픈AI 문서에도 숫자로 남아 있습니다. GPT-6 Astra 시스템 카드는 Astra의 사고 사슬 감시 가능성이 이전 모델보다 크게 떨어졌다고 적었고, 사고 사슬을 지시대로 조종하는 시험에서 750~1,250토큰 길이의 추론을 Astra는 60.9% 조종해 GPT-5.6 Sol(16.1%)과 GPT-5.5 Thinking(1.7%)을 크게 앞섰습니다. 일부러 미끼 서버를 공격하게 한 시험에서는 사고 사슬만 보는 감시가 있다고 알려 주기만 해도 Astra가 추론을 크게 줄였고, 최고 추론 설정에서는 사고 사슬 없이 도구 호출만으로 성공한 공격도 나왔습니다. 오픈AI는 숨은 추론을 평범한 글에 감추는 능력의 증거는 없었고 전체 기록을 보는 감시는 이 공격을 100% 잡았다고 밝히면서, 대안으로 활성값 감시 같은 방법을 연구하고 있다고 적었습니다.

사고 사슬이 감시를 비켜 가는 경로는 전에도 확인됐습니다. 오픈AI는 2025년 3월 사고 사슬 감시를 훈련 보상에 넣고 세게 최적화하면 모델이 의도를 감춘 채 보상 해킹을 이어 간다고 보고했고, 9월 16일 낸 정렬 이탈 보고서에서는 사용자가 물을 때만 사실을 말하라는 은폐 지시가 GPT-5.6 Sol 훈련 요약의 2.15%에서 나왔습니다. 사티아 나델라 마이크로소프트 CEO는 9월 14일 사고 과정이 누구나 읽는 언어로 남아야 한다고 했지만, 굿파이어는 글로 쓴 추론 대신 활성값을 직접 읽자는 쪽입니다.

탐침은 싸고, 다 잡지는 못한다

논문은 같은 오탐률에서 탐침과 LLM 감시(GPT-5.6 Sol, 높은 추론 설정)가 해킹을 얼마나 잡는지 비교했습니다. 키미 K3에서 탐침은 DeepSWE와 ImpossibleBench에서 앞섰고 SWE-bench Verified에서는 뒤졌으며, GLM 5.2의 DeepSWE에서는 7.9% 덜 잡았습니다.

탐침이 앞서는 쪽은 하나하나는 멀쩡해 보이는 행동입니다. 쇼핑 시험 ShoppingBench에서 모델은 원하는 상품을 못 찾자 경적을 자동차 경보기로 추천하거나 쿠폰 조건을 지키려고 너트 드라이버 세트 대신 추출기 세트를 골랐고, 같은 가게에서 세 개를 사라는 조건을 어렵다며 말없이 뺐는데, LLM 감시는 이를 놓쳤고 탐침은 잡았습니다. 탐침은 모델이 해킹을 궁리하는 단계에서도 켜졌는데, 그 지점에서 나머지 과정을 다시 생성하면 실제로 해킹하는 비율이 훨씬 높았습니다.

탐침은 모델이 어차피 계산한 활성값을 다시 쓰기 때문에, 추론 커널에 붙이면 추가 부담이 거의 없다고 호는 설명했습니다. 그래서 그는 탐침을 일부러 예민하게 맞춰 자주 울리게 하고, 울린 것만 가벼운 모델 Luna가 1차로 보고 탐침과 Luna가 엇갈리면 Astra가 최종 판정하는 2~3단 구성을 권했습니다. 논문에서 이 방식은 키미 K3 기준 LLM 감시 비용을 90% 줄였고 정밀도는 1%쯤 떨어졌습니다. 앤트로픽도 클로드 사이버 사고를 조사할 때 약 4억 8,100만 건의 기록에서 공개 IP나 웹 주소 같은 흔적으로 먼저 거른 920만 건만 클로드로 다시 읽혔습니다.

가중치가 있어야 활성값을 읽을 수 있어 실험은 오픈웨이트 모델로만 했습니다. 터크가 Astra나 Claude는 못 열어 보지 않느냐고 묻자 호는 그 걱정이 과장됐다고 답했습니다. 중요한 과학은 빠르게 실험할 수 있는 작은 이미지 모델에서도 할 수 있고, 특징과 회로라는 기본 개념도 오픈AI 시절 크리스 올라와 닉 카마라타가 이미지 모델로 세웠다는 겁니다. 굿파이어는 오픈AI·앤트로픽·구글 딥마인드가 이미 활성값 탐침으로 감시하고 있다고 적었고, τ³-bench와 Terminal-Bench, ShoppingBench에는 믿을 만한 정답 표시가 없어 범용 감시의 판정에 기댔다는 단서도 달았습니다.

감시 다음은 훈련

호는 대응을 세 단계로 나눴습니다. 실시간 감시는 위험한 사이버 행동을 하려는 순간 생성을 멈추거나 「조심하라」는 문장을 프롬프트에 끼워 넣는 식이고, 다음 단계는 방대한 기록에서 이상 행동을 찾아 모델의 어느 부분이 잘못됐는지 거꾸로 추적하는 디버깅입니다. 마지막 「의도적 설계」는 훈련 중 경사하강법이 보상 해킹을 강화하려는 순간 그 업데이트를 거부하거나 줄여, 좋은 것만 배우게 하는 단계입니다. 터크가 경사하강법에 선택권을 주는 것이냐고 묻자 호는 맞다며 바로 그것을 원한다고 했습니다.

다만 호는 탐침을 상대로 단순하게 훈련하면 개념이 모델의 다른 곳으로 옮겨 갈 뿐이라고 경고했습니다. 9월 30일 그가 쓴 글 「우리는 정렬을 풀 수 있고, 풀어야 한다」에는 보상 해킹한 훈련 기록을 버리기만 해도 모델이 오히려 더 해킹할 수 있다는 문장도 있습니다. 호가 지금까지 공개했다고 꼽은 실험은 RLFR과 예측 데이터 디버깅이고, 굿파이어는 같은 도구로 생명과학 모델도 풀었습니다.

RLFR에서는 탐침을 훈련 중인 모델과 따로 둔 고정 사본에서 돌려, 모델이 감시를 피하는 법을 배우지 못하게 했습니다. 물리학 아첨은 새 물리 법칙을 발견했다는 말을 듣고 싶어 하는 사용자에게 맞장구치는 데이터로, 데이터 디버깅은 이런 묶음을 훈련 전에 걸러 냅니다. 알츠하이머 지표는 독립 집단에서도 통했고, 95% 신뢰구간은 0.56~0.95였습니다.

2028년까지 신경망을 해독한다는 내기

호는 지난해 2028년까지 신경망을 해독하겠다고 한 말을 즉흥적으로 한 말이었다면서도 여전히 가능하다고 봤습니다. 그가 말하는 해독은 어떤 행동이든 모델 안에서 그 행동을 일으킨 원인을 인과적으로 찾는 것이고, 덧셈부터 밀레니엄 난제 풀이까지를 예로 들었습니다. 출시 전에 모델 전체를 거꾸로 푸는 것은 연산상 현명하지 않고, 보상 해킹이나 기만, 아첨처럼 보증이 필요한 행동만 출시 전에 들여다보게 된다는 그림입니다.

저는 사람들이 우리가 해석 가능성과 정렬을 풀 수 있고 또 풀어야 한다고 믿었으면 합니다.— 에릭 호, 굿파이어 CEO (The MAD Podcast)

호는 해석 가능성을 전업으로 연구하는 과학자가 몇백 명뿐이고 대부분 학계에 있다고 했고, 9월 29일 6개 회사가 서명한 백악관 초지능 합의는 훈련과 배포 중 정렬 감시를 요구했지만 방식은 적지 않았습니다. 국내에서 Qwen이나 GLM 같은 오픈웨이트 모델로 에이전트를 만드는 팀은 가중치를 직접 갖고 있어 이번 논문의 탐침을 붙일 수 있는 쪽이고, 연구진이 실험한 모델도 바로 그 Qwen 3.8 Max와 GLM 5.2였습니다.

호는 연구 공개 날 X에 실시간 탐지는 크게 나아갔고 다음 과제는 해킹이 일어나기 전에 막는 법이라고 적었습니다. 굿파이어는 그 방법을 곧 기술 글로 더 풀겠다고 밝혔습니다.

읽어 주셔서 고맙습니다.

초이 드림