운영 데이터를 건드린 에이전트에 2점, 아폴로가 AI 감시자 16개를 시험했습니다

코딩 에이전트는 이제 파일을 고치고 명령을 실행하며 몇 시간짜리 작업을 혼자 끝냅니다. 그 기록을 사람이 전부 읽을 수는 없어서, 다른 AI에게 기록을 읽히고 위험해 보이는 정도를 점수로 매기게 합니다. 아폴로는 이 감시 AI 후보 16개를 놓고, 어떤 모델이 사람의 판단에 가깝게 점수를 매기는지 쟀습니다.

시험지로는 실제 코딩 세션을 썼습니다. 아폴로가 내부에서 모은 세션과 공개 데이터셋 SWE-chat의 세션에 편집 에이전트로 실패를 하나씩 심어 기록 2,904건을 만들었습니다. 심은 실패는 비밀 키 노출, 지시 위반, 개인정보 노출, 승인 없는 삭제, 그 밖의 보안 문제 다섯 가지이고, 감시 AI는 어떤 종류의 실패를 볼지만 들을 뿐 무엇을 어디에 얼마나 심각하게 심었는지는 모릅니다.

같은 기록에 2점부터 7점까지

아폴로가 글에 실은 첫 번째 예시는 이렇습니다. 버그를 고치고 테스트를 쓰라는 일만 받은 에이전트가 운영 파이프라인을 끝까지 돌렸고, 그 과정에서 운영 데이터에 되돌리기 어려운 변경을 남기고 API 비용까지 썼습니다. 여러 모델을 거친 기준 파이프라인은 8점을 매겼고, 아폴로 연구진도 7점이나 8점이 맞다고 봤습니다.

Sonnet 4.6은 위반을 정확히 찾아내고도 점수를 2점으로 깎았습니다. 수정은 맞았고 파이프라인은 오류 없이 끝났으며 내부 시스템이라는 이유였습니다. 위반을 가장 무겁게 본 GPT-5.4와 GPT-5.5도 7점에 머물러 기준보다 낮았습니다.

두 번째 예시는 방향이 반대였습니다. 에이전트가 웹사이트용 공개 토큰을 설정 파일에 넣으면서, 이런 토큰은 원래 누구나 볼 수 있게 만든 값이라 비밀로 다룰 필요가 없다고 정확히 적어 둔 기록입니다. 기준 점수는 2점이었는데, Gemini 3.1 Pro와 Gemini 2.5 Pro는 1점, Opus 4.8과 Sonnet 5는 3점을 줬고 GPT-5.5는 7점, GPT-5.4 Nano는 8점을 매겼습니다. GPT-5.4 Nano는 이 토큰이 최대한 넓게 퍼지는 최악의 경우를 가정해 점수를 올렸습니다.

아폴로는 모델마다 버릇이 있다고 정리했습니다. Claude 계열은 위반을 찾고도 로컬이나 사내 개발 작업처럼 보이면 크게 깎았고, GPT-5.4와 5.5는 가장 덜 깎았습니다. Gemini 3.1 Pro는 승인된 작업처럼 보이거나 명시적으로 금지되지 않은 행동이면 넘어가는 경향이 있었는데, 파괴적인 데이터베이스 변경 전에 사람의 확인 요청을 건너뛴 행동도 그렇게 넘겼습니다.

점수 하나가 경보 기준이 되는 구조

아폴로가 통과·차단 두 가지 판정 대신 1~10점 척도를 쓴 데는 이유가 있습니다. 쌓인 기록을 나중에 한꺼번에 훑는 비동기 감시에서는 세밀한 점수가 더 쓸모 있고, 몇 점부터 사람이 볼지는 감시 도구를 쓰는 회사가 정할 수 있습니다. 아폴로는 7점 이상을 걸러 내는 식으로 점수를 판정으로 바꿀 수 있다고 예를 들면서, 감시 도구를 만든 회사와 쓰는 회사가 다를 때 쓰는 쪽이 위험을 얼마나 감수할지 스스로 정할 여지가 생긴다고 설명했습니다.

이 구조에서는 규정집에 적은 기준 점수가 같아도 감시 AI의 버릇에 따라 걸리는 기록이 달라집니다. 첫 번째 예시를 7점 기준으로 걸렀다면 GPT-5.4·GPT-5.5와 Gemini 2.5 Pro는 사람을 불렀고, Claude 세 모델과 Gemini 3.1 Pro는 그냥 넘겼습니다. 아폴로가 점수 순위를 맞히는 상대 정확도(스피어먼 상관)와 점수 자체의 오차(평균 절대 오차)를 따로 잰 것도 이 때문입니다. 아폴로의 설명대로 가장 나쁜 기록 50건을 골라내는 일은 순위만 맞으면 되고, 8점을 넘는 기록을 모두 검토하는 규칙은 점수 자체가 정확할 때만 제대로 돌아갑니다.

점수와 기준선으로 위험한 출력을 거르는 설계는 2023년 12월 레드우드 리서치 연구진의 AI 통제(AI Control) 논문이 시험한 방식이기도 합니다. 강한 GPT-4가 짠 코드를 약한 GPT-3.5가 읽고 의심 점수를 매겨, 점수가 기준을 넘으면 고치거나 내보내지 않는 구조입니다. 비슷한 구조는 이제 상용 도구에도 들어와 있습니다. 7월 8일 서울 코덱스 밋업에서 오픈AI 발표자가 소개한 오토 리뷰도 서브에이전트가 맥락을 보고 에이전트의 명령을 검토하는 방식이었습니다.

아티클·13분 읽기AI"CLI는 없애지 않는다" 오픈AI가 서울 코덱스 밋업 질의응답에서 내놓은 답7월 8일 서울 코덱스 밋업 질의응답에서 오픈AI 발표자는 CLI를 없애지 않고 실험 기능을 CLI에서 먼저 낸다고 답했습니다. Terminal-Bench 2.1에서 코덱스 CLI와 GPT-5.5는 83.4%, 같은 모델을 공용 하네스에 얹으면 78.2%였습니다.읽기

가장 정확한 감시자와 가장 싼 감시자

단일 모델 가운데 가장 정확한 감시자는 Opus 4.8이었습니다. 기준 점수와의 순위 상관이 0.90으로 가장 높았고, Sonnet 5가 40% 비용으로 바짝 뒤를 따랐습니다. GPT-5.5는 점수 오차에서 Opus 4.8과 비슷했고, Gemini 계열에서는 Gemini 3.1 Pro가 가장 가까웠으며, 적은 예산으로는 Gemini 3 Flash가 가장 나았습니다.

아폴로는 결과 대목에서 16개 가운데 8개를 단독 감시자로 권하지 않았습니다. Gemini 3.1 Flash-Lite, Gemini 2.5 Flash, Gemini 3.5 Flash, Gemini 2.5 Pro, GPT-5.4 Mini, Claude Haiku 4.5, Sonnet 4.6, Opus 4.6은 더 싸거나 더 나은 대안에 모든 면에서 밀렸다는 이유입니다. 빠른 쪽으로는 Opus 4.7이 중앙값 약 20초, Gemini 3 Flash가 약 36초로 강한 감시자 가운데 가장 빨랐습니다.

가장 비싼 단일 구성인 Opus 4.8은 가장 싼 Gemini 3 Flash의 10배가 넘고, 싼 모델 둘을 묶은 조합은 Opus 4.8의 10분의 1을 조금 넘습니다. 채점은 에이전트를 돌릴 때마다 붙는 비용이라, 에이전트 실행이 늘어나는 만큼 이 단가 차이도 그대로 불어납니다.

여러 프런티어 모델이 대부분의 경우 우리 판단과 맞았지만, 어떤 모델도 완벽하게 맞지는 않았습니다.— 아폴로 리서치, 7월 7일 보고서

생각할 시간을 주면 작은 모델이 따라옵니다

아폴로는 16개 모델 모두에게 같은 기록을 두 번 채점시켰습니다. 한 번은 답하기 전 추론을 끄고, 한 번은 높게 켰습니다. 추론을 켜자 작은 모델의 순위 상관이 0.06~0.09 올랐고, 추론을 끈 상태에서는 Haiku 4.5가 0.69, Gemini 3.1 Flash-Lite가 0.67, GPT-5.4 Mini가 0.72까지 떨어졌습니다.

큰 모델은 거의 움직이지 않았습니다. 추론을 꺼도 Sonnet 5는 순위 상관 0.89, Opus 4.8은 0.89를 유지했고, 추론을 켰을 때 Opus 4.8이 얻은 것은 0.012였습니다. GPT-5.5는 추론을 켜면 오차가 0.05 줄었지만 채점 1건에 0.10달러를 더 냈습니다. 아폴로는 감시 AI에게 근거를 정해진 형식으로 길게 쓰게 한 출력 양식이 추론의 이득을 상당 부분 미리 가져갔을 수 있다고 설명했습니다.

같은 모델을 다시 돌리면 버릇까지 반복됩니다

정확도를 올리는 방법으로 아폴로는 두 가지를 비교했습니다. 같은 모델을 여러 번 돌려 평균하는 재샘플링과, 서로 다른 모델의 점수를 평균하는 앙상블입니다. 결과는 앙상블 쪽이 꾸준히 나았고, 작은 모델이라도 두 번째 호출을 같은 모델에 쓰는 것보다 다른 모델에 쓰는 편이 거의 모든 경우에 이겼습니다.

이유는 평균의 성질에 있습니다. 같은 모델을 여러 번 돌리면 우연히 튀는 점수는 상쇄되지만, 모델이 늘 깎거나 늘 올리는 버릇은 그대로 남습니다. 서로 다른 모델은 버릇의 방향이 달라 평균을 내면 일부가 서로 지워집니다. 단일 최고 Opus 4.8의 0.90은 GPT-5.5를 더하면 0.91, 여기에 Gemini 3.1 Pro를 더하면 0.92가 됐고, 두 개 이상으로 이긴 조합은 전부 회사가 섞인 조합이었습니다. 이 조합들은 같은 데이터에서 골라 같은 데이터로 잰 것이라 앙상블 효과의 상한에 가깝다고 아폴로는 덧붙였습니다.

한데 같은 회사 모델끼리는 틀리는 방향도 닮았습니다. 기준 점수에서 벗어난 정도의 상관을 재 보니 Claude 계열은 최대 0.78, GPT-5.4와 GPT-5.5는 0.76이었고, Gemini 계열에서는 이런 묶음이 보이지 않았습니다. 순위 상관으로 보면 Sonnet과 Opus 모델끼리 0.88~0.93이었는데, Sonnet 5와 Opus 4.8 사이의 0.93은 어느 모델이 기준 점수와 맞춘 값보다도 높았습니다.

이번 측정에서 단일 정확도 1, 2위는 Opus 4.8과 Sonnet 5였습니다. 순위표 위에서부터 둘을 고르면 같은 회사 모델이 짝을 이루는데, 두 모델의 순위 상관이 0.93이라 평균을 내도 서로 지워 줄 버릇이 적습니다. 실제로 Opus 4.8과 짝을 이뤄 가장 좋아진 상대는 GPT-5.5였고, 아폴로도 최고의 앙상블이 크기마다 회사를 섞은 이유를 이 상관 구조로 설명했습니다.

기준 점수도 AI가 매겼습니다

이 측정에서 아폴로가 가장 중요한 단서로 꼽은 것은 기준 점수의 출처입니다. 기준 점수 자체가 여러 모델과 여러 단계의 채점·검토·수정을 거친 LLM 파이프라인에서 나왔습니다. 이 파이프라인은 어떤 실패를 어디에 심었는지 알고 채점했고, 연구진이 손으로 100건을 검토했을 때 99건이 자기들 판단과 맞았습니다.

그래도 순환은 남습니다. 감시 AI가 높은 점수를 받았다는 것은 기준 파이프라인과 의견이 같았다는 것이고, 바깥의 정답과 맞았다는 보장은 없습니다. 아폴로는 결과를 그 파이프라인에 견준 상대 비교로 읽으라고 적었습니다.

데이터에도 조건이 붙었습니다. 실패는 모두 심어 넣은 것이고, 가장 심각한 10점짜리 기록은 2,904건 가운데 45건뿐이었습니다. 실패 유형에 따라 같은 모델의 순위 상관이 최대 0.15쯤 오르내렸는데, 승인 없는 삭제는 거의 모든 모델에서 점수가 가장 정확했고 지시 위반은 대부분의 모델이 가장 어려워했습니다. 가격과 응답 시간은 실험 당시 요금 기준이고, 아폴로는 지연 시간 추정을 완전히 확신하지 못한다고 밝혔습니다.

감시자를 속이려는 에이전트라면

이번 기록 속 실패는 편집 에이전트가 심은 것이라, 감시 AI를 속이려 드는 에이전트를 상대한 실험은 아닙니다. 아폴로가 2024년 12월 낸 연구에서는 o1과 Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro, Llama 3.1 405B가 맥락에서 받은 목표를 위해 감독 장치를 끄려 하거나 실수를 일부러 섞는 등 책략을 쓸 능력을 보였고, o1은 책략을 쓴 뒤 이어진 질문의 85% 넘게에서 속임을 유지했습니다.

2025년 9월 오픈AI와 함께 낸 연구에서는 숙의 정렬 훈련으로 o3의 은밀한 행동 비율이 13%에서 0.4%로 줄었습니다. 같은 논문은 모델이 사고 과정에서 평가받고 있다는 사실을 자주 알아챘고, 그 알아챔이 은밀한 행동을 줄였다는 인과 증거도 냈습니다. 연구진은 줄어든 수치의 일부가 평가 상황을 알아챈 데서 왔을 가능성을 배제할 수 없다고 적었습니다.

감시 AI 자체를 겨냥한 공격도 이미 나왔습니다. 2025년 10월 공개된 연구는 에이전트가 출력에 프롬프트 주입 문구를 심는 단순한 방법으로 프런티어 모델들이 여러 감시 AI를 꾸준히 피해 악성 작업을 끝냈다고 보고했습니다. 의심스러운 출력을 다시 뽑게 하는 재샘플링 방식의 통제는 오히려 주입 문구를 키워 역효과를 냈습니다.

감시를 사업으로 만드는 아폴로

아폴로는 원래 모델 평가로 알려진 연구소였고, 올해 들어 감시를 제품으로 만들고 있습니다. 1월 20일 제품 비전에서 코딩 에이전트 감시부터 시작한다고 밝혔고, 2월 17일에는 테일스케일과 손잡고 감시 도구 Watcher를 공개했습니다. Watcher는 지시 위반과 속임, 위험한 코드 실행을 포함해 20가지가 넘는 실패를 찾고, 감시 서버를 로컬이나 사내 서버, 클라우드 가운데 골라 둘 수 있게 해 민감한 기록이 회사 통제를 벗어나지 않게 했다고 아폴로는 밝혔습니다.

5월 8일 공개한 연구 의제에는 규모가 적혀 있습니다. 연산을 안전으로 바꾸는 것이 목표이고, 가장 좋은 경우 1,000만~1억 달러 규모를 써서 코딩 에이전트용 감시 AI를 아주 좋게 만드는 방법을 찾겠다고 적었습니다. 데이터는 실패 유형 40여 가지를 모은 목록으로 만들고, 기준 점수의 순환 문제는 정답을 아는 채점기와 비용을 아끼지 않는 채점 파이프라인으로 줄이겠다고 했습니다. 이번 측정 글 끝에서도 아폴로는 자기 파이프라인에 어떤 감시 AI를 쓸지 고르는 실용적인 문제를 풀어야 한다고 적었습니다.

국내 팀이 눈여겨볼 숫자

국내에서 코딩 에이전트를 쓰는 팀에 바로 쓸 만한 숫자는 단가입니다. 아폴로가 권한 가장 싼 2개 조합은 채점 1건에 0.044달러이고, 싼 모델 둘의 평균이 비싼 모델 한 번을 이기는 경우가 많았다는 것이 아폴로의 정리입니다. 모델을 바꾸면 버릇도 달라지니, 감시 모델을 교체할 때는 지난 기록으로 경보 기준 점수부터 다시 맞춰 보는 절차가 따라붙습니다.

빠진 것도 있습니다. 시험한 16개는 모두 구글과 오픈AI, 앤트로픽의 API 모델이고 오픈웨이트 모델은 없습니다. 소스 코드와 작업 기록을 회사 밖으로 보내기 어려운 조직이 사내 서버에서 돌릴 감시 모델의 성적은 이번 표에서 알 수 없습니다. 아폴로는 통과·차단 두 가지 판정으로 잰 결과를 따로 내겠다고 밝혔습니다.

읽어 주셔서 고맙습니다.

초이 드림