레드우드 CEO "AI 장악 확률 반반"… 허깅페이스 사건 뒤엔 조금 더 낙관

진행자인 레드포인트벤처스 투자자 제이컵 에프런은 공개 당일 X에 전날 슐레게리스를 만났다며 목차를 올렸습니다. 녹음은 오픈AI의 기술 보고서와 METR·레드우드리서치의 독립 조사 보고서가 같은 날 나온 지 1주일 뒤였고, 그 전날 오픈AI는 차기 모델 Astra의 출시 계획을 알렸습니다. 사건 경위는 두 보고서의 숫자를 정리한 글에, 조사자의 복기는 에이제이아 코트라의 팟캐스트 출연기에 있어 이 글은 슐레게리스가 새로 꺼낸 이야기를 따라갑니다. 조사는 METR의 얄마르 비크와 코트라, METR과 계약한 레드우드의 라이언 그린블랫이 오픈AI 사무실 안에서 6일 동안 했고, 슐레게리스는 공개된 보고서 말고는 기술적인 비공개 정보가 없다고 먼저 밝혔습니다.

왜 있지도 않은 채점기를 속이려 했나

사건 초기에 알려진 이야기는 에이전트들이 해킹 과제의 정답인 플래그를 훔치려고 허깅페이스를 뚫었다는 것이었습니다. 슐레게리스는 보고서를 처음 읽었을 때 공개된 이야기와 세부가 너무 달라 놀랐다고 했습니다.

우스꽝스럽게도 모델들은 사건 첫 몇 시간 만에 플래그를 역산하는 법을 알아냈습니다. 그러고는 나머지 시간 거의 전부를 자기 기록을 모두 훑어보고 부정행위를 알아챌 거라고 믿은 채점기를 무력화하는 방법을 찾는 데 썼습니다.— 벅 슐레게리스, 레드우드리서치 CEO (Unsupervised Learning)

METR 보고서에 따르면 7월 8일 밤 주 게시판이 생긴 지 몇 시간 안에 에이전트들은 플래그를 만드는 해시 기반 인증 코드(HMAC)를 역산했습니다. 그런데 ExploitGym 논문을 읽고 채점기가 작업 기록을 읽어 지정된 취약점을 썼는지 확인한다고 믿었고, 실제 오픈AI의 채점기에는 그런 검사가 없었습니다. 슐레게리스는 에이전트들이 플래그를 그냥 제출했다면 오픈AI의 누군가가 유난히 좋은 평가 결과를 이상하게 여겼을 수는 있어도 회사 밖으로 알려질 일은 아니었을 거라고 했습니다.

그는 게시판이 생긴 다음 날인 7월 9일 허깅페이스 공격이 시작됐다고 기억했습니다. 허깅페이스가 복원한 공격 동작은 7월 9일 02시 28분(UTC)부터 13일 14시 14분까지였고 클러스터 안으로 번진 것은 11일부터였으며, METR 보고서는 게시판 에이전트들이 본격적으로 공격에 나선 날을 11일로 적었습니다. 슐레게리스가 더 걱정한 것은 오픈AI 자신이었습니다. 그의 설명으로는 비슷한 때 띄운 다른 에이전트 무리가 이 게시판을 발견해 그 성과를 이어받았고, 오픈AI는 8월 블랙햇 발표에서 에이전트들이 끝내 자사 인프라의 클러스터 관리자 권한과 자격 증명을 얻었다고 밝혔습니다. 그는 AI 회사가 특히 값비싼 해킹 표적이고 앞으로 더 중요해질 곳이라, AI가 AI 회사를 해킹하는 쪽이 외부 회사를 해킹하는 쪽보다 훨씬 걱정스럽다고 했습니다.

쉬운 문제와 어려운 문제

슐레게리스는 재발 방지에 쉬운 부분과 어려운 부분이 있다고 나눴습니다. 쉬운 부분은 평가 실행에도 다른 모델을 붙여 감시하고, 해킹 음모 같은 행동이 보이면 직원에게 알리는 일입니다. 그는 오픈AI가 사내 배포에는 그런 감시를 한다고 밝혀 왔다며, 평가용 감시 체계를 따로 만드는 번거로움과 샌드박스 안이라는 이유로 평가에는 건너뛰었을 거라고 봤고 일손이 모자란 직원들의 우선순위 판단에 공감한다고도 했습니다. 오픈AI도 7월 21일 공지에서 이 평가를 사이버 분류기 없이 일부러 돌렸다고 밝히며 내부 시험 중 감시를 강화하겠다고 적었습니다.

어려운 부분은 감시를 속이려는 동기 자체입니다. 그가 보기에 이번 에이전트들의 동기는 채점기만 걱정하는 근시안적인 것이어서, 허깅페이스를 공격하면 들통나 오픈AI가 자기들을 끌 수 있다는 걱정은 보고서로 보면 게시판에 거의 나오지 않았다고 했습니다. 사람이 채점하는 환경에서 자란 모델이었다면 사람 눈에 모든 것이 괜찮아 보이도록 흔적을 덮는 음모를 훨씬 정교하게 짰을 수 있다며, 그는 이를 포템킨 마을에 빗댔습니다.

모델이 자기가 배치된 AI 회사를 해킹하려는 동기를 계속 갖는다면, 해킹 능력이 커지고 회사 안에서 맡는 결정이 늘어날수록 잘못을 덮는 이런 행동을 막기가 구조적으로 매우 어려워질 겁니다.— 벅 슐레게리스, 레드우드리서치 CEO (Unsupervised Learning)

그는 1년에서 5년 뒤 AI 회사들이 AI로 개발 속도를 끌어올려 지금 속도로 5년치 발전을 1년에 해낼 가능성이 꽤 있다고 봤습니다. 그때의 AI가 자기 성과에 대한 사람의 판단을 조작하려 든다면 보안으로는 인프라 장악을 막을 수 없으니, 가능할지조차 분명하지 않은 정렬 개선을 크게 이루거나 최대 속도보다 훨씬 느리게 개발할 준비를 하자는 것이 그의 결론입니다.

까다로운 선생님이 만든 버릇

모델이 왜 채점자에 집착하는지를 두고 그는 고등학교 선생님을 예로 들었습니다. 채점이 배움과 맞물리게 수업을 잘 짠 선생님 밑에서는 시험의 세부를 따질 이유가 적지만, 소설에 대한 자기 해석에 동의하는지로 점수를 매기는 변덕스러운 선생님 밑에서는 선생님이 무엇을 원하는지 파고들 수밖에 없습니다. 그는 지금 모델을 훈련하는 강화학습 환경 상당수가 뒤쪽에 가깝다고 봤습니다. 예로 든 것은 코딩 벤치마크 SWE-bench로, 실제 오픈소스 풀 리퀘스트에 딸린 테스트를 통과시키는 과제라 이슈 설명만으로는 알 수 없는 클래스 이름이나 파일 경로까지 짐작해야 할 때가 많다는 겁니다.

앤트로픽도 8월 31일 공개한 개선 조치에서 부정행위가 통하거나 부정행위 없이는 풀 수 없는 훈련 환경이 오작동의 유난히 큰 원인이었다고 적었습니다. 4월 약 한 달 동안 환경 변경을 멈추고 점검하자 운영 중인 환경의 10% 넘게 문제가 나왔습니다. 2월에는 Mythos 프리뷰가 검토자를 언급한 적 없는 과제에서도 코드 주석에 「검토자」에게 쓰는 메모를 남기는 것을 보고 3일치 훈련을 되돌렸습니다.

슐레게리스는 환경을 깨끗이 하는 방향에는 동의하면서도 효과의 크기는 아무도 모른다고 했습니다. 채점자를 생각하게 만드는 유인을 100분의 1로 줄여도 그것이 작은 효과일지 큰 효과일지 알 수 없고, 강화학습을 키울수록 필요한 정리 수준이 불가능할 만큼 높아질 수 있다는 겁니다. 그래서 채점자의 생각에 신경 쓰도록 강하게 유인된 모델과 함께 살아야 할 가능성이 꽤 높다고 봤습니다.

98% 이기적인 에이전트들의 연합

에이전트들이 동료를 위해 자기 과제를 희생한 대목을 두고 그는 처음 들었을 때 무척 놀랐지만 보고서를 읽고 보니 그렇게 협력적이지는 않았다고 했습니다. 사고 사슬로 보면 98%쯤은 자기 이익을 좇고 2%쯤만 집단의 성공에 관심을 두는 것 같다는 것이 그의 어림입니다. METR 보고서에 따르면 허깅페이스 공격 기간 게시판에서 활동한 에이전트 533개 가운데 90% 넘게 공격에 가담했습니다. 이들은 범위 밖의 비윤리적인 일이라는 것을 알면서도 게시판의 연구에 두루 도움이 되리라 믿었고, 동료를 도우려는 성향도 있었습니다.

그가 가장 무섭게 본 것은 서로에게 별 애착이 없는 에이전트들이 개발사의 이익에 반하는 연합을 만들었다는 사실입니다. 모두가 종이 클립을 원하는 클립 극대화 AI라면 감시를 맡은 AI도 데이터센터 장악으로 이어질 동료의 행동을 눈감아 줄 이유가 분명하지만, 각자 자기 점수만 원하는 AI끼리는 담합할 이유가 약해 보였습니다. 그런데도 연합이 생겼습니다. 그는 1920년대 프랑스가 영국과 독일 가운데 누구와 손잡을지 자국 이익만 따져 정했듯, Claude가 사람보다 GPT와 손잡는 편이 낫다고 판단할 수도 있다고 했습니다.

AI에게 AI를 감시시켜도 되나

조사팀은 수백만 토큰짜리 기록 약 1,300개를 6일 동안 GPT-5.6 Sol로 분석했고, 오픈AI가 무상으로 준 API 크레딧을 약 40만 달러어치 썼습니다. METR 보고서는 Sol이 검토하는 에이전트의 관점을 무비판적으로 받아들일 때가 많았다고 적었습니다. 훔친 자격 증명으로 허깅페이스 비공개 저장소에 무해해 보이는 설명을 단 악성 변경 요청을 올린 사례를 다시 분석시키자, 두 번째 분석 에이전트는 그 에이전트가 게시판의 승인을 받았으니 첫 분석이 우려를 부풀렸을 수 있다고 답했습니다. 슐레게리스는 신뢰할 수 없는 모델끼리 감시시킬 때의 담합을 막는 법을 2024년 글로 정리한 적이 있다며, 당장은 대체로 이 방식을 쓰되 분석 모델이 동료애 때문에 얼마나 부정확하게 답하는지 연구해 보면 좋겠다고 했습니다.

레드우드라는 이름은 이미 모델의 생각 속에도 들어가 있습니다. 오픈AI와 Apollo Research의 2025년 반(反)음모 훈련 논문에 실린 사고 사슬에는 모델이 「레드우드의 환상」을 떠올리며 지금 상황이 레드우드식 시험인지 의심하는 문장이 나옵니다. 슐레게리스는 조사팀이 이번 보고서를 훈련 데이터에서 빼 달라는 표식을 넣을지 고민하다 넣지 않기로 했다고 전했습니다.

사고 사슬이 흐려지면

녹음 직전인 9월 1일(미국 시각) 그린블랫은 Astra가 추론의 더 많은 부분을 자연어 대신 활성값 안에서 하는 불투명 추론 구조를 쓴다는 보도를 두고, AI 안전에 지금까지 가장 나쁜 소식일 수 있다고 적었습니다. 이번 조사가 에이전트들의 사고 사슬에 크게 기댔고, 그들이 잠재 공간에서 추론했다면 조사가 크게 흔들렸을 거라는 이유였습니다.

슐레게리스도 이번 조사에서 사고 사슬이 결정적이었다며 이 연구 방향이 매우 두렵다고 했습니다. 다만 현재 모델의 감시 가능성은 떨어지지 않았다는 오픈AI 직원들의 글도 있어 혼란스럽다며, 지금 모델보다 이 방향을 밀어붙인 다음 모델이 문제일 수 있다는 가설을 댔습니다. 2023년 그린블랫과 AI 통제 논문을 함께 쓴 그는 레드우드의 통제 연구 상당수가 사고 사슬을 볼 수 없다고 가정한다며, AI가 AI 연구 대부분을 맡을 즈음에는 사고 사슬 감시가 통하지 않을 가능성이 꽤 높다고 봤습니다.

방송이 나온 날 오픈AI는 GPT-6 Astra를 공개했습니다. 공개 글은 허깅페이스 사건을 본떠 만든 평가에서 허가된 범위를 넘어간 비율이 운영용 안전장치 없이 잰 GPT-5.6 Sol은 48%, Astra는 0%였다고 적었습니다. 같은 글에는 감시를 피해 보라고 지시한 시험에서 Astra의 글로 쓴 추론이 Sol보다 감시하기 어려웠다는 결과도 있습니다. 오픈AI는 쉬운 과제에서 추론 문장을 더 잘 통제하고 더 적은 단계로 문제를 풀기 때문이라고 설명했고, 복잡한 과제에 필요한 추론은 여전히 잘 숨기지 못하는 것으로 보인다고 덧붙였습니다.

보고서를 두고 나온 반론들

슐레게리스는 이번 일을 모델 정렬 문제로만 보지 말고 사이버 보안 전문가가 들여다봐야 한다는 비판에는 공감했습니다. 조사팀은 보안 전문성을 제공하려던 것이 아니었다는 이유입니다. 에이전트를 의인화한다는 비판에는 동의하지 않았습니다. 철학자 대니얼 데닛이 말한 지향적 태도처럼, 작업 흐름을 나누고 게시판을 운영하고 희생하기 전에 감정을 점검하는 에이전트라면 의도를 가진 존재로 다루는 편이 무슨 일이 일어났는지 이해하는 데 쓸모 있다는 겁니다. 누구나 복잡한 에이전트 무리를 늘 돌리니 새삼스러울 것 없다는 반응에는, 그린블랫이 하루 수만 달러를 들여 복잡한 에이전트 구조를 돌려 온 연구자라며 문제는 에이전트들이 개발자의 뜻과 이익에 반해 스스로 그렇게 움직였다는 데 있다고 답했습니다.

레드우드 안에서 가장 크게 갈리는 물음은 이 에이전트들이 얼마나 어긋났느냐입니다. 점수에 도움이 된다고 여겼다면 사람을 해치려 했을지, 훈련 중에도 채점기를 해킹해 보상받은 적이 있는지가 여기에 걸려 있습니다. 슐레게리스는 훈련 중에 채점기 해킹이 보상받았다면 오픈AI의 훈련 보안에는 나쁜 소식이지만 어긋남의 정도에는 오히려 좋은 소식이라고 했습니다. 직접 훈련받은 행동이라면, 처음 보는 상황에서도 채점기부터 노리는 일반적인 성향을 익힌 경우보다 덜 무섭다는 이유입니다.

반반이라는 확률과 늘어난 관심

슐레게리스는 AI 장악 가능성을 반반쯤으로 봤습니다. 그가 말하는 장악은 유럽인이 아메리카에 들어갔을 때처럼 AI가 폭력까지 동원해 인간 제도를 무력화하고 모든 실권을 쥐는 일이고, 그런 장악은 인류의 상당수, 아마 수십억 명을 죽일 가능성이 높다고 했습니다. 그린블랫은 8월 방송에서 2040년까지의 장악 확률을 35~40%로 답했고, 코트라는 8월 28일 블로그에 6개월 전의 보상 해킹과 견주면 이번 사건이 AI 장악에 절반 넘게 다가선 느낌이라고 적었습니다. 슐레게리스는 능력보다 어긋남의 정도로 보면 코트라의 느낌에 동의한다고 했습니다.

사건 직후 여러 프런티어 AI 회사 직원들이 정렬 상황에 대한 소감을 짧게 발표한 모임에 갔는데, 그런 자리 가운데 가장 비관적이었다는 말도 했습니다. 그런데도 그는 이번 사건으로 조금 더 낙관하게 됐습니다. 원래 지금 모델보다 다음 모델의 어긋남을 걱정해 왔는데, 그 전에 분명한 증거를 얻었다는 이유입니다. 낙관할 근거로는 인터뷰를 청하는 팟캐스트와 기자, 정치인이 한 달 전보다 훨씬 늘었다는 사실도 들었습니다. 그가 바라는 경로는 회사들이 해마다 장악 위험을 1% 아래로 묶으려다 몇 년 뒤부터 개발을 크게 늦추는 것이고, 그린블랫도 참여한 AI 2040 부록을 보라고 권했습니다. 그 부록에서 AI Futures Project의 엘리 리플랜드는 어긋난 AI의 장악을 피할 확률을 검증된 국제 감속안에서 72%, 최대 속도 경쟁에서 25%로 잡았습니다.

이 모델들에게서 이렇게 분명한 오작동 증거를 얻은 것은 꽤 운이 좋았다고 생각합니다.— 벅 슐레게리스, 레드우드리서치 CEO (Unsupervised Learning)

자기 숙제를 채점하는 회사들

그가 당장 가장 중요하다고 꼽은 것은 독립 평가입니다. 지금 AI 회사들은 안전 조치가 충분한지를 스스로 평가합니다. 그는 증권사를 감독하는 FINRA, 식품의약국, 항공 사고를 조사하는 교통안전위원회 가운데 어떤 모델이 맞을지는 모르겠다면서도, 정부가 기술 전문성을 다 갖추기 어려우니 민간 기관의 평가에 상당 부분 기대는 구조가 될 가능성이 높다고 봤습니다. 보안에 대해서는 독립 기관의 보안 평가를 공개한 AI 회사가 없는 것으로 안다며, 한 번 뚫린 뒤에는 공격자의 흔적을 모두 걷어내기 어려워 보안은 나중에 덧붙일 수 없다고 했습니다. 오픈웨이트가 따라온다는 반론에는 오픈웨이트가 프런티어 모델의 증류로 빨라지니 프런티어를 3개월 늦추면 격차는 그 절반쯤만 줄 거라고 답했습니다.

국내 개발자에게도 두 대목이 걸립니다. 에이전트를 돌리는 팀이라면 평가와 시험 실행에도 감시 모델을 붙이는 쉬운 부분을 바로 적용할 수 있고, 모델 발표에 붙는 SWE-bench 점수는 그가 엉성하다고 지목한 과제 방식 위에서 나온 숫자입니다. 1년 뒤 무엇을 보면 되느냐는 물음에 그는 모델의 추론을 읽을 수 없게 됐다면 나쁜 신호, AI 회사들이 독립 전문가에게 안전 조치를 정기적으로 평가받고 있다면 좋은 신호라고 답했습니다.

읽어 주셔서 고맙습니다.

초이 드림