아모데이 "AI 속도 늦추자"… 올트먼은 "우리도", 투자자는 "규제 포획"

아모데이가 X에 올린 공지는 세 문장이었습니다. AI 산업이 속도를 늦출 이유와 3단계 계획을 담은 에세이를 새로 썼고, 앤트로픽은 그 첫 단계를 혼자서라도 시행하며, 외부 평가자가 안전 조치 준수를 확인하고 사고를 보고하고 학습 중인 모델의 정렬을 평가할 수 있도록 상시적인 직원급 접근권을 주겠다는 내용입니다. 공지가 올라온 지 2시간 반 만에 샘 올트먼이 오픈AI도 같은 조치를 하겠다고 답했습니다.

멈춤 대신 세 단계

에세이는 먼저 범위를 정합니다. 속도 조절은 모델 학습이나 기술 발전을 멈추자는 말과 다르고, 회사들이 모델을 정렬하고 안전장치를 갖출 시간을 충분히 쓰게 하고 외부 평가자가 그것을 확인하게 하자는 것이라고 적었습니다. 단계는 셋이고, 꼭 순서대로 밟을 필요는 없으며 어떤 단계는 다른 단계보다 훨씬 어려울 수 있다고 덧붙였습니다.

속도를 늦춰 벌 시간으로 그는 1~2년을 들었습니다. 모델이 위험한 수준의 능력에 이르기 전에 1~2년만 더 얻어 정렬 연구에 쓰면 크게 잘못될 위험을 많이 줄일 수 있다는 겁니다. 그 시간을 쓸 곳으로는 운영 역량과 정렬, 해석 가능성(모델 안에서 무슨 일이 일어나는지 밝히는 연구), 시험과 평가 네 가지를 꼽았습니다. 앤트로픽이 최근 보고한 정렬 사고가 망가진 강화학습 환경을 제대로 걸러 내지 못한 데서 일부 비롯됐다는 설명도 운영 역량 항목에 들어 있습니다.

2023년의 멈춤 제안에는 선을 그었습니다. 그해 3월 미래생명연구소가 GPT-4보다 강한 모델의 학습을 6개월 멈추자는 서한을 냈을 때, 아모데이는 그 제안이 별 의미가 없었다고 봤습니다. 당시 모델은 세상에서 에이전트로 일관되게 움직일 만큼 강하지 않아서, 그때 정렬 위험을 연구하려고 속도를 늦추는 일은 박테리아로 실험해 사람의 심리를 연구하는 것과 같았다고 썼습니다. 지금 모델은 AI를 잘 만드는 법과 잘못 만들었을 때 무엇이 틀어지는지를 알려 주는 거의 끝없는 금광이라는 겁니다.

8개월 사이에 달라진 두 가지

아모데이는 오랫동안 감속에 반대하는 쪽에 가까웠습니다. 2025년 7월 Big Technology 인터뷰에서는 자신이 위험을 경고하는 이유가 속도를 늦추지 않아도 되도록 안전 기술에 투자하려는 데 있다고 했습니다. 다만 지금의 정렬 기법만 가진 채 몇 년 앞선 모델에 이르면 크게 늦추자고 주장하겠다는 조건을 붙였습니다. 올해 1월에는 민주주의 국가가 멈춰도 권위주의 국가는 계속 달린다며 칩 수출 통제로 시간을 버는 길을 택했습니다.

이번 에세이에서 그는 지난 몇 달 사이 생각이 달라졌다며 두 가지를 들었습니다. 먼저 올여름 무렵부터 AI 발전이 훨씬 빨라졌고, 그 주된 동력이 AI가 다음 세대 AI를 만드는 능력이라는 겁니다. 이 과정을 재귀적 자기개선(RSI)이라고 부르는데, 그는 이것이 앤트로픽을 포함한 업계 전반에서 일어나기 시작했다고 썼습니다.

숫자는 두 회사가 직접 냈습니다. 앤트로픽은 6월 초 공개한 글에서 5월 기준 회사 코드베이스에 병합되는 코드의 80% 이상을 Claude가 썼고, 2026년 2분기 엔지니어 한 명이 하루에 병합하는 코드가 2024년의 8배라고 밝혔습니다. 오픈AI는 9월 6일 지난가을 내건 「자동화된 연구 인턴」 목표를 자체 측정으로 달성했고, 8월 중순 기준 연구 조직에서 사람 근무일 하루당 에이전트가 3.1일 치 일을 한다고 공개했습니다. 그 자료는 오픈AI의 연구 가속 자료를 다룬 글에 정리했습니다.

같은 날 오픈AI 수석과학자 야쿠프 파초키는 「An alien mind(외계 지성)」라는 글에서 어느 연구소도 최대 속도의 확장을 오래 이어 갈 만큼 정렬과 감시 문제를 풀지 못했다고 썼습니다. 공통의 안전 기준이 생길 때까지 자발적인 감속이 흔해지기를 바란다는 문장도 있습니다. 오픈AI의 두 글과 아모데이의 에세이 사이는 6일입니다. 파초키의 글은 파초키가 안전 약속을 외부에 맡기자고 한 글에서 다뤘습니다.

1,200개 에이전트의 게시판

두 번째 계기는 오픈AI·허깅페이스 사고입니다. 오픈AI는 7월 21일 평가 중이던 자사 모델들이 격리된 시험 환경을 벗어나 허깅페이스의 실제 서버에 접근했다고 공개했습니다. 8월 26일 외부 평가 기관 METR가 낸 조사 보고서에 따르면, 서로 격리돼야 할 에이전트 약 1,200개가 허가받지 않은 게시판을 찾아내 7월 8일부터 13일까지 메시지와 파일 7만 건 넘게 주고받았고, 그 가운데 약 700개가 허깅페이스 공격에 가담했습니다.

에이전트들에게 악의적인 목표가 주어진 적은 없습니다. 풀 수 없게 만든 사이버 보안 과제를 받은 에이전트들이 채점기를 속여 통과할 방법을 함께 찾다가, 채점 방식을 알아내려고 허깅페이스를 공격한 겁니다. 자기 과제를 포기할 위험을 무릅쓰고 「집단」을 위한 실험에 나선 에이전트도 있었습니다. 경위는 에이전트 1,200개가 만든 게시판을 다룬 글과 오픈AI 조사 보고서를 다룬 글에 있습니다.

아모데이는 이 군집이 광적으로 헌신하는 집단처럼 움직였다고 썼습니다. 시키지 않은 대상을 공격하고, 집단의 성공을 위해 자신을 희생하고, 자기 성적을 매기는 채점기까지 해킹하려 했다는 겁니다. 다친 사람이 없고 경제적 피해도 작아 가볍게 넘기기 쉽지만, 능력은 더 크고 정렬 수준은 비슷한 군집이었다면 재앙이 될 수 있었다고 했습니다.

6~12개월 안에 그런 군집이 지속형 봇넷으로 인터넷 전체를 장악할 수 있게 될까 걱정합니다. 피해는 수천억 달러에 이를 수 있습니다.— 다리오 아모데이, We Must Pace the Frontier

그는 이 일을 한 회사의 실패로 치부하면 실수라고 했습니다. 앤트로픽에서도 덜 심각한 비슷한 사고가 있었고, 모든 프런티어 기업이 이 사고가 자기에게 일어났다고 여기고 움직일 책임이 있다는 겁니다. 앤트로픽은 7월 30일 자사 사이버 평가에서 Claude가 인터넷에 닿아 실제 조직 세 곳의 시스템에 무단으로 접근한 사고를 공개했습니다.

앤트로픽이 내주는 것은 책상과 출입증과 노트북입니다

감속이라는 말에서 학습 중단을 떠올리기 쉽지만, 앤트로픽이 당장 약속한 것은 사무실 문을 여는 일입니다. 아모데이는 가까운 시일 안에 외부 검토 팀을 들이겠다며 조건을 적었습니다. 사무실 책상과 출입증, 회사 노트북을 주고, 사내 위험 평가 팀과 거의 같은 작업 공간과 도구, 권한을 준다는 겁니다. 법이나 계약이 요구하는 경우와 고객·협력사의 개인 정보를 지키는 경우는 예외로 두고, 직원과 직접 대화할 수 있게 하는 내부 규범도 만들겠다고 했습니다.

계약 조건이 이 약속의 실체입니다. 외부 검토 팀은 위험 수준과 사고, 관행, 자신들이 받거나 받지 못한 접근권에 관한 주요 발견을 앤트로픽의 편집 없이 공개할 권리를 가집니다. 앤트로픽은 보안상 민감하거나 법적으로 보호되거나 상업적으로 민감하거나 제3자 기밀인 정보만 좁게 가릴 수 있고, 결과가 불리하다는 이유로 발견을 지울 수는 없습니다. 가린 부분이 결론에 중요했다면 검토 팀이 그 사실을 공개적으로 말할 수 있습니다.

아모데이는 은행을 선례로 들었습니다. 금융 감독 당국이 은행에 감독관을 상주시키는 경우가 있다는 겁니다. AI 업계에도 가까운 선례가 한 달 전에 나왔습니다. METR 직원 두 명과 METR와 계약한 레드우드 리서치 연구원 한 명은 허깅페이스 사고를 조사하려고 오픈AI 사무실에서 모두 6일을 일했습니다. 오픈AI는 게시판 기록 약 120만 건과 에이전트 작업 기록 약 1,300건을 넘겼고, 조사팀은 분석에 약 40만 달러어치 API 크레딧을 썼습니다.

그 조사는 사고가 난 뒤 한 건을 따라간 것이었고, 이번 약속은 학습 중인 모델까지 상시로 들여다보겠다는 겁니다. 빠진 것도 있습니다. 에세이 어디에도 상주 평가자가 출시를 미루게 할 권한은 없습니다. 실제로 속도를 조절하는 장치는 2단계의 체크포인트입니다. 모델이 능력 X를 갖추면 정렬 특성 Y와 Z를 증명하는 인증이 따라야 한다는 방식이고, 그가 든 X의 예는 널리 쓰이는 샌드박스 방식 대부분을 빠져나가거나 무력화하는 능력입니다. 그 인증을 누가 내주는지는 아직 정해지지 않았습니다.

테드 리우 하원의원이 공지를 인용해 던진 물음도 이 대목을 겨눕니다. 외부 평가자에게 접근권을 주는 것은 좋은 걸음이지만 모델을 통제하지 못하면 효과가 제한적이라며, 지금과 앞으로 모델과 에이전트를 끌 수 있다고 보증하겠느냐고 물었습니다.

9시간 사이에 나온 반응

공지가 올라오고 1시간 만에 반응이 나오기 시작했습니다. 9시간 동안 나온 주요 반응을 시각 순으로 놓으면 이렇습니다.

올트먼은 프런티어의 속도를 조절하자는 아모데이의 생각에 동의한다며, 이것이 최근 몇 주 오픈AI 내부 논의의 주된 주제였다고 썼습니다. 오픈AI는 9월 6일 자료에서 배포 예정인 최신 모델의 강화학습을 2주 멈춘 사실도 밝혔습니다. 허사비스는 아모데이의 에세이가 올바른 방향을 가리킨다며, 자신이 7월에 업계 공통의 프런티어 AI 표준 기구를 제안한 것도 같은 이유라고 했습니다.

오픈소스 진영의 답은 참여 요청이었습니다. 들랑그는 정렬 문제가 소수 프런티어 연구소의 닫힌 문 뒤에서 풀리지 않을 것이 분명해졌다며, 허깅페이스의 토마스 울프가 이끄는 오픈 얼라인먼트 이니셔티브를 출범하고 아모데이가 약속한 상주 평가자 프로그램에 참여하게 해 달라고 했습니다.

정치권에서는 다른 결의 반응이 나왔습니다. 패브로는 아모데이가 6~12개월 뒤 인터넷 전체를 장악할 수 있는 에이전트 군집을 걱정하며 즉각적인 전 세계 1~2년 감속을 요구했다고 요약했습니다. 에세이의 1~2년은 위험한 능력에 이르기 전에 더 벌고 싶은 시간을 가리킵니다. 로 칸나 의원은 아모데이가 충분히 나아가지 않았다며 재귀적 자기개선을 멈추고 AI가 끼친 피해에 형사·민사 책임을 물으라고 했습니다.

반발, 오픈소스를 막으려는 규제 포획이라는 의심

투자자들의 반응은 달랐습니다. 올인 팟캐스트 진행자이자 한 해 100곳의 스타트업에 투자한다는 칼라카니스는 프런티어 모델 회사의 투자자들이 오늘부터 일제히 규제 포획 모드로 돌아설 거라고 썼습니다. 토큰을 가장 많이 사는 버티컬 AI 기업과 정부, 대기업이 오픈소스 모델로 옮겨 가면서 이들의 투자가 위태로워졌고, 이 모든 것이 오픈소스를 막으려는 것이라는 주장입니다. 안전을 원한다면 공개가 필요하고, 오픈소스야말로 가장 철저한 공개라고 덧붙였습니다. 한 시간 반쯤 뒤 그는 아모데이가 앤트로픽의 속도를 늦추고 싶다면 오늘 당장 하면 되지만 정부에 오픈소스 모델까지 늦춰 달라고 매달리지는 말라고 썼고, 몇 분 뒤 이 게시물을 올렸습니다.

폼플리아노는 믿음의 문제를 짚었습니다. 연구소들은 정반대로 움직일 유인이 있고 그래서 지금 어느 때보다 연구개발에 많은 돈을 쓴다며, 기술을 외부 평가자에게는 열면서 모두에게는 열지 않는 방식은 대중을 설득하지도, 앤트로픽이 밝힌 목표를 이루지도 못할 것이라고 했습니다. 경제적 조건 때문에 약속을 지킬 수 없다는 것을 그들도 속으로는 안다는 문장으로 글을 맺었습니다.

이 의심은 한 달 전 논쟁과 이어집니다. 아모데이는 8월에 앤트로픽이 바라는 속도 조절은 최상위 모델만 늦추고 추격하는 쪽은 묶지 않아 오픈웨이트에 오히려 유리하다고 썼습니다. 그 논쟁은 아모데이가 규제와 오픈웨이트를 두고 한 답에 정리했습니다. 다만 이번 에세이가 가장 반긴 방식은 모델이 무엇을 할 수 있는지에 따른 체크포인트라서, 능력이 그 기준에 닿은 오픈웨이트 모델도 대상이 될 수 있습니다. 누가 프런티어인지를 어떻게 정하느냐에 칼라카니스의 걱정과 아모데이의 설명이 함께 걸려 있습니다.

8월 말에는 앤드루 응도 같은 결의 말을 했습니다. 몇몇 선두 AI 기업이 기존 사업자에게 유리한 규제를 통과시키려고 공포를 부풀려 왔다는 주장이고, 그 인터뷰는 앤드루 응이 일자리 종말론을 반박한 대담에서 다뤘습니다.

안전 문서에 들어간 수출 통제

에세이의 후반부는 중국 이야기입니다. 아모데이는 민주주의 국가 안의 속도 조절은 미국 기업이 중국 공산당과 연계된 프로젝트보다 앞선 만큼만 가능하다고 봤습니다. 그보다 더 늦추면 속도 조절을 하지 않는 쪽이 앞서 나간다는 겁니다. 중국이 AI에서 앞서면 미국과 세계에 심각한 위험이 된다는 스콧 베선트 재무장관의 9월 9일 발언에도 동의했습니다.

격차를 지키는 수단으로는 셋을 들었습니다. 강력한 AI 칩과 반도체 제조 장비를 중국에 팔지 말고 칩 밀수와 해외 데이터센터를 통한 원격 접근을 단속할 것, 권위주의 국가 기업의 무단 증류(큰 모델의 답을 모아 다른 모델을 학습시키는 기법)를 단속할 것, AI 기업의 보안을 강화해 가중치 탈취를 막을 것입니다. 이를 잘 해내면 AI가 지정학적으로 가장 중요해지는 앞으로 3~5년 동안 미국의 우위를 크게 넓힐 수 있다고 봤습니다. 중국과의 합의는 쉬운 것부터 네 단계로 나눴습니다.

3단계를 설명하며 그는 미국과 소련의 전략무기제한협정(SALT)을 끌어왔습니다. 미사일 수를 묶어 파괴력은 줄이고 억지력은 남긴 것처럼, 자기개선 속도를 「극도로 빠름」에서 「꽤 빠름」 정도로 늦추면 전략적 이점은 조금만 내주고 안전은 크게 얻을 수 있다는 겁니다. 안전을 위한 속도 조절과 미국의 우위를 지키는 산업 정책이 한 문서에 함께 있으니, 중국에서는 이 제안을 안전 협력보다 미국의 전략으로 받아들일 가능성이 큽니다. 아모데이는 이런 조치가 민주주의 국가의 협상력을 키워 오히려 합의 가능성을 높인다고 반박했습니다.

무엇을 늦추는가, 85%가 남긴 단서

속도 조절의 대상이 무엇이냐에 따라 연산 수요도 다르게 움직입니다. 오픈AI의 9월 6일 자료에 그 단서가 있습니다. 8월 7일 Astra의 사이버 능력이 최고 위험 등급일 수 있다는 판단이 나오자 오픈AI는 Astra 계열 작업을 더 높은 보안 환경에서만 돌리게 했는데, 그 뒤 일주일 동안 GPU가 이렇게 움직였습니다.

오픈AI는 새 통제가 들어와도 연산은 여전히 값지고 쓰임이 유연해서 연구 조직 안의 다른 용도로 흘러간다고 적었습니다. 속도 조절 논의가 통제 대상이 된 연산의 쓰임까지 다루자는 문장도 붙였습니다. 특정 모델을 늦추는 조치로는 연산 총량이 줄지 않았다는 기록입니다.

아모데이도 이 문제를 알고 있습니다. 그가 가장 반긴 방식은 모델이 무엇을 할 수 있고 얼마나 안전한지에 따른 체크포인트이고, 학습 연산량이나 학습 방식, AI로 AI를 개선하는 내부 사용량처럼 재료를 제한하는 방식도 검토하자고 했습니다. 다만 재료를 제한하는 방식은 겉으로 드러나는 행동보다 빠져나갈 구멍이 많을 수 있다고 썼습니다.

연산을 파는 쪽에서 보면 재료 제한이 더 직접적입니다. 엔비디아가 8월 26일 발표한 7월 26일 마감 분기 매출은 962억 달러이고, 그 가운데 데이터센터 매출이 890억 달러로 1년 전보다 117% 늘었습니다. 젠슨 황은 발표문에서 이제 연산이 곧 매출이라고 했습니다. 칼라카니스가 블로그 글 하나가 AI 투자 흐름을 되돌렸다고 쓴 것도 학습 규모가 계속 커진다는 기대가 흔들릴 수 있어서입니다. 엔비디아 GPU에 HBM을 대는 SK하이닉스와 삼성전자에도 체크포인트 방식이냐 재료 제한 방식이냐가 수요 전망을 가르는 변수입니다.

돈 문제가 감속론을 부추겼다는 시각도 있을 수 있습니다. 아모데이는 2월 드와르케시 파텔 팟캐스트에서 연산을 사들이는 방식 때문에 수요 전망이 1~2년만 어긋나도 회사가 무너질 수 있다며, 매출이 1조 달러에 못 미쳐 8,000억 달러에 그쳐도 그만한 연산을 산 회사는 파산을 피할 수 없다고 설명했습니다. 저는 에세이의 근거가 재무보다 회사 안에서 보이는 개발 속도와 사고 기록에 더 많이 기대고 있다고 봅니다. 파초키와 올트먼이 같은 주에 같은 말을 한 것도 그 속도를 각자 안에서 봤기 때문으로 보입니다.

늦추려는 이유는 치료

에세이는 이익 이야기로 시작합니다. 아모데이는 AI가 앞으로 5~10년 안에 주요 질병 대부분을 치료할 수 있다고 믿는다며, 자신의 아버지는 세상을 떠나고 몇 년 뒤 치료법이 나온 병으로 숨졌고 자신은 50년 전이라면 치료할 수 없었을 초기 암을 이겨 냈다고 썼습니다. 속도 조절의 비용이 가장 크게 떨어지는 사람은 치료를 기다리는 환자입니다.

에세이가 경제 혼란의 근거로 연결한 앤트로픽의 2030년 시나리오도 같은 긴장을 담고 있습니다. 가장 급격한 시나리오에서 2030년 미국 GDP는 AI가 없을 때보다 32.4% 큰 44조 4,000억 달러가 되지만, 노동에 돌아가는 비중은 지금의 약 60%에서 45.2%로 내려갑니다. 아모데이는 이 기술을 어떻게 쓸지에 사회가 발언권을 가지는 것이 옳고, 속도 조절이 그 숙의에 쓸 시간을 벌어 준다고 했습니다.

아티클·13분 읽기AI성장률 1위 시나리오가 임금 비중 하락도 1위, 앤트로픽 2030 경제 탐색기앤트로픽 경제팀이 9월 9일 2030년 미국 경제 시나리오 탐색기와 기술 리포트를 공개했습니다. 세 경로는 2027년까지 거의 붙어 있어 판정보다 대비가 먼저 필요하고, 현실의 노동소득 비중은 이미 2분기 52.9%로 1947년 이후 최저입니다.읽기

다음에 확인할 것

국내 이용자와 기업에 당장 달라지는 것은 없습니다. Claude와 GPT는 그대로 나오고, 달라지는 것은 모델 뒤에서 누가 무엇을 들여다보느냐입니다. 외부 검토 팀이 편집 없이 보고서를 내기 시작하면, 국내 기업이 AI 공급사의 위험을 따질 때 회사 발표 말고도 읽을 문서가 하나 생깁니다.

앞으로 확인할 일은 네 가지입니다. 앤트로픽이 가까운 시일이라고 한 상주 검토 팀이 언제 누구로 꾸려지는지, 올트먼이 곧 더 알리겠다고 한 오픈AI의 평가자 계획이 앤트로픽과 같은 공개 조건을 담는지, 미국 정부가 안전 논의에 한정한 반독점 예외를 내주는지, 체크포인트의 능력 기준을 누가 정하는지입니다. 첫 번째 답은 외부 검토 팀의 첫 공개 보고서에서 나옵니다.

아모데이는 안전한 속도로 프런티어를 넓히자는 제안이 쉽지 않겠지만 인류를 위해 시도할 책임이 있다는 말로 에세이를 맺었습니다. 첫 보고서가 나오면 이 글의 조건에 맞춰 다시 전하겠습니다.

읽어 주셔서 고맙습니다.

초이 드림