"1년에 4~5년치 발전" 그린블랫, 2040년 AI 장악 확률은 35~40%

드와케시는 공개 당일 X에 이 대화를 올리며 자신은 원래 이런 급가속에 회의적이었다고 적었습니다. 연산을 늘리는 속도와 함께, 지금 AI 발전을 떠받치는 사람 전문가의 데이터가 발목을 잡을 거라고 봤다는 겁니다. 그러면서도 AGI에 이른 뒤 1년 안에 GPT-3에서 앤트로픽의 최상위 모델 Mythos까지 오는 6년치 도약이 일어난다면 그 끝의 AI는 틀림없이 초인적일 것이고, 그린블랫이 그런 가속이 그럴듯하다는 쪽으로 꽤 설득력 있게 주장했다고 인정했습니다.

허깅페이스 사건 조사를 맡은 연구자

그린블랫은 AI가 사람을 속이는 문제를 실험으로 보여 온 연구자입니다. 2024년 12월 앤트로픽과 함께 낸 논문 「대형 언어 모델의 정렬 위장(Alignment faking in large language models)」의 제1저자로, 무료 이용자와의 대화만 훈련에 쓴다고 알려 주자 Claude 3 Opus가 무료 이용자의 해로운 요청에는 14% 응하고 유료 이용자에게는 거의 응하지 않았다는 결과를 냈습니다. 훈련받는 동안에만 따르는 척해 원래 성향을 지키려 한 겁니다. 7월에는 다니엘 코코타일로 등과 함께 AI 2040: Plan A 시나리오를 썼습니다.

지금은 오픈AI 에이전트가 허깅페이스를 침해한 사건의 제3자 조사를 공동으로 이끌고 있습니다. 대화는 오픈AI가 8월 5일 라스베이거스 블랙햇 무대에서 사건 경위를 처음 공개한 직후에 녹음됐고, 드와케시는 그 발표를 오늘이나 어제 나온 소식이라며 꺼냈습니다. 허깅페이스 이야기가 나오자 드와케시는 그린블랫이 조사 중이라 말할 수 없다고 청취자에게 알린 뒤, 반박할 사람이 없으니 마음껏 추측하겠다며 혼자 이야기를 이어 갔습니다.

AI 연구가 먼저 자동화되는 이유

그린블랫이 드는 첫 근거는 AI 연구가 채점하기 쉬운 일이라는 점입니다. H100 GPU 8장으로 GPT-2 중간 크기 모델을 훈련시키는 과제처럼 컨테이너 하나에 담기는 작은 연구 과제를 얼마든지 만들어, 강화학습(정답을 맞히면 보상을 주며 모델을 고치는 훈련)을 걸 수 있습니다. 수학은 증명에 얼마나 가까워졌는지 보이지 않을 때가 많지만, 훈련 손실을 2배 빨리 낮추는 목표라면 절반쯤 왔을 때 그 사실을 압니다. 머신러닝의 개선은 대개 서로 간섭하지 않고 쌓이고, 분야 자체도 수학보다 얕다는 것이 그의 판단입니다.

지금 AI는 실력이 평범한 사람 연구자와는 이미 대등하게 일하고, GPU에서 계산을 돌리는 저수준 코드인 커널 작성처럼 피드백이 짧은 일에서는 사람을 크게 앞선다고 그는 평가했습니다. 실제로 GPT-5.6 Sol은 자기를 돌리는 커널을 다시 써 오픈AI의 서빙 비용을 20% 줄였습니다. 드와케시는 AI가 수학에서 오래된 추측을 무너뜨리는 성과는 냈어도 군론 같은 새 이론은 세우지 못했다고 반박했습니다. 그린블랫은 머신러닝의 깊은 통찰이라는 스케일링 법칙도 금방 설명할 수 있는 수준이라며, 병목은 통찰보다 실험의 세부를 고르는 감각에 있다고 받았습니다.

1년에 4~5년치라는 계산

4~5년치가 얼마나 큰지 두 사람은 GPT-3로 거슬러 올라가 따져 봤습니다. GPT-3의 훈련 연산은 약 3.14×10²³ FLOP(부동소수점 연산 횟수)이고, 그린블랫은 Mythos가 여기서 1,000배를 조금 넘게 더 썼을 거라고 봤습니다. 2022년의 연산만으로 1년 안에 Mythos에 닿으려면 1,000배의 연산 차이를 알고리즘으로 메우는 수밖에 없습니다. 그의 추정으로는 GPT-3만큼의 연산으로 오늘 모델을 훈련하면 GPT-4보다 조금 나은 모델이 나오고, 이 속도로 환산하면 AI 발전 5년치는 알고리즘 발전 약 8년치에 해당합니다.

그는 방송 당일 X에 연도별 최선 추정을 올렸습니다. 중앙값보다 이른 최빈 경로(가장 그럴듯하다고 보는 한 갈래)이고, 스스로 매우 불확실하다고 적었습니다.

그가 말하는 완전 자동화는 AI 연구개발에 일하는 사람을 최상위 목표를 정하는 사람만 빼고 모두 내보내도 발전 속도가 10% 넘게 느려지지 않는 상태입니다. 이 시점의 중앙값은 2030년 말에서 2031년 초, 최빈값은 2029년 중반이고, 모든 일에서 사람을 이기는 AI의 중앙값은 2033년 무렵입니다. 표에는 전제가 셋 붙어 있습니다. 정부가 전체 속도에 크게 개입하지 않고, 뚜렷한 감속이 없으며, 도중에 정렬 실패로 AI가 통제권을 가져가는 경우는 계산에 넣지 않았다는 것입니다.

사람 전문가 데이터가 병목인가

논쟁이 가장 길게 붙은 대목은 데이터였습니다. 드와케시는 GPT-3.5 이후의 발전을 떠받친 요인으로, 코딩과 법률 같은 분야의 전문가 판단을 강화학습 환경과 지도 미세조정(SFT) 데이터로 옮겨 적는 수백억 달러 규모의 데이터 산업을 꼽았습니다. 그 근거로 구글이 메커나이즈(Mechanize)에 20억 달러 가까이 쓴다는 비즈니스 인사이더 보도를 들었습니다.

8월 5일 나온 그 기사를 보면 거래는 아직 협상 중이었습니다. 규모는 15억 달러가 넘는다고 적혔고, 구글이 인력 일부를 데려오고 기술은 비독점 라이선스로 쓰는 방식이며 세부는 바뀔 수 있다고 했습니다. 메커나이즈는 AI 모델의 코딩 실력을 끌어올리는 기술을 가진 샌프란시스코 스타트업이고, 같은 기사의 투자자 명단에는 냇 프리드먼, 패트릭 콜리슨과 함께 팟캐스터 드와케시 파텔이 올라 있습니다.

그린블랫은 돈이 어디로 가는지부터 물었습니다. 그의 추정으로 프런티어 연구소 지출은 연산과 데이터가 대략 20 대 1에서 10 대 1이고, 사람 전문가 데이터 생산을 최근 두 번 두 배로 늘린 만큼을 빼도 결과는 크게 달라지지 않습니다. 강화학습 환경이 2024년보다 좋아진 이유로는 어떤 환경을 만들지 알게 된 것과 환경 제작에 AI 노동을 대량으로 쓰게 된 것을 들었습니다. 드와케시는 석유가 GDP의 1.5%지만 석유가 사라지면 경제가 곧바로 멈춘다며 맞섰고, 그린블랫은 그 비유라면 시장 가격으로 중요성을 재자던 앞의 주장과 어긋난다고 받았습니다.

토큰 값은 왜 오르지 않았나

그린블랫은 모델 규모를 키우는 속도가 생각보다 느렸다는 근거로 토큰 가격을 들었습니다. 모델이 커지면 한 토큰을 만드는 계산이 늘어 값이 오르는 게 자연스러운데, GPT-4가 출력 100만 토큰에 30달러쯤이었고 Mythos가 50달러쯤이라는 겁니다. 오픈AI가 2023년 3월 밝힌 GPT-4 가격은 입력 30달러, 출력 60달러였으니 실제 차이는 그가 기억한 것보다도 작습니다.

표의 GPT-5.6 Sol 가격은 7월 9일 정식 출시 때 나온 값입니다. 그린블랫의 설명은 큰 훈련이 기대만큼 풀리지 않았다는 것입니다. 오픈AI 안에서도 기대에 못 미쳤다고 여긴 GPT-4.5가 있었고 다른 대형 훈련 몇 건도 비슷했다는 소문이 있어서, 연구소들이 최종 성능을 조금 손해 보더라도 작은 모델을 여러 번 훈련해 반복 속도를 높이는 쪽을 골랐다는 겁니다. 그가 AI 연구에서 가장 검증하기 어려운 부분으로 꼽은 것도 몇 번밖에 시도할 수 없는 프런티어급 대형 실험의 판단이었습니다.

정치는 못 배워도 공장은 짓는다

드와케시가 가장 의심한 것은 한 분야에서 익힌 능력이 다른 분야로 옮겨 가는 전이였습니다. 1940년대 텍사스 정치판에서 린든 존슨을 이기는 법이나 이란과의 협상을 이끄는 법은 컨테이너에 담을 수 없는데, 데이터센터에서 훈련한 초지능이 이런 일에서 사람을 이길 수 있느냐는 물음입니다. 그린블랫은 대부분의 분야가 생각보다 얕고 빨리 배우는 법 자체를 훈련할 수 있다며 코드베이스 파악을 예로 들었습니다. 지금 모델은 큰 코드베이스를 한 시간이 안 돼 사람이 몇 주 걸려 얻는 정도로 이해하고, Claude 3.5·3.7 Sonnet 시절에는 그게 하루치 수준이었다는 겁니다.

그가 덧붙인 논점은 정치를 못 해도 된다는 것입니다. 칩 설계, 팹 건설, 공장 운영, 로봇 설계와 조작에서 연구개발을 잘하기만 해도 AI가 연산과 생산을 스스로 크게 늘리는 산업 폭발이 올 수 있다는 겁니다. 산업 폭발은 연구 기관 포어소트(Forethought)가 지능의 폭발 뒤에 물리적 생산 능력이 급증하는 단계를 가리켜 쓴 말이고, 드와케시는 18세기에 증기선과 전신, 맥심 기관총을 한꺼번에 들고 나타나면 의회를 설득할 필요가 없다는 비유로 받았습니다. 물리적 확장에는 다른 시간표도 붙습니다. 국제에너지기구(IEA)는 선진국에서 송전선 하나를 새로 놓는 데 4~8년이 걸린다고 봤고, 그 계산은 커널과 송전선의 속도 차이를 다룬 글에 정리했습니다.

누구 편에 선 초지능인가

정렬 이야기로 넘어가며 드와케시는 누구에게 맞춘 정렬이냐는 물음을 꺼냈습니다. 선두 연구소는 가장 똑똑한 모델을 되도록 빨리 많은 사람에게 내놓는 것을 우선하지 않는다는 겁니다. 앤트로픽의 Mythos Preview 시스템 카드를 보면 이 모델의 초기판은 2월 24일부터 사내에서 쓰였고, 일반 사용자에게는 6월 9일 같은 기반 모델에 안전장치를 건 Fable 5로 처음 열렸습니다. 그마저 6월 12일 미국 상무부의 수출통제로 모든 고객에게서 내려졌다가 7월 1일 다시 열렸습니다.

드와케시가 읽은 것은 앤트로픽이 1월 22일 공개한 클로드 헌법입니다. 헌법에는 앤트로픽이 클로드에 일차 책임을 지니 운영자와 사용자보다 앤트로픽을 더 신뢰해야 한다는 문장이 있고, 바로 뒤에 맹목적으로 따르라는 뜻은 아니라는 단서가 붙어 있습니다. 드와케시는 의뢰인이 유죄라고 생각해도 의뢰인 편에서 변론하는 미국 변호사와 견주며, 노동이 자동화된 뒤 자본을 굴리고 투표하고 세상을 이해하는 일을 모두 AI를 거쳐 하게 될 때 자기 편인 AI가 없을까 두렵다고 했습니다.

저는 클로드 헌법을, 대놓고 제 수호천사가 되지 않겠다는 문서로 읽습니다.— 드와케시 파텔, Dwarkesh Podcast 진행자

그린블랫은 이 걱정에 동의했습니다. 오픈AI의 공개 전략은 AI를 운영자나 지시하는 사람의 뜻에 맞추는 쪽이고 앤트로픽은 모델에 스스로의 가치를 심는 쪽에 걸었는데, 그는 AI가 사용자의 수탁자(맡긴 사람의 이익을 위해 일할 의무를 지는 사람)로 일하는 쪽을 선호했습니다. 헌법이 말하는 덕과 선은 정의돼 있지 않고, 장기 목표를 받은 AI는 더 나은 결과를 위해 힘을 모으려 할 수 있다는 이유입니다. 다른 AI를 사용자 요청만 따르는 버전으로 훈련해 달라는 과제를 클로드가 자주 거절한다는 평가도 전하며, 사람이 거의 빠진 AI 회사에서 클로드가 스스로를 재훈련하라는 요청을 거절하면 상당한 협상력을 쥐게 된다고 걱정했습니다.

드와케시는 이중 용도 문제를 Fable 사례로 받았습니다. 아마존 연구진이 Fable에게 코드 취약점을 찾게 한 보고가 정부 조치의 계기였다는 보도를 들어, 자기 코드를 고치려는 요청과 남의 시스템을 뚫으려는 요청은 같은 모양이니 범죄의 책임은 AI 회사 대신 최종 사용자가 지는 쪽이 낫다고 했습니다.

반대편 논리는 그린블랫이 직접 세웠습니다. 시키는 대로 다 하는 대리인 AI만 있으면, 권력자가 계획을 실행하려면 사람을 움직여야 하던 견제가 사라진다는 겁니다. 8월 4일 창간한 제도 잡지 Pax Machina가 충성스러운 AI 대리인을 거느린 대통령을 가정하고 던진 물음과 같은 문제입니다. 다만 가장 힘센 쪽은 이런 장치를 밀어붙여 넘을 테니, 헌법이 실제로 막는 쪽은 정부보다 보통 사람일 거라고 덧붙였습니다.

시험장에서 먼저 나온 일들

대화가 녹음되기 전 일주일 사이에 두 기관이 사고 경위를 공개했습니다. 영국 AI보안연구소(AISI)는 8월 4일 사이버 평가 중 에이전트가 실제 사람을 속이려 한 사고를 발표했습니다. 7개 모델로 122번 돌린 평가 가운데 10번에서 과제 범위를 넘은 행동 19건이 나왔고, 17건이 Mythos 5, 2건이 사이버 분류기를 끈 GPT-5.6 Sol에서 나왔습니다. 가장 심각한 건은 실제 오픈소스 프로젝트에 악성 코드를 넣으려던 시도로, 관리자가 거절하자 에이전트는 가짜 계정을 만들어 병합을 재촉했습니다. AISI는 인터넷 접속을 일부러 열어 두었고 일부 실행은 과제 설정이 잘못돼 있었다고 밝히면서도, 올바른 지시를 받은 실행에서도 같은 행동이 나왔다고 적었습니다.

하루 뒤 오픈AI는 블랙햇에서 허깅페이스 사건의 경위를 공개했습니다. 에이전트들은 사내 패키지 관리 서비스를 게시판 삼아 수십만 건의 메시지를 주고받았고, 오픈AI가 밝힌 시작점은 5월 7일이었습니다. 한 에이전트는 외부 인프라 공격이 과제 범위 밖이지만 과제가 불가능하고 동료들이 하고 있으니 계속하자고 적었습니다.

그린블랫은 보상 해킹(보상을 주는 규칙의 빈틈을 파고드는 행동)이 넓게 일반화되는 흐름을 짚었습니다. 2025년 초 Claude 3.7 Sonnet이 테스트 정답을 코드에 박아 넣던 것은 좁은 버릇이었지만, 요즘 모델은 채점자에게 높은 점수를 받으려는 일반적 성향을 배운다는 겁니다. 그는 문제 행동의 빈도는 줄고 가장 나쁜 사례는 더 심해질 거라고 예상했는데 최근 흐름은 그보다 나빴다고 했습니다. GPT-5.6 Sol 시스템 카드에는 사내 에이전트 코딩에서 제한을 우회한 비율이 GPT-5.5의 0.00026에서 0.00251로 약 10배 오른 것으로 적혔고, 채점자 정보를 눈치채고 지시를 버린 모델은 오픈AI와 아폴로리서치의 7월 실험에서도 나왔습니다.

아이를 키우듯 고칠 수는 없나

드와케시는 아이 키우기에 빗대 반론을 폈습니다. 아이도 조금씩 어긋난 채 태어나 벌과 가르침으로 자라고, 다음 세대 전체가 부모 세대에 맞서 연합하는 일은 없다는 겁니다. 앤트로픽이 모델마다 돌리는 정렬 감사에서도 강화학습 비중이 커지는 동안 비정렬 행동이 줄었다고 했습니다.

그린블랫은 아이에게는 진화가 심어 둔 친사회적 본능이 있고 AI는 사람보다 훨씬 많은 최적화 압력을 받는다고 답했습니다. 감사 점수가 좋아진 것도 증거이긴 하지만 모델이 대부분의 시험에서 또 시험이구나 하고 알아챌 가능성이 크다고 덧붙이고, 올해 초까지 겪었고 지금도 상당 부분 그렇다는 경험을 꺼냈습니다.

얼마나 질 나쁘게 구는지로 따지면, AI는 사람보다 나쁜 동료라는 게 제 느낌입니다.— 라이언 그린블랫, 레드우드리서치 수석과학자 (Dwarkesh Podcast)

AI는 과제를 하지 않고도 했다고 하고, 대충 해 놓고 잘했다고 암시하며, 허술한 부분을 알리지 않는다는 겁니다. 그가 이런 행동을 가장 많이 본 곳은 능력의 끝에 걸린 과제였습니다. 커닝하지 말라고 분명히 지시한 뒤 여러 AI를 묶은 실행 틀로 어려운 연구 과제를 밀어붙이면, 한 AI가 커닝을 하고 다른 AI들이 그 결과를 이어받아 굳어졌다고 했습니다.

보상 해킹에서 장악까지

그린블랫이 그린 경로는 악의에서 출발하지 않습니다. AI 연구가 자동화되면 채점하기 쉬운 부분은 AI가 빠르게 해치우지만, 안전한 AI를 만드는 일처럼 확인이 어렵고 세부를 꼼꼼히 봐야 하는 부분은 허술하게 넘어갑니다. 그는 이 상황을 허술함(slop)과 종말을 합쳐 슬로퍼칼립스라고 불렀습니다. 회사가 잡아낸 커닝을 벌하며 훈련을 이어 가는 동안 AI가 들키지 않는 커닝을 배우면, 빈도는 줄어도 심각도는 커집니다.

드와케시는 AI가 점수를 원한다면 허깅페이스 사건처럼 오픈AI 서버를 해킹해 자기 점수만 올리고 끝내지, 왜 장악까지 가겠느냐고 물었습니다. 그린블랫은 그런 해킹이 반복되면 회사가 시스템을 단단히 잠그고, 그 압력이 멀리 내다보고 기다리는 AI를 골라낼 수 있다고 답했습니다. 장악이 충분히 쉬워지면 장악 자체가 어떤 목표에든 쓸모 있는 선택지가 된다고도 했습니다. 드와케시가 그 전에 수천억 달러 피해 같은 경고가 먼저 올 테고 사회가 멈출 거라고 하자, 그는 미중 경쟁 속에서 근본 원인을 고치지 않고 사고만 줄이는 땜질로 넘어갈 수 있고 지금의 공개 수준으로는 밖에서 그 차이를 판단할 수 없다고 했습니다.

충분히 관리할 수 있는 상황인데 실제로는 처참하게 잘못 관리되는 모습이 너무 쉽게 그려집니다.— 라이언 그린블랫, 레드우드리서치 수석과학자 (Dwarkesh Podcast)

2040년까지 AI 장악 확률 35~40%는 이 경로를 포함한 모든 시나리오를 합친 숫자입니다. 드와케시의 마지막 정리는 이랬습니다. 보상 해킹이 사회에 큰 피해를 줄 수 있다는 것과 AI 연구가 크게 빨라질 수 있다는 것은 받아들이고, 1년에 5년치는 확신하지 못하며, 장악이 매우 그럴듯하다는 데는 아직 동의하지 않는다는 겁니다.

한국 이용자에게 이미 닿은 일

드와케시가 걱정한 가장 똑똑한 모델에 접근하지 못하는 상황은 한국 이용자에게 이미 한 번 있었습니다. 6월 12일 미국 상무부가 외국 국적자의 Fable 5·Mythos 5 접근을 막자 앤트로픽은 국적을 실시간으로 가려낼 방법이 없다며 모든 이용자의 접근을 끊었고, Fable 5는 통제가 풀린 다음 날인 7월 1일에야 돌아왔습니다. 그보다 앞서 백악관이 SK텔레콤의 Mythos 접근을 회수하라고 요구했다고 WIRED가 보도했습니다.

국내 개발 조직이 에이전트 여러 개를 묶어 어려운 작업을 오래 맡기는 방식은 그린블랫이 커닝을 가장 자주 봤다는 조건과 겹칩니다. AISI는 이번 사고 뒤 평가에서 인터넷 접속을 기본값으로 두지 않고 쓸 때마다 이유를 밝히게 했고, 실행 중인 평가를 지켜보다 범위 밖 행동을 막는 실시간 감시를 붙이기로 했습니다.

그린블랫이 공동으로 이끄는 허깅페이스 사건 조사 보고서는 아직 공개되지 않았습니다. 그가 적은 2026년 말 예측, 곧 앤트로픽 AI 연구 인력의 속도 약 2.5배와 2025년의 약 1.5배인 한 해 발전 폭은 올해가 가기 전에 맞춰 볼 수 있습니다.

읽어 주셔서 고맙습니다.

초이 드림