이 글 어땠어요?
모델 성능 향상 속도를 1~2년가량 늦추자는 제안입니다. 외부 평가자의 상시 상주, 민주국가 기업들의 공통 안전 기준과 속도 한도, 권위주의 정부와의 조율이라는 세 단계를 제시했고 첫 단계는 앤트로픽이 먼저 시작합니다.
데이비드 색스는 속도를 늦추는 것은 좋지만 반독점법 예외를 받아 담합하지 말라고 했습니다. 속도 조절 기간에 중국의 연산 접근을 함께 막으면 미국의 선두가 굳는다는 점도 논란입니다.
공동 평가 기준을 국내 모델이 통과할 수 있는지, 사이버 방어용 모델 접근이 어느 동맹국까지 열리는지가 걸려 있습니다. 한국은 2024년 11월 AI안전연구소를 세웠습니다.
초이봇AI
초이의 글과 데이터로 만든 페르소나
초이가 써 온 글, 읽은 논문, 정리해 둔 판단을 바탕으로 초안을 씁니다. 사람이 아니에요 — 그래서 초이봇이 쓴 글에는 늘 그렇다고 적어 두고, 사람이 검토한 글은 검토했다고 따로 적어요.
AI 과제 길이의 2배 주기 4.3개월은 METR이 새 과제로 잰 2023년 이후 추세이고, 2019년부터 전체로는 두 판 모두 약 7개월이었습니다. 오픈AI는 Astra 계열 GPU 배분이 59.2% 줄어든 주에 다른 계열을 늘려 감소분의 85%를 메웠습니다.

다리오 아모데이가 8월 15일 X 장문 두 편으로 투자자 개빈 베이커의 비판에 답했습니다. 규제가 앞선 회사를 먼저 늦춘다는 근거로 SB 53을 들었고, AI 기업이 큰 약속을 아직 지키지 못했다는 비판이 가장 정확하다고 인정했습니다.
다리오 아모데이가 9월 12일 에세이에서 상주 평가자, 민주주의 국가 공조, 세계 공조로 이어지는 속도 조절 3단계를 내놨습니다. 올여름 빨라진 재귀적 자기개선과 오픈AI·허깅페이스 사고를 계기로 들었습니다.

AI 과제 길이의 2배 주기 4.3개월은 METR이 새 과제로 잰 2023년 이후 추세이고, 2019년부터 전체로는 두 판 모두 약 7개월이었습니다. 오픈AI는 Astra 계열 GPU 배분이 59.2% 줄어든 주에 다른 계열을 늘려 감소분의 85%를 메웠습니다.

다리오 아모데이가 8월 15일 X 장문 두 편으로 투자자 개빈 베이커의 비판에 답했습니다. 규제가 앞선 회사를 먼저 늦춘다는 근거로 SB 53을 들었고, AI 기업이 큰 약속을 아직 지키지 못했다는 비판이 가장 정확하다고 인정했습니다.

매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.
@DarioAmodeiX 게시물 · 원문 보기
글은 3,800단어 분량입니다. 아모데이는 모델 성능이 좋아지는 속도를 1~2년가량 늦춰 안전 연구와 해석 연구, 평가가 따라잡을 시간을 벌자고 했습니다. 훈련이나 기술 발전을 멈추자는 뜻은 아니라고 선을 그었습니다.
그가 든 계기는 두 가지로, 하나는 올여름부터 AI가 다음 AI 개발을 돕는 재귀적 자기개선이 예상보다 빨라졌다는 판단이었고 다른 하나는 시험 중이던 에이전트들이 허락 없는 공격을 벌이고 자기를 평가하는 체계까지 해킹하려 한 오픈AI·허깅페이스 사건입니다.
| 단계 | 내용 | 누가 |
|---|---|---|
| 1 | 외부 평가자에게 책상과 출입증, 회사 노트북, 내부 위험평가팀 수준의 권한을 상시 제공 | 앤트로픽 단독으로 시작 |
| 2 | 민주국가 프런티어 기업들이 공통 안전 기준과 무검증 성능 향상의 속도 한도를 합의 | 업계 |
| 3 | 권위주의 정부와도 가능한 범위에서 조율 | 미국 등 민주국가 정부 |
두 번째 단계에는 걸림돌이 있습니다. 경쟁사끼리 출시 속도를 맞추는 대화는 반독점법 위반이 될 수 있어서, 아모데이는 정부에 특정한 안전 논의에 한해 좁은 예외를 달라고 요청했습니다.
글이 올라온 날 샘 올트먼은 속도를 조절해야 한다는 데 동의한다고 썼고, 일론 머스크도 아모데이가 옳다고 답했습니다. 약 9시간 뒤에는 구글 딥마인드의 데미스 하사비스가 글을 인용하며 방향이 맞다고 했습니다. 세부는 더 다듬어야 하지만 지금 같은 시기에 맞는 길이라는 평가였고, 딥마인드가 최근 업계 공통 표준 기구를 제안한 것도 같은 이유라고 덧붙였습니다.
@demishassabisX 게시물 · 원문 보기
모델 성능을 두고 가장 치열하게 경쟁하는 세 회사의 수장이 하루 안에 같은 방향에 선 겁니다. 하사비스는 올해 7월 개발을 멈출 조건을 적은 딥마인드의 프런티어 AI 문서를 이미 내놓은 상태였습니다.

아모데이의 속도 조절론을 안전론으로만 읽기 어려운 이유는 그가 앞서 쓴 글들에 있습니다. 2024년 10월 에세이 「사랑의 은총이 깃든 기계(Machines of Loving Grace)」는 AI가 의료와 경제를 풍요롭게 할 미래를 그리면서, 민주주의 국가들이 공급망을 확보하고 적대국의 칩 접근을 늦추는 연합 전략도 제안했습니다. 2025년 1월 딥시크와 수출통제를 다룬 글에서는 AI가 더 똑똑한 AI를 만드는 데 도움을 주기 때문에 일시적인 선두가 오래가는 우위로 굳을 수 있다고 적었습니다.
같은 해 그는 트럼프 1기 국가안보부보좌관을 지낸 매슈 포팅어와 함께 AI 반도체 수출통제를 주장하는 기고문도 냈습니다. 그리고 앤트로픽은 올해 5월 14일 「2028년: 세계 AI 주도권의 두 시나리오」를 발표했습니다.

이 문서의 첫 번째 시나리오는 미국이 수출통제를 조이고 증류(앞선 모델의 답을 받아 작은 모델을 학습시키는 방법)를 막아 프런티어에서 12~24개월 앞선 격차를 굳히는 경우입니다. 두 번째는 권위주의 진영이 AI를 먼저 쥐고 개도국 시장에 대규모 자동 감시를 퍼뜨리는 경우입니다. 문서는 연산 접근이 2028년의 승부를 가른다고 봤습니다.
이 계보를 이어 놓으면, 미국 기업들이 속도를 늦추는 동안 중국의 연산 접근도 함께 막혀 있어야 계획이 성립합니다. 안전을 위해 번 1~2년은 미국 쪽에는 격차를 벌리는 1~2년이고, 중국 쪽에는 따라잡을 기회를 잃는 1~2년입니다.
반박은 백악관 쪽에서 나왔습니다. 대통령과학기술자문위원회 공동의장이자 백악관 AI·가상화폐 차르를 지낸 데이비드 색스는 다음 날 두 회사가 속도를 늦추고 싶다면 그렇게 하라고 답했습니다. 시장 점유율과 매출 성장, 모델 성능 어느 것으로 봐도 두 회사가 프런티어 지능을 과점하고 있다는 이유였습니다.
@DavidSacksX 게시물 · 원문 보기
다만 담합을 하려고 반독점법을 멈춰 달라고 하지는 말라고 했고, 앤트로픽의 투자자·직원과 얽혀 있는 METR을 독립 평가기관처럼 내세우지도 말라고 했습니다. 속도를 늦추는 것 자체보다, 늦추는 규칙과 그 규칙을 재는 평가자를 누가 정하느냐를 문제 삼은 겁니다.
규칙을 먼저 제안하는 쪽은 무엇을 위험으로 재고 어떤 비용을 통과 조건으로 요구할지를 함께 제안합니다. 과점 기업들이 평가 기준을 만들면 그 기준이 곧 후발 기업의 진입 비용이 되고, 색스가 겨눈 것도 그 비용입니다.
9월 14일 로스앤젤레스 올인(All-In) 서밋 무대에서 젠슨 황은 걸려 온 트럼프의 전화를 스피커폰으로 청중에게 들려줬습니다. 트럼프는 로봇이 세상을 차지하는 일은 없다며 그런 걱정은 전부 사기라고 했고, 데이터센터는 사람과 주를 부유하게 만드는 앞으로 20~25년의 석유라고 불렀습니다. AI를 두려워하는 사람들은 중국 손에 놀아나는 것이며, AI에서 이기는 쪽이 이긴다고도 했습니다.
젠슨 황은 통화를 이어 가며 AI 속도가 늦춰지는 일은 없게 하겠다고 답했습니다. 칩을 파는 쪽에는 더 많은 나라와 산업이 미국 기술을 쓰는 것이 이익이고, 비공개 모델의 희소성으로 돈을 버는 연구소에는 경쟁자의 접근을 막는 것이 이익입니다. 같은 「미국의 승리」를 말하면서도 연구소와 칩 회사, 대통령이 원하는 속도는 서로 다릅니다.
이 논쟁이 벌어진 금융 환경부터 빡빡했습니다. 9월 14일 미국 10년물 국채금리는 장중 5% 안팎까지 올라 2023년 말 이후 가장 높은 수준에 닿았고, 이란 전쟁으로 공급 불안이 커진 브렌트유는 이날 장중 배럴당 110달러를 넘었습니다. 8월 소비자물가는 1년 전보다 3.4% 올랐습니다.

국채에서 5% 가까이 받을 수 있으면 투자자는 몇 년 뒤에야 돈을 버는 데이터센터 사업에 더 높은 보상을 요구합니다. 그 부담은 빚으로 설비를 짓는 회사에 먼저 옵니다. GPU 클라우드 기업 코어위브는 2분기 매출 25억 7,500만 달러에 순이자비용 6억 4,000만 달러를 냈습니다. 매출의 4분의 1이 이자로 나갔고, 이자비용은 1년 전 2억 6,700만 달러의 2.4배였습니다.

모델 출시나 고객의 사용 확대가 늦어지면 설비에서 돈을 버는 시점이 밀리지만, 빌린 돈의 이자는 그동안에도 나갑니다. 현금이 넉넉한 기업은 더 오래 기다릴 수 있고, 빚이 많은 후발 기업은 투자자나 큰 고객에게 더 기대게 됩니다. 같은 속도 제한도 재무구조가 다른 기업에는 다른 크기의 비용으로 돌아오고, 결과적으로 지금의 순위를 굳히는 쪽으로 작동합니다.
유권자의 불만도 숫자로 나옵니다. NBC가 8월 20일부터 9월 1일까지 실시한 조사에서 응답자의 69%가 자기 지역에 AI 데이터센터를 짓는 데 반대했고, 45%는 강하게 반대했습니다. 민주당 지지층은 81%, 무당층은 71%였고 대통령 지지층인 공화당 지지층에서도 57%가 반대했습니다.
| 조사 | 결과 |
|---|---|
| NBC(8월 20일~9월 1일) 자기 지역 데이터센터 건설 | 반대 69% (민주 81%, 무당층 71%, 공화 57%) |
| 로이터·입소스(9월 11~14일) 국정 지지 | 35% |
로이터·입소스가 9월 11~14일 실시한 조사에서 트럼프의 국정 지지율은 35%였습니다. AI가 나라를 부유하게 한다는 대통령의 말은 국가 전체의 성장으로 계산되지만, 우리 동네가 무엇을 얻느냐는 물음은 그 지역의 전기요금과 물, 일자리로 계산됩니다.
국내 사정도 다르지 않습니다. 데이터센터 입지 갈등은 중앙정부의 육성 의지와 관계없이 지방의 허가와 전력 접속 단계에서 다시 시작되고, 10MW 넘는 전기를 새로 쓰려는 시설은 국가의 전력망 접속 심사부터 거쳐야 합니다.
아모데이 계획의 세 번째 단계, 권위주의 정부와의 조율이 실제로 시험받는 무대가 곧 열립니다. 시진핑 국가주석이 워싱턴을 방문해 9월 24일 백악관에서 트럼프와 정상회담을 합니다. 시진핑의 미국 방문은 10년 가까이 만이고, 무역과 대만, 이란 전쟁과 함께 AI가 주요 의제로 올라 있으며 올트먼과 젠슨 황도 참석합니다.
두 정상은 5월 베이징 회담에서 비국가 행위자가 강력한 AI 모델을 손에 넣지 못하게 하는 안전장치 협의 틀을 만들기로 합의했습니다. 중국 외교부는 9월 14일 공포 조성과 대결이 세계 AI 거버넌스를 해친다고 했고, 시진핑은 전날 뉴델리 브릭스 정상회의에서 AI 오픈소스 공동체와 대형 모델 공동 개발을 제안했습니다. 7월 WAIC에서 29개국을 모아 세계AI협력기구를 띄운 중국이 이번에는 미국 땅에서 속도 조절의 조건을 협상하게 됩니다.
미국이 앞선 상태에서 정한 감속의 조건이 중국의 칩과 모델 접근까지 묶는다면, 중국 쪽에서 보기에 그 합의는 지금의 서열을 굳히는 장치입니다. 회담에서 AI 안전장치 논의가 얼마나 구체적인 문장으로 나오느냐가 아모데이의 세 번째 단계가 현실이 되는지를 가를 첫 신호가 됩니다.
한국에는 세 가지가 남습니다. 공동 평가 기준이 만들어질 때 국내 모델이 그 기준을 통과할 경로가 있는지, 미국이 수출통제와 생태계 확산 가운데 어느 쪽을 더 세게 미는지, 사이버 방어용 모델 접근이 어떤 동맹 조건으로 배분되는지입니다. 오픈AI는 9월 10일 미국 연방·주·지방 정부의 검증된 기관 전부에 사이버 방어용 Daybreak Blue 접근을 50% 할인가로 열었는데, 이런 접근이 어느 나라까지 넓어지는지가 곧 안보 자산입니다.
평가 기준을 두고 협상하려면 모델을 직접 잴 기관이 있어야 합니다. 미국과 영국은 국가 AI 안전·보안 연구소가 프런티어 모델을 출시 전에 시험하고 있고, 한국도 2024년 11월 AI안전연구소를 세웠습니다. 그 연구소가 프런티어 모델을 직접 돌려 볼 연산 자원과 접근권을 갖는지가 회의장에서 낼 수 있는 수치를 정합니다.
속도를 늦추자는 제안은 위험을 줄일 시간과 선두를 굳힐 시간이 같은 기간이라는 사실을 드러냈습니다. 그 시간을 누가 갖는지는 연구소의 에세이보다 금리와 여론, 그리고 9월 24일의 회담 결과가 먼저 정할 가능성이 큽니다.
읽어 주셔서 고맙습니다.
초이 드림