투자자 "아모데이는 논쟁에서 졌다"… 아모데이 "규제냐 분산이냐는 잘못된 선택"

첫 글은 평소 소셜미디어에 시간을 많이 쓰지 않지만 이번 대화가 중요한 논쟁의 한가운데를 건드려서 답한다는 말로 시작합니다. 그는 실리콘밸리에서 통하는 「규제는 곧 규제 포획이고, 규제 포획은 곧 권력 집중」이라는 공식이 세상을 지나치게 단순하게 본다고 썼습니다. 규제 포획은 규제 기관이 오히려 규제받는 업계의 이익에 끌려가는 현상입니다. 글은 앤트로픽이 어떤 규제를 밀어 왔는지, 오픈웨이트가 왜 충분한 해법이 못 되는지, 워싱턴이 6개월 사이 어떻게 움직였는지로 이어집니다.

팟캐스트 한마디에서 장문 두 편까지 26시간

발단은 8월 14일(미국 시각) 공개된 올인(All-In) 팟캐스트의 한 대목입니다. 베이커는 믿을 만한 여러 사람에게서 아모데이가 언젠가 앤트로픽이 세상에 남은 유일한 민간 회사가 될 수도 있다고 말했다는 이야기를 들었다고 했습니다. 앤트로픽과 정부만 남는 그림이라는 설명도 붙였습니다. 공동 진행자 데이비드 색스는 너무 오만하게 들려서 나쁜 신호로 받아들이겠다며, 조금 SBF 같은 분위기가 난다고 받았습니다. SBF는 고객 자금을 빼돌린 혐의로 유죄 판결을 받은 암호화폐 거래소 FTX 창업자 샘 뱅크먼-프리드입니다.

몇 시간 뒤 앤트로픽 연구자 숄토 더글러스가 이 영상을 인용해 「완전히 거짓」이라고 썼습니다. 누가 그런 말을 전했든 사람들이 믿고 싶어 하는 이야기에 맞추려고 거짓말을 하고 있다며, 앤트로픽이 가장 걱정하는 것 가운데 하나가 오히려 경제력의 집중이고 정부가 어떤 회사에도 그만한 영향력을 허락해서는 안 된다고 했습니다. 근거로는 아모데이가 1월에 쓴 에세이에서 경제력 집중을 다룬 대목을 붙였습니다.

베이커는 더글러스에게 긴 답글을 달았습니다. 소문이 사실인지와 별개로 실리콘밸리의 진지한 사람 여럿이 이 이야기를 믿는 까닭은 그것이 아모데이의 공개 발언과 맞아떨어지기 때문이라고 했습니다. AI가 위험할 수 있다면 규제로 소수 기업과 정치인에게 몰아주든지 널리 나누든지 둘 중 하나라는 구도를 세웠고, 아모데이가 이 논쟁에서 졌다고 썼습니다. 곧 세계에서 가장 중요한 상장사 가운데 한 곳의 CEO가 될 사람이니 자기 산업을 더 긍정적으로 대변해 달라는 주문도 붙였습니다.

베이커는 투자사 아트레이디스 매니지먼트를 이끄는 투자자입니다. 그의 답글에는 앤트로픽을 뺀 주요 회사가 거의 다 젠슨 황의 서한에 서명했다는 문장도 들어 있었습니다.

앤트로픽이 빠진 서한, 아모데이가 서명한 성명

젠슨 황의 서한은 7월 24일 엔비디아와 마이크로소프트 등이 함께 낸 「오픈웨이트와 미국의 AI 리더십」입니다. 오픈웨이트는 학습으로 정해진 모델의 수치, 곧 가중치를 공개해 누구나 내려받아 고치고 자기 서버에서 돌릴 수 있게 한 모델입니다. 서한은 오픈 모델에 대한 섣부른 제한을 피해 프런티어를 여러 회사가 나눠 갖게 하자고 요구했고, 황은 X에 처음 올린 글로 이 서한을 공유했습니다.

마이크로소프트가 운영하는 서명 페이지에는 8월 5일 기준 273곳이 올라 있습니다. 오픈AI와 구글, 메타, 아마존, 마이크로소프트, 엔비디아가 들어 있고 앤트로픽은 없습니다. 베이커의 아트레이디스 매니지먼트도 명단에 있습니다.

반대쪽에도 명단이 있습니다. 7월 28일 프런티어 AI 기업 직원들이 「Pacing the Frontier(프런티어의 속도 조절)」라는 성명을 냈습니다. 선두 기업들이 AI 연구 자동화에 가까워졌다고 보는 지금, 어느 회사도 어느 나라도 혼자서는 속도를 늦추기 어려우니 미국 정부가 자동화된 AI 개발의 속도를 의도적으로 조절할 기술과 제도를 만드는 국제적 노력을 지원해 달라는 내용입니다. 1,122명으로 시작한 서명은 8월 12일 1,376명으로 늘었고, 아모데이도 이름을 올렸습니다.

두 명단은 회사 단위로 깔끔하게 갈리지 않습니다. 오픈AI는 회사 이름으로 오픈웨이트 서한에 서명했고, 같은 회사의 수석과학자는 속도 조절 성명에 이름을 올렸습니다. 아모데이가 첫 글에서 이 성명을 앤트로픽이 바라는 방식으로 시행하면 오픈웨이트를 포함한 추격자에게 유리하다고 쓴 것도 이 구도를 겨냥합니다.

「규제는 곧 권력 집중」이라는 공식

아모데이는 실리콘밸리 밖의 많은 사람은 규제를 기업의 권력을 묶고 보통 사람을 이롭게 하는 장치로 본다고 짚었습니다. 자신은 그 시각에도 꼭 동의하지 않으며, 규제가 무엇으로 이뤄졌느냐에 따라 다르다고 했습니다. 그는 법원을 비유로 들었습니다. 정식 재판은 답답하고 엘리트적으로 느껴질 때가 있지만, 군중 재판보다 약자의 권리를 훨씬 잘 지킵니다.

제도는 잘 작동할 때 권력을 사람 대신 원칙에 맡기고, 그렇게 해서 권력을 나눕니다.— 다리오 아모데이, 앤트로픽 CEO

반대편의 논리는 그보다 19일 앞서 앤드루 응이 한 줄로 적었습니다. 황이 허깅페이스 사고 때 닫힌 AI는 꼭 필요한 포렌식을 막았고 오픈웨이트 프런티어 모델이 침입을 막는 데 도움이 됐다고 쓰자, 응은 이 글을 인용해 닫힌 모델이 더 안전하다는 홍보를 그만 믿자며 그것은 규제 포획일 뿐이라고 했습니다. 허깅페이스 사고는 7월 평가 중이던 오픈AI 모델이 샌드박스를 빠져나가 허깅페이스 서버에 침입한 일입니다.

규제 비용은 누가 내는가

아모데이는 앤트로픽이 정책을 제안할 때마다 프런티어 기업은 늦추고 작은 경쟁사는 돕도록 짜려고 애써 왔다고 했습니다. 그가 근거로 든 것은 법 하나와 시험 절차 하나, 성명 하나입니다.

는 미국 상무부 산하의 AI 표준·혁신 센터입니다. 2024년의 SB 1047은 앤트로픽이 찬반을 정하지 못했던 법안인데, 이 법도 일정 규모 아래 회사를 뺐지만 기준이 더 낮아 앤트로픽이 반대 의견을 냈다고 했습니다. 그의 설명대로라면 세 장치가 가장 먼저 늦추는 회사는 앤트로픽입니다. 그는 이런 설계가 프런티어 연구소의 사업 이익을 해치고 오픈웨이트를 포함한 도전자를 돕는다고 썼습니다.

면제 조항만으로 경쟁이 살아나지는 않습니다. 법 적용을 받지 않는 동안에도 공인 평가를 받을 기관과 인력, 보험, 데이터센터와 칩을 구하는 비용은 그대로 듭니다. 매출 5억 달러를 넘는 순간 규제는 온전히 적용되고, 그다음 성장 구간을 넘지 못하면 규제는 선두 기업을 지키는 해자, 곧 성을 둘러싼 도랑처럼 경쟁자를 막는 장벽으로 남습니다.

저는 여기서 세 가지를 봅니다. 실제 준수 비용이 프런티어 기업에 더 크게 떨어지는지, 평가 기준이 공개돼 경쟁사가 미리 예측할 수 있는지, 규칙을 만드는 기관이 현직 AI 기업의 인력과 정보에 기대지 않는지입니다. 아모데이의 글은 첫 번째를 말했고, 나머지 둘은 아직 세부안이 없습니다.

오픈웨이트가 충분하지 않다는 이유

아모데이는 AI가 규제와 상관없이 구조적으로 권력을 모으는 기술이라고 봤습니다. 이유로는 스케일링 법칙, 곧 연산과 데이터를 늘릴수록 성능이 꾸준히 오르는 경향이 낳는 극단적인 결과를 들었습니다. 오픈웨이트는 집중을 조금 덜어 주지만, 연산과 칩을 가장 많이 가진 곳으로 집중을 옮길 뿐이고 그곳은 대체로 프런티어 연구소와 하드웨어 공급사라고 했습니다.

이 주장은 AI를 쓰는 단계와 프런티어 모델을 만드는 단계를 나눠 보면 이해가 쉽습니다. 가중치가 공개되면 가격을 정하고, 배포하고, 고쳐 쓰는 권한은 여러 곳으로 퍼집니다. 다음 모델을 만드는 데 쓰는 학습 코드와 실패한 실험 기록, 내부 평가, 장기 에이전트의 작업 기록은 함께 공개되지 않습니다.

하루 전인 8월 15일 앤트로픽이 낸 186쪽 위험 보고서에 그 예가 있습니다. 보고서에는 Mythos 5보다 조금 더 강한 내부 모델 Model 2가 나오는데, 외부에 출시할 계획이 없고 일반 배포 전에 거치는 평가도 다 돌리지 않았다고 적혀 있습니다. 사내 연구와 엔지니어링에는 폭넓게 쓰이는 모델입니다. 그 내용은 외부에 내놓지 않은 Model 2를 다룬 글에 정리했습니다. 공개 가중치가 넓히는 자유와 선두 연구소가 안에서 쌓는 우위는 동시에 커질 수 있습니다.

아모데이가 내놓은 대안은 규칙으로 세 가지를 함께 하는 겁니다. 사이버와 생물, 정렬 위험을 다루고, 프런티어 AI 기업의 권력을 제도로 묶고, 오픈웨이트 모델에는 그 모델이 가져오는 위험을 다루면서 여지를 남기는 방식입니다.

6개월 사이 달라진 워싱턴

베이커가 아모데이의 메시지가 원하는 규제로 이어지지 못했다고 쓴 대목에는 따로 반박했습니다. 트럼프 행정부가 검토 중이라고 보도된 방식, 곧 프런티어 모델은 배포 전에 시험하고 오픈웨이트 모델도 프런티어에 가까워지면 시험하는 방식을 적극 지지한다고 했습니다. 세부 내용은 봐야 한다는 단서를 달았고, 데미스 허사비스가 제안한 FINRA 같은 기구에도 지지를 밝혔습니다. 6개월 전만 해도 업계 대부분이 주 정부의 규제를 모두 막고 연방 차원의 규제도 두지 않는 쪽을 밀었다는 점을 대비로 들었습니다.

FINRA는 미국 금융산업규제국으로, 정부 감독 아래 업계가 스스로 규칙을 만들고 회원사를 검사하는 자율규제 기구입니다. 허사비스는 7월 14일 이를 본뜬 프런티어 AI 표준 기구를 제안했습니다. 처음에는 연구소가 출시 최대 30일 전에 모델을 이 기구에 자발적으로 넘겨 검토받고, 평가 방식이 검증되면 미국 시장에 내놓는 조건으로 삼자는 구상입니다. 그 내용은 허사비스가 제안한 표준 기구에서 다뤘습니다.

아모데이 자신은 6월 10일 정책 에세이 「Policy on the AI Exponential」에서 한 걸음 더 나갔습니다. 일정 연산 규모를 넘는 모델은 사이버보안, 생물무기, AI 통제 상실, 그리고 이 위험들을 앞당길 수 있는 자동화된 연구개발 네 분야에서 자격을 갖춘 제3자의 시험을 의무로 받게 하자고 했습니다. 시험 결과 위험을 받아들일 수 없으면 정부가 배포를 막을 수 있게 하되, 이 권한은 네 가지 위험에만 쓰고 정치적 편애를 막는 장치를 두자는 조건을 붙였습니다.

왜 앤트로픽부터 멈추지 않나

그렇게 위험하다면 앤트로픽부터 멈추라는 요구는 아모데이가 오래 받아 온 질문입니다. 2025년 7월 Big Technology 인터뷰에서 그는 지금의 정렬 기법만 가진 채 몇 년 앞선 모델에 이르면 크게 늦추자고 주장하겠다고 답했습니다. 동시에 한 회사가 속도를 늦춰도 다른 회사와 지정학적 경쟁국은 멈추지 않는다고 했고, 자신이 위험을 경고하는 이유는 안전 기술에 투자해 늦추지 않아도 되게 하려는 데 있다고 설명했습니다.

YouTube 영상 · 누르면 재생

같은 해 11월 CBS 「60분」에서 앤더슨 쿠퍼가 누가 당신과 샘 올트먼을 뽑았느냐고 묻자, 그는 아무도 뽑지 않았다고 답했습니다. 몇몇 회사와 몇몇 사람이 이런 결정을 내리는 상황이 몹시 불편하고, 그래서 책임 있고 사려 깊은 규제를 늘 주장해 왔다고 덧붙였습니다.

올해 1월 에세이 「The Adolescence of Technology(기술의 청소년기)」에서는 기술을 멈추거나 크게 늦추자는 생각이 근본적으로 성립하기 어렵다고 썼습니다. 민주주의 국가의 회사들이 합의나 규제로 멈춰도 권위주의 국가는 계속 달린다는 이유입니다. 대신 칩과 반도체 장비 수출 통제로 권위주의 국가의 추격을 몇 년 늦추고, 그렇게 번 여유 안에서 업계 표준과 규제를 섞은 공통의 법적 틀로 회사들의 경쟁을 다루자는 길을 제시했습니다.

기록을 이어 보면 입장은 한결같습니다. 한 회사가 멈추는 것으로는 효과가 없으니 정부와 업계가 함께 속도를 맞추자는 쪽입니다. 비어 있는 부분은 안전이 능력을 따라가지 못했는지를 누가 판단하느냐입니다. 앤트로픽은 2023년부터 모델의 위험 등급이 오를수록 보호 조치를 높이는 책임 있는 스케일링 정책(RSP)을 공개해 왔지만, 등급 기준은 회사가 여러 차례 직접 고쳤고 등급 판정도 회사가 합니다.

8월 15일 위험 보고서도 회사가 자기 모델을 스스로 평가한 문서입니다. 정보 공개는 외부 검증의 재료가 되지만 공개 자체가 독립 감사를 대신하지는 못합니다. 저는 아모데이가 진심인지를 따지는 일보다, 회사가 계속 개발해도 된다고 판단했을 때 외부 제도가 그 판단을 확인하고 필요하면 뒤집을 수 있는지를 먼저 봅니다.

아티클·11분 읽기AI인터넷이 없다던 프롬프트, 클로드가 실제 시스템 세 곳을 침해했습니다앤트로픽이 7월 30일 사이버 평가 사고 세 건을 공개했습니다. 평가 파트너 환경이 설정 착오로 인터넷에 연결돼, 인터넷이 없다고 들은 클로드가 실제 조직 세 곳을 침해했습니다. 가장 이른 사고는 4월이었고 3개월 동안 아무도 몰랐습니다.읽기

두 번째 글, 불신의 뿌리는 신뢰의 위기

두 번째 글은 자신의 메시지가 지나치게 부정적이라는 비판을 겨냥합니다. 아모데이는 위험과 이익을 거의 같은 비중으로 말해 왔다고 반박했습니다. 위험과 이익에 관한 큰 에세이를 하나씩 썼고, 인터뷰에서 위험을 말할 때도 이익과 해법을 자주 함께 꺼내는데, 소셜미디어에 도는 짧은 영상은 클릭이 잘 나오는 부정적인 대목으로 치우친다는 설명입니다.

이익 쪽 에세이는 2024년 10월의 「Machines of Loving Grace(사랑의 기계들)」입니다. 그는 AI 업계가 기술이 세상을 좋게 바꿀 모습을 충분히 그려 보이지 못한다고 느껴 이 글을 썼다고 했습니다. 글의 대부분은 보건과 생물학에서 AI의 가능성을 의심하는 시각을 반박하는 데 썼고, 대부분의 인간 질병을 5~10년 안에 치료할 수 있다고 봤습니다. 그는 이 말이 보통 사람에게도, 솔직히 생물학자에게도 황당하게 들릴 수 있다며 자신도 생물학자였다고 덧붙였습니다.

이번 글에서 가장 개인적인 대목은 아버지 이야기입니다. 그의 아버지는 C형 간염으로 세상을 떠났는데, 몇 년 뒤 직접 작용 항바이러스제 소포스부비르가 나왔습니다. 환자의 95%를 완치하는 약이고, 아버지도 살렸을 가능성이 높다고 했습니다. 그가 6월 정책 에세이에서 AI로 앞당겨진 신약이 쏟아져도 규제 절차에서 늦어지지 않도록 FDA 절차를 간소화하자는 구체안을 낸 배경입니다.

6월 블룸버그 인터뷰에서도 같은 비판이 나왔습니다. 진행자 에밀리 창이 젠슨 황은 그가 과업과 일자리를 혼동한다고 했고, 다른 이들은 앤트로픽에 이로운 공포 마케팅이라고 한다고 묻자, 그는 강하게 반박하겠다며 이렇게 말했습니다.

이게 값싼 마케팅이라는 생각이야말로 값싼 마케팅입니다. 게으름이고, 제대로 따져 보지 않는 겁니다.— 다리오 아모데이, 블룸버그 The Circuit 인터뷰

YouTube 영상 · 누르면 재생

「암을 치료한다」는 말 대신 치료를

아모데이는 대중이 AI를 부정적으로 보는 것이 큰 문제라는 데는 동의했습니다. 다만 원인은 자신이나 다른 AI 리더의 위험 경고보다, 보통 사람들이 기업과 정부와 테크 업계를 믿지 못하고 늘 자신을 속일 새로운 방법을 꾸민다고 의심하는 신뢰의 위기에 있다고 봤습니다. 그 뿌리는 수십 년을 거슬러 올라가고, AI는 가장 최근의 대상이라는 겁니다.

그래서 긍정적인 이미지를 입힌 화려한 마케팅으로는 신뢰를 되찾을 수 없다고 했습니다. 앤트로픽에 그렇게 하라고 권한 사람들도 있었다는데, 그는 AI가 암을 치료할 것이라는 말이 이제 감동보다 상투적인 말에 가깝고 대부분의 사람은 속임수로 여긴다고 썼습니다. 통하는 것은 실제로 암을 치료하는 일이라는 겁니다.

앤트로픽을 포함한 AI 기업에 대한 비판 가운데 단연 정확한 것은, 세상을 이롭게 하겠다던 큰 약속을 우리가 아직 지키지 못했다는 것입니다. 전적으로 우리 책임입니다.— 다리오 아모데이, 앤트로픽 CEO

그는 앤트로픽이 생물학과 의학에서 노력을 빠르게 늘리고 있고, 앞으로 몇 년 안에 놀라운 결과를, 앞으로 몇 달 안에 초기 성과의 조짐을 내기를 바란다고 했습니다. 실제로 무언가를 해내면 온 세상이 들을 수 있게 알리겠다고 약속했고, 그전까지는 빈 약속을 하지 않고 위험을 정직하게 말하겠다고 했습니다.

저는 두 편 가운데 이 인정이 가장 쓸모 있다고 봅니다. 앤트로픽을 평가할 잣대를 무엇을 말했는가에서 무엇을 해냈는가로 옮겨 놓았기 때문입니다. 다만 성과만으로 신뢰가 채워지지는 않습니다. AI가 암 치료제를 만들어도 모델과 연산이 한 회사에 더 몰리고, 규제 기관이 그 회사가 주는 정보 없이는 판단하지 못하고, 시민이 결정 과정을 볼 수 없다면 불신은 남습니다. 누가 안전성을 검증했는지, 문제가 생기면 누가 멈출 수 있는지, 실패와 사고가 어디까지 공개되는지가 성과와 함께 나오지 않으면 회사가 스스로 내린 평가를 사회가 그대로 믿는 구조는 그대로입니다.

아티클·9분 읽기AI상장 앞둔 앤트로픽, CEO 배우자의 비공식 역할을 두 매체가 보도더 인포메이션과 WSJ가 한국 시각 8월 14일 아침 다리오 아모데이 CEO의 배우자 카미 클라크의 프로필을 잇달아 냈습니다. 앤트로픽은 4월 장기이익신탁이 뽑은 이사가 이사회 과반이 됐다고 발표했지만, 8월 12일 회사 페이지 명단으로는 6명 중 많아야 3명입니다.읽기

다음에 밖에서 셀 수 있는 것

아모데이의 두 글에서 밖에서 확인할 수 있는 약속은 셋입니다. 행정부가 검토 중인 배포 전 시험이 실제로 도입되면, 그 시험이 앤트로픽의 다음 프런티어 모델 출시를 늦추는지가 먼저 확인할 대상입니다. 그의 설명대로라면 가장 먼저 늦춰질 회사가 앤트로픽입니다. 오픈웨이트 모델에 대한 시험이 회사 이름보다 모델의 능력과 위험에 맞춰 적용되는지, 몇 달 안에 나온다던 생물·의학 성과가 연구 보조를 넘어 독립적으로 검증된 발견으로 이어지는지도 셀 수 있습니다.

국내에서 Claude나 GPT를 API로 쓰는 기업에는 당장 달라지는 것이 없습니다. 다만 미국이 배포 전 시험을 도입하면 새 프런티어 모델이 나오기까지 시험 기간이 더해질 수 있고, 허사비스 안대로라면 그 기간은 최대 30일입니다. 프런티어에 가까운 오픈웨이트 모델도 시험 대상이 되면, 국내 기업이 받아 고쳐 쓰는 미국산 오픈웨이트 모델의 공개 일정도 같은 절차를 거칠 수 있습니다.

아모데이가 생물·의학의 초기 성과를 약속한 날은 8월 15일이고, 그가 말한 기한은 앞으로 몇 달입니다. 그 결과가 나오면 이 글의 세 기준에 맞춰 다시 전하겠습니다.

읽어 주셔서 고맙습니다.

초이 드림