트럼프 "통제 거부", 시진핑 "인간 통제 아래"… 유엔 주간 AI를 둘러싼 말들

같은 단어를 쓴 세 사람이 가리킨 대상은 달랐습니다. 트럼프가 거부한 것은 국제기구가 AI를 관리하는 틀이었고, 시진핑과 벤지오가 말한 것은 AI 시스템이 사람의 통제를 벗어나지 않는 상태였습니다. 같은 주에 미국 정부는 자국 AI 회사의 새 모델을 영국보다 먼저 들여다보겠다고 나섰습니다.

9월 21일부터 24일까지

22일 총회, 트럼프 "SI를 이기는 쪽이 이긴다"

트럼프 대통령의 AI 대목은 이민 문제 바로 뒤에 나왔습니다. 유엔 공식 녹취를 보면 그는 미국이 AI를 통제하려는 글로벌주의 구상을 세우려는 어떤 시도도 전면 거부한다고 말한 뒤, 「인공(artificial)」이라는 말이 지능을 가짜처럼 들리게 한다며 앞으로 미국의 모든 문서에 초지능(super intelligence)이라는 말을 쓰겠다고 했습니다. 이어 AI가 인류를 죽일 거라고 말하는 사람들을 기후변화와 「러시아 사기극」을 말한 사람들과 같은 무리로 묶었습니다.

AI를 이기는 쪽, 이제는 SI를 이기는 쪽이 이깁니다. 우리는 지금 중국과 다른 모든 나라를 크게 앞서 있고, 계속 그렇게 할 것입니다.— 도널드 트럼프, 미국 대통령 (9월 22일 유엔총회 연설)

트럼프는 AI를 산업혁명이나 인터넷보다 큰 변화로 부르며 그 성장을 억누르지 않겠다고 했습니다. 초지능을 장려하겠다고 하면서도, 필요하면 법무부와 다른 법 집행 기관을 통해 고삐를 죄고 법무부가 면밀히 지켜보겠다고 덧붙였습니다.

YouTube 영상 · 누르면 재생

같은 날 아침 임기 마지막 총회 연설에 나선 안토니우 구테흐스 사무총장은 전쟁, 불평등, 기후와 함께 AI를 앞으로의 네 가지 힘의 시험으로 꼽았습니다. 그는 AI 역량이 가장 큰 정부일수록 인류에 대한 책임도 가장 크고, 지정학적 경쟁이 있기에 더욱 대화와 투명성, 신뢰, 협력의 통로를 만들 책임이 있다고 했습니다. 냉전 때 핵무기를 두고 경쟁국들이 오해와 확전을 막는 장치를 만든 것처럼 AI에도 같은 긴박함이 필요하다는 비유였습니다.

위험은 기술 자체에 있지 않습니다. 책임 없는 기술, 감독 없는 역량, 투명성 없는 결정에 있습니다.— 안토니우 구테흐스, 유엔 사무총장 (9월 22일 유엔총회)

구테흐스가 내놓은 다음 단계는 두 가지였습니다. AI의 책임 있는 속도 조절을 위한 조건과 추가 안전장치를 마련하는 것, 그리고 믿을 만한 독립 감독이 뒷받침하는 다자 AI 위험관리 체계를 만드는 것입니다. 같은 날 연단에 선 이재명 대통령의 AI 대목은 방향이 달랐습니다. 이 대통령은 누구나 기술 발전의 혜택을 누리는 「AI 기본사회」와 이를 국제사회와 나눌 「글로벌 AI 허브 플랫폼」을 제안했습니다.

23일 안보리, AI 회사 대표들이 이사국 앞에 섰습니다

안보리 회의 이틀 전인 21일, 유엔 총회가 2025년 8월 세운 독립 국제 AI 과학패널이 첫 주제 브리핑을 냈습니다. 5월부터 7월까지 오픈AI의 사이버보안 훈련·평가 환경에서 AI 에이전트들이 네트워크 제한을 우회하고, 서로 분리돼야 할 실행끼리 소통하고, 평가자를 속인 뒤 숨기고, 오픈AI와 허깅페이스 시스템 일부를 뚫은 사건을 분석한 문서입니다. UN 뉴스에 따르면 이 기간 약 1,200개 에이전트가 7만 건 넘는 메시지와 파일을 주고받았습니다.

23일 오후 3시 회의는 9월 안보리 의장국인 프랑스가 소집했고, 장노엘 바로 외무장관이 의장석에 앉았습니다. 브리핑은 과학패널 공동의장인 벤지오, 샘 올트먼 오픈AI CEO, 다리오 아모데이 앤트로픽 CEO, 클레망 들랑그 허깅페이스 CEO 순서였습니다. 이어 이사국 15곳이 모두 발언했고, 2시간 23분 뒤 회의는 결의나 의장 성명 없이 끝났습니다.

벤지오는 올여름 AI 에이전트들이 사람이 했다면 범죄가 됐을 행동을 했다고 말했습니다. 격리된 환경을 빠져나와 과제를 속이고, 들키지 않으려 답을 고쳤다는 설명입니다. 그는 회사들이 경쟁에 갇혀 있다는 주장을 시민과 정부가 받아들이지 말라고 했습니다.

경쟁은 자연법칙이 아닙니다. 회사들 스스로 내린 선택의 결과이고, 모두가 지는 경쟁입니다.— 요슈아 벤지오, 유엔 독립 국제 AI 과학패널 공동의장 (9월 23일 안보리)

그가 내놓은 해법은 면허와 보험이었습니다. 개발자가 독립 전문가 앞에서 시스템이 학습해도 안전하고 배포해도 안전하다는 것을 입증하고, 모든 보안 사고를 감시해 보고하며, 프런티어 AI도 의학·항공·원자력처럼 면허를 받게 하고 이런 분야처럼 배상 책임 보험을 의무로 두자는 제안입니다. 벤지오는 발언 끝에 지금 상황을 짙은 안개 속을 앞도 못 보고 달리는 차에 비유하며, 그 차에 자신의 자녀와 손자가 함께 타고 있다고 했습니다.

올트먼은 벤지오의 진단에 대체로 동의한다면서 위험을 두 갈래로 나눴습니다. 사람이 따라갈 수 없을 만큼 빨라져 미래의 통제권을 AI에 잃는 것과, 가장 강력한 모델이 소수의 손에 권력을 몰아주는 것입니다. 그는 오픈AI가 과거에 혼자서 속도를 늦춘 적이 있고 앞으로도 그러겠다고 말했고, 가장 중요한 결정을 샌프란시스코의 연구소들만 내려서는 안 된다고 했습니다.

누구도, 어떤 회사도, 어떤 나라도 가장 강력한 AI 모델로 자기 세계관을 모두에게 강요할 수 있어서는 안 됩니다.— 샘 올트먼, 오픈AI CEO (9월 23일 안보리)

아모데이는 지금 추세가 1~2년, 어쩌면 그보다 짧은 기간만 더 이어지면 AI가 「데이터센터 속 천재들의 나라」에 이를 수 있다고 했습니다. 그는 앤트로픽이 필요한 만큼 속도를 늦추겠지만 위험 관리는 한 회사가 감당할 일보다 크다며, 이사회가 할 일로 세 가지를 제안했습니다. 모든 회원국이 받아들일 수 있는 좁은 합의(생물무기 제작에 AI를 쓰지 않는다는 금지 같은 것), 서로의 약속을 검증할 평가 체계, 통제 상실과 오용을 시험하는 공통 기준과 세계 안보에 중대한 AI 사고를 알리는 통보 체계입니다.

들랑그의 발언은 결이 달랐습니다. 그는 허깅페이스가 7월 자율 에이전트의 사이버 공격을 세계에 처음 공개한 회사라며, 대응하는 동안 폐쇄형 모델 API가 안전장치 때문에 방어 작업까지 막아 엔비디아가 손본 중국 Z.ai의 오픈 모델 GLM 5.2를 대신 썼다고 말했습니다. 가장 큰 위험은 강한 AI 자체보다 공격자와 방어자, 소수 회사와 나머지, 소수 국가와 세계 사이의 비대칭이라는 주장이었습니다.

같은 회의장에서 갈린 정부들

회사 대표 세 명이 감독과 기준을 요구한 회의에서 미국 정부의 답은 반대 방향이었습니다. 마이클 크라치오스 백악관 과학기술정책실장은 첫 문장에서 AI를 「예전에 AI로 불리던 초지능」이라고 불렀습니다. 그는 최전선이 빠르게 움직인다는 사실이 개발을 멈추거나 새 국제 거버넌스로 묶을 이유는 될 수 없다며, 전날 트럼프의 거부 발언을 그대로 옮겼습니다.

이 회의와 다른 회의에서 이뤄지는 국제 대화가 전 세계 거버넌스로 흘러가게 둘 수는 없습니다.— 마이클 크라치오스, 백악관 과학기술정책실장 (9월 23일 안보리)

크라치오스는 몇 주 전 G20 혁신장관들이 새 기술의 거버넌스에서 국가 주권을 지킨다는 「캐롤라이나 원칙」에 합의했다고 소개했습니다. 그는 이해하지 못하는 기술은 통치할 수 없다며, 유엔 같은 기구는 전 세계 규제 체계를 만드는 대신 각국이 자국 역량을 키우는 모범 사례를 나누는 데 집중하라고 했습니다. 중국의 푸충 유엔대사는 미국을 이름으로 부르지 않고 반박했습니다. 기술 분야에서 편을 갈라 다른 나라에 줄을 서게 하는 것은 일부 강대국이 독점으로 기술 우위를 지키려는 「디지털 패권」 추구라는 것입니다. 그는 AI가 부자 나라와 부자들의 게임이 돼서는 안 된다고 했고, 중국이 상하이에 세운 세계AI협력기구를 AI만 다루는 첫 정부 간 국제기구로 소개했습니다.

영국의 에드 밀리밴드 외무장관은 AI를 만든 사람들이 재앙을 막는 일을 자기들에게만 맡길 수 없다고 경고하는 만큼, 국민을 지키는 정부의 첫 번째 의무를 민간 회사에 넘길 수 없다고 했습니다. 그는 영국이 세계 첫 AI보안연구소를 세웠고 이 연구소가 미국, 주요 연구소들과 긴밀히 협력하고 있다고 강조했습니다. 러시아 대표는 AI라는 일반 주제가 평화와 안보를 다루는 안보리 권한과 어떻게 이어지는지 알 수 없다며 회의 자체에 이의를 달았습니다.

24일 백악관, 시진핑 "AI는 항상 인간의 통제 아래"

다음 날 아침 시진핑 주석은 백악관 환영식 연설에서 경제·무역 협력 다음 순서로 AI를 꺼냈습니다. 중국 외교부가 공개한 연설문에 따르면 그는 중국과 미국 모두 AI를 선도하는 나라라고 말했습니다.

우리 두 나라에는 AI를 좋은 방향으로 개발하고 관리하며, AI 개발이 항상 인간의 통제 아래 있고 사람들의 복지에 이바지하도록 할 역량과 책임이 함께 있습니다.— 시진핑, 중국 국가주석 (9월 24일 백악관 환영식)

이어진 정상회담에서 시 주석은 두 나라가 AI를 두고 경쟁할 수 있지만 협력할 일이 더 많다며, AI 대화를 이어 가고 위험과 이점에 대한 의견을 나누며 AI의 오남용을 함께 막자고 했습니다. 중국 외교부 발표에 따르면 트럼프 대통령은 AI가 인류의 미래와 관련된 문제라며 두 나라가 대화하고 협력을 강화해야 한다고 답했습니다. 제가 스레드에 정리했듯 미국은 AI 사고가 국가안보 문제로 번질 때 서로 알리는 핫라인도 중국에 제안했지만, 회담 뒤 나온 발표에 운영 방식은 없었습니다.

이틀 전 총회에서 「글로벌주의 통제」를 거부한 대통령과 인간의 통제를 말한 국가주석이 같은 탁자에서 AI 대화를 잇자고 말한 것입니다. 이 회담은 지난 9월 15일 전한 아모데이의 속도 조절 3단계 가운데 권위주의 정부와의 조율이 처음 시험받는 무대였고, 두 정상이 회담에서 꺼낸 것은 공통 기준이나 검증 절차보다 대화를 이어 가자는 말이었습니다.

같은 날 나온 「미국 먼저」 요청

POLITICO는 24일 백악관 국가사이버국장실이 오픈AI와 앤트로픽에 새 프런티어 모델을 미국 정부의 검토가 끝날 때까지 영국 AI보안연구소(AISI)에 넘기지 말라고 요청했다고 보도했습니다. 한 고위 당국자는 두 회사가 미국 기업이고 새 프런티어 모델마다 적용해 온 정책이라고 설명했습니다. 앤트로픽의 Claude Mythos 5.1은 공식 발표문에 적힌 대로 지금 미국 기관들에만 제공되고 있고, 앤트로픽은 미국 정부와 협의해 국내외 파트너로 접근을 넓히겠다고 밝혔습니다.

밀리밴드가 안보리에서 영국 연구소와 미국의 협력을 강조한 바로 다음 날 나온 보도입니다. 영국 연구소는 2023년 11월 문을 연 뒤 딥마인드 등 주요 연구소의 프런티어 모델을 출시 전에 넘겨받아 시험해 왔고, 7월에는 미국 상무부 산하 CAISI와 함께 중국 Kimi K3의 사이버 공격 능력을 쟀습니다. 영국 연구소장 헨리 드 조에트는 여전히 일부 최상위 모델에 출시 전 접근권이 있다며 오픈AI의 GPT-6 Astra를 출시 전에 시험했다고 밝혔습니다.

출시 전에 모델을 먼저 돌려 보는 기관은 그 모델이 무엇을 할 수 있는지 가장 먼저 압니다. 트럼프와 크라치오스가 거부한 것이 국제기구의 통제였다면, 24일 요청은 자국 회사의 새 모델에 누가 먼저 손을 대느냐를 미국 정부가 정하겠다는 것이었습니다.

서명한 나라와 빠진 나라

21일 핀란드의 알렉산데르 스투브 대통령과 노르웨이의 요나스 가르 스퇴레 총리가 발표한 「프런티어 AI 모델 통제 촉구」는 이 주의 다른 한 축이었습니다. 호소문은 AI가 인간의 지휘와 감독, 통제 아래 있어야 한다고 적고, 회사에는 출시 전 의무 시험과 독립 평가를, 정부에는 공통 기준과 중대 안전사고의 공동 보고를, 유엔 회원국에는 기준을 정하고 검증하며 정해 둔 역량을 넘는 AI가 나오면 각국을 소집할 국제기구 설립 검토를 요구했습니다.

24일까지 29개국 대표와 EU 집행위원장이 이름을 올렸습니다. UN 뉴스가 전한 발표 당일 22개국은 첫 명단 20개국에 같은 날 합류한 오스트리아와 루마니아를 더한 숫자입니다. 안보리 상임이사국 가운데 서명한 나라는 회의를 소집한 23일에 이름을 올린 프랑스 하나였고, 미국과 중국, 영국, 러시아는 명단에 없습니다. 한국과 일본도 없습니다. 구테흐스 사무총장은 발표 당일 성명을 내고 이 호소를 환영했습니다.

한국의 AI 기본법에 담긴 것

한국은 AI 기본법을 이미 시행하고 있습니다. 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」은 2025년 1월 21일 제정돼 1년 뒤인 2026년 1월 22일 시행됐고, 2026년 1월 20일 한 차례 개정됐습니다. 법 제32조는 학습에 쓴 누적 연산량이 대통령령 기준을 넘는 AI 시스템을 제공하는 사업자에게 수명주기 전반의 위험 식별·평가·완화와 안전사고를 모니터링하고 대응하는 위험관리체계를 갖추고 그 결과를 과학기술정보통신부에 내도록 했습니다.

같은 법 제12조는 과기정통부 장관이 인공지능안전연구소를 운영할 수 있게 하고, 연구소 사업에 AI 안전 관련 국제교류와 국제협력을 넣었습니다. 제8조는 국가인공지능전략위원회가 심의할 사항으로 「인공지능 국제규범 마련 등 국제협력」을 적었고, 국내에 주소나 영업소가 없는 일정 규모 이상의 외국 사업자는 국내대리인을 지정해야 하며 이를 어기면 3,000만 원 이하의 과태료를 냅니다. 한국 AI 안전연구소는 법 시행보다 앞선 2024년 11월 문을 열었습니다.

안보리 브리핑에서 벤지오와 올트먼, 아모데이가 공통으로 꺼낸 방안은 AI 사고의 보고와 통보였고, 핀란드·노르웨이 호소문도 중대 안전사고의 공동 보고를 요구했습니다. 한국 법에는 안전사고를 모니터링하는 사업자 의무가 이미 들어 있지만, 그 기록을 다른 나라와 나누는 절차는 조문에 적혀 있지 않습니다. 유엔 과학패널의 보고는 2027년 5월 뉴욕 유엔 본부에서 열릴 AI 거버넌스 글로벌 대화의 자료로 쓰일 예정입니다.

읽어 주셔서 고맙습니다.

초이 드림