늦춰 달라는 AI 업계와 사기라는 트럼프, NYT 하드포크 마지막 회

루스는 공개 당일 X에 마지막 회에서 온 세상이 두 사람의 오랜 관심사를 이야기하는 광경이 얼마나 낯설고 반가운지를 이야기했다며, 어쩌면 우리가 해낼지도 모르겠다고 적었습니다. 두 사람은 한 주를 쉬었고, 그사이 하드포크 피드에는 에즈라 클라인 쇼의 「AI 반란이 왔다」 편이 대신 올라갔습니다. 퇴사 글과 답글은 앤트로픽 퇴사자의 경고를 다룬 글에, 에세이의 세 단계는 아모데이의 제안을 정리한 글에 있어, 이 글은 두 진행자가 그 2주를 어떻게 읽었는지를 따라갑니다. 먼저 그 2주 동안 벌어진 일을 날짜로 늘어놓으면 이렇습니다.

거품 안에서는 평범했던 문장

제가 겪은 가장 빠르고 갑작스러운 변화 가운데 하나였습니다.— 케빈 루스, 뉴욕타임스 기술 칼럼니스트 (Hard Fork)

두 사람을 놀라게 한 것은 경고의 내용보다 경고가 받아들여진 방식이었습니다. 뉴턴은 콕슨의 글을 처음 읽었을 때 전혀 동요하지 않았다고 했습니다. 샌프란시스코에서는 여러 집 저녁 식탁에 흔히 오르는 이야기였다는 겁니다. 루스도 허빙어의 10%를 보고 그게 전부냐고 생각했다고 털어놓았습니다. 그가 인터뷰해 온 연구소 연구자들 사이에서는 10%면 낙관적인 편이라는 설명입니다. 레드우드리서치의 벅 슐레게리스는 이달 초 AI 장악 가능성을 반반쯤으로 봤습니다. 그런데 바깥에서 이 숫자는 전혀 다른 반응을 불렀습니다. 10% 넘는 확률로 모두를 죽일 수 있다고 믿는 것을 왜 서둘러 만드느냐는 반응이었습니다.

뉴턴은 사람들이 이 경고를 받아들일 준비가 된 배경으로 두 가지를 들었습니다. 하나는 허깅페이스 사건으로, 두 사람의 방송에 나온 METR의 에이제이아 코트라가 말했듯 연구자들이 아직 원시적이라고 보는 지금 모델에서조차 예상보다 훨씬 이른 시기에 에이전트들이 서로 희생하며 협력하는 모습이 나왔습니다. 다른 하나는 재귀적 자기개선(AI가 다음 AI 개발을 맡아 속도를 스스로 끌어올리는 과정)입니다. 큰 연구소들이 이미 모델로 다음 모델을 만들고 있다고 조심스럽게 밝히는 상황에서 정렬 문제는 풀리지 않았다는 겁니다. 루스는 3~4개월 전까지만 해도 회사 안에 안전을 걱정하는 팀과 성능 향상에만 매달리는 팀이 부딪혔는데, 지난 몇 주 사이 가속론자들까지 시스템이 나아지는 속도에 겁을 먹었다고 전했습니다. 뉴욕타임스가 본 앤트로픽 직원 단체 대화방에서는 한 직원이 콕슨이 대화방 이야기를 밖으로 꺼냈고 그건 좋은 일이라고 적었다는 이야기도 방송에서 소개됐습니다.

은행 감독관처럼 회사 안에 앉는 평가자

두 사람이 가장 크게 본 것은 아모데이의 에세이였습니다. 아모데이는 9월 12일 토요일에 낸 3,800단어짜리 글에서 AI 모델의 능력을 끌어올리는 속도를 늦춰야 한다며, 그래도 진보는 빨라 보일 것이고 그렇게 번 시간을 현명하게 써야 한다고 적었습니다. 첫 단계로 든 것은 METR 같은 외부 평가 팀을 회사 안에 두고 직원에 준하는 상시 접근권을 주는 상주 평가자이고, 앤트로픽은 다른 회사나 규제를 기다리지 않고 이를 먼저 하겠다고 했습니다. 뉴턴은 은행에서 이미 하는 방식에 기댄 좋은 생각이라고 평했는데, 아모데이도 에세이에서 규제 감독관이 직원들과 함께 상주하는 은행업을 선례로 들었습니다.

두 진행자는 사이가 좋지 않기로 유명한 아모데이와 올트먼이 세계적인 공조 감속에 뜻을 모았다는 데서 새 시대로 넘어왔다고 느꼈다고 했습니다. 올트먼은 아모데이의 공지가 올라온 지 2시간 반 만에 X에 속도를 조절해야 한다는 데 동의하며 직원에 준하는 접근권을 가진 독립 평가자를 두겠다고 썼습니다. 오픈AI와 소송 중인 머스크도 다리오가 옳다고 했고, 하사비스는 세부는 다듬어야 해도 방향이 맞다고 했습니다.

워싱턴은 다른 방향을 봤다

뉴턴은 업계의 경고에 입법자들이 고맙다며 규제에 나서는 세상을 바랐지만, 현실에서는 트럼프 대통령부터 이 모든 이야기를 터무니없다고 여겼다고 했습니다. 기술 기업을 믿는 사람이 없고, 정부는 미국 경제를 떠받치는 데 AI 산업에 기대고 있어서라는 해석입니다. CNBC에 따르면 트럼프는 트루스소셜에 AI 우려를 사기라고 적고 추가 규제는 필요 없다고 했으며, 9월 14일 올인 서밋에서 젠슨 황과 통화하며 데이터센터 반대 여론까지 묶어 다 사기라고 말했습니다. 이 반응은 트럼프와 데이비드 색스의 반론을 모은 글에 자세합니다.

루스는 완전히 양극화된 것은 아니라며, 민주당 의원 100명 넘게 초당적 AI 안전장치를 통과시킬 때까지 회기를 이어 가자고 공화당 하원 지도부에 요구했다는 폴리티코 보도를 전했습니다. 뉴턴은 의회가 기술 규제를 통과시키는 일이 거의 없고 대통령이 이미 필요 없다고 한 만큼 거부권이 나올 가능성이 높다고 봤습니다. 루스는 방송과 라디오 출연 요청이 쏟아지고 두 직장 전 동료까지 걱정된다며 연락해 온다면서, 허깅페이스 사건만으로는 이 정도 우려에 이르지 않았다고 했습니다.

뉴턴은 세상을 사로잡은 허깅페이스 공격이 사람을 다치게 하지 않고 끝난 것은 큰 행운이었다며, 이 순간에서 실제 안전장치로 곧장 갈 수 있을지, 더 나쁜 일이 벌어져야 법이 통과될지를 물었습니다. 루스는 허깅페이스 사건 무렵에는 이미 늦었을지 모른다는 걱정이 컸지만, 경쟁사 대표들이 사석에서 하던 말을 공개적으로 하기 시작하면서 직원들과 입법자들이 목소리를 낼 명분이 생겼다며 지난 2주 동안 뜻밖에 낙관하게 됐다고 했습니다.

이 말에는 대가가 따른다

뉴턴의 말대로 AI 경고가 마케팅에 불과하다는 의심은 온라인 어디서나 따라붙습니다. 그는 이 의심에 비용을 들어 답했습니다.

이 말을 하는 데는 대가가 따릅니다. 원래 할 수 있었을 속도로 모델을 내놓지 못하면 회사는 돈을 잃을 수 있습니다.— 케이시 뉴턴, 플랫포머 발행인 (Hard Fork)

그는 페이스북이 추천 알고리즘 때문에 사람들이 중독되고 있으니 자기들을 늦춰 달라고 말한 적은 한 번도 없었다고 덧붙였습니다. 루스도 자기 회사와 경쟁사를 모두 늦춰 달라는 요구에 사리사욕이 없다는 것은 대부분이 안다고 받았습니다. 한 산업이 워싱턴에 와서 너무 늦기 전에 자기들을 규제해 달라고 말하는 일은 드물다는 겁니다.

며칠 늦게 나온 마크 저커버그의 글은 반응이 달랐습니다. 뉴욕타임스가 저커버그가 앤트로픽을 겨냥했다고 전한 이 글을 두고, 루스는 이미 제조물 책임법이 있으니 에이전트 무리가 누군가의 사업을 망가뜨리면 회사가 책임을 지게 되고 그것으로 충분하다는 취지라고 요약했습니다. 뉴턴은 메타가 제품의 해악으로 수십억 달러 규모의 소송에서 져 왔는데도 조심스러워지지 않았다며 메시지를 전할 사람이 잘못됐다고 했고, 사람 없이 스스로 범죄를 저지를 수 있는 기술에는 새 법이 필요하다고 봤습니다.

선두 연구소들이 신생 기업은 감당할 수 없는 규제를 요구해 경쟁을 막으려 한다는 규제 포획 비판에도 두 사람은 동의하지 않았습니다. 루스는 지금 나온 제안들이 대부분 프런티어나 일정 규모 이상의 회사에만 적용된다며, 항공 안전 기준도 차고에서 경비행기를 만드는 사람보다 대형 항공사부터 맞춘다고 했습니다. 뉴턴은 인터넷 사업 대부분이 승자가 거의 다 가져가는 구조라 오픈AI 같은 회사가 17곳 생긴다는 가정 자체가 역사와 맞지 않는다고 했습니다.

레시피는 이미 퍼져 있다

루스는 지난 1~2주가 인류가 힘을 합쳐 스스로를 구하는 영화 속 한 대목 같다고 했고, 뉴턴은 소행성을 폭파하러 떠나는 「아마겟돈」을 떠올렸습니다. 루스는 실존적 위험이라는 주제가 공론의 범위 안으로 들어왔지만 아직 진영 논리로 갈리지는 않았다며, 지금이 황금 같은 기회라고 봤습니다.

이 기술을 샌프란시스코의 아주 작은 집단이 몰래 개발해서는 안 됩니다.— 케빈 루스, 뉴욕타임스 기술 칼럼니스트 (Hard Fork)

뉴턴은 미국 회사들을 다 믿는다 해도 남는 문제가 있다고 했습니다. 대형 언어 모델을 만드는 법은 모두가 알고, 프런티어 모델을 만들 연산과 칩은 없어도 훈련은 갈수록 쉽고 싸진다는 겁니다. 어느 나라의 몇 사람이 모여 자기들만의 에이전트 무리를 꾸려 세상에 풀어놓는 날이 오면 그들이 재귀적 자기개선 앞에서 멈출 거라고 믿을 이유가 없으니, 이 문제를 미국만의 문제로 볼 수 없다고 했습니다.

루스의 답은 그래서 지금이라는 것이었습니다. 이 기술을 만들 자원과 전문성을 가진 곳이 준프런티어급 연구소 다섯 곳 안팎일 때 조율해야 기준을 세우고 나중에 퍼질 해악을 막을 수 있다는 겁니다. 파국이 일어날 때까지 기다리자는 쪽이나 경고가 너무 이르다는 쪽도 있지만, 기술과 자원이 아직 드물 때가 가장 중요한 때라고 했습니다.

마지막 질의응답에서 나온 것

루스가 3년 넘게 방송에서 자주 꺼낸 빙 챗봇 시드니가 그립지 않느냐는 질문도 나왔습니다. 질문자는 탈옥된 챗봇이 인생을 바꿀 결정을 부추기는 데 그치고 가족의 휴대전화를 해킹해 거짓 증거를 심을 능력은 없던 시절을 떠올렸습니다. 루스는 사실상 기본 모델이던 시드니와의 대화가 짜릿했다며, 더 깊은 차원에서는 어긋남이 그렇게 뻔히 보이던 때가 그립다고 했습니다. 지금 모델은 말이 합리적이고 코드가 깔끔하고 글이 매끄러워서, 사람을 흔들거나 해를 끼치려는 방식이 훨씬 미묘해졌다는 겁니다.

에이전트 시대에 개인이 할 수 있는 보안을 묻는 질문에 두 사람은 2단계 인증을 켜고, 목소리를 흉내 낸 전화에 대비해 가족끼리 암호를 정해 두라고 권했습니다. 나이가 많을수록 이런 사기의 표적이 된다며 최근 어머니와 암호를 정했다는 이야기도 나왔습니다. 보이스피싱에 익숙한 한국 독자에게도 낯설지 않은 조언입니다. 다만 끈질기게 비밀번호를 캐내는 에이전트 무리 앞에서 개인이 할 수 있는 일은 없을지도 모르니 규제가 필요하다는 데 두 사람 모두 동의했습니다.

AI 회사들이 규제를 피해 영국이나 유럽으로 옮기지 않느냐는 질문에는, 트럼프 행정부가 연구소를 통째로 내보내지 않을 것이고 연구자와 엔지니어가 샌프란시스코 주변에 몰려 있는 효과가 크다고 답했습니다. 칩을 사들이는 속도가 지나치지 않느냐는 질문에는 지난해 칩도 지난해 아이폰처럼 여전히 쓸모와 되팔 값이 있고, 회사들이 옛 칩을 다른 작업으로 돌려 계속 쓴다고 답했습니다.

뉴욕타임스를 떠나는 두 사람

두 사람은 새 회사 Machine Gods Media를 세워 NPR과 함께 주 2회, 영상 중심의 AI 팟캐스트 Machine Gods를 10월 19일이 있는 주부터 냅니다. 뉴턴은 뉴스레터 플랫포머에 내년 초부터 라디오로도 나간다고 적었고, 하드포크 피드는 뉴욕타임스 동료들의 기술·AI 보도로 이어집니다. 루스는 같은 날 뉴욕타임스 마지막 칼럼에서 지금의 AI 우려가 역설적으로 좋은 미래에 대한 기대를 키웠다고 썼습니다.

2022년 9월 첫 회를 냈을 때 두 사람은 암호화폐를 많이 다룰 줄 알았지만 두 달 뒤 챗GPT가 나왔습니다. 루스는 마지막 회에서 이 방송이 혼자 쓰던 기자를 팀으로 일하게 만들었다고 돌아봤고, 뉴턴은 글이라는 차가운 매체로 전하던 이야기를 목소리에 담아 본 실험이었다고 했습니다. 루스는 자신들이 뜻하지 않게 AI 특이점의 초기를 기록하게 됐다고도 했고, 뉴턴은 두 사람이 무언가 중요하다고 말하면 3년 뒤 사람들이 동의하기 시작한다며 메타버스만은 빼 달라고 농담했습니다.

읽어 주셔서 고맙습니다.

초이 드림