80년 난제 깬 AI, 3Blue1Brown "설명도 대부분 사람보다 잘할 것"

진행자 드와케시 파텔(Dwarkesh Patel)은 공개 당일 X에, AI가 어느 분야보다 수학에서 빨리 발전하고 있으니 다른 분야의 AI 발전이 어떤 모습일지를 수학이 먼저 구체적으로 보여 준다고 적었습니다. 수학 안에서도 AI의 실력이 들쭉날쭉하다는 말을 덧붙였습니다. 두 사람의 대담은 2023년 10월에 이어 두 번째이고, 94분 동안 갈루아의 군론과 증명 보조기 Lean, AI의 글쓰기, 수학을 전공하려는 학생에게 줄 조언까지 이어졌습니다.

3년 전 질문과 1점 차이

2023년 10월 첫 대담에서 드와케시는 AI가 국제수학올림피아드(IMO)에서 금메달을 따면 그게 곧 AGI 아니냐고 물었습니다. 샌더슨은 AGI라는 말이 무엇을 가리키는지 모르겠다며, 금메달은 AI가 그 분야에서 최고의 사람만큼 잘하게 됐다는 신호이고 목록에서 분야 하나를 더 지우는 일이라고 답했습니다.

사람들이 짚고 싶어 하는 것은 불연속적인 변화 같은데, 저는 그런 변화가 실제로 있다고 생각하지 않습니다.— 그랜트 샌더슨, 3Blue1Brown (Dwarkesh Podcast, 2023년 10월)

이듬해 7월 구글 딥마인드의 알파프루프와 알파지오메트리 2는 IMO 2024 여섯 문제 가운데 네 문제를 풀어 42점 만점에 28점을 받았습니다. 그해 금메달 기준은 29점이었고, 사람 참가자 609명 가운데 58명이 금메달을 땄습니다. 기하 문제는 형식 언어로 옮긴 문제를 받은 지 19초 만에 풀었지만 조합론 두 문제는 끝내 풀지 못했습니다.

샌더슨은 이번 대담에서 AI의 능력이 분야마다 뾰족하게 솟아 있고 수학이 그 뾰족한 곳 가운데 하나인데, 수학 안으로 들어가도 같은 모양이 프랙털처럼 되풀이된다고 봤습니다. 모자랐던 1점은 출제 운으로 설명했습니다. IMO는 기하·정수론·대수·조합론 네 분야에서 여섯 문제를 내니 두 문제가 나오는 분야가 생기는데, 2024년에는 AI가 가장 약한 조합론이 두 문제였다는 겁니다. 기하가 한 문제 더 나왔다면 그해 금메달이었을 거라는 설명입니다. 그는 사람 학생에게도 해당하는 IMO의 사정을 하나 덧붙였습니다.

IMO의 더러운 비밀은 상당수 문제를 실제로 연습해서 풀 수 있다는 겁니다.— 그랜트 샌더슨, 3Blue1Brown (Dwarkesh Podcast)

2025년 7월 19일에는 오픈AI 연구자 알렉산더 웨이가 실험용 추론 모델이 IMO 금메달 수준에 올랐다고 알렸고, 21일 딥마인드는 제미나이 딥 싱크의 고급 버전이 여섯 문제 중 다섯 문제를 풀어 35점으로 금메달 기준을 넘었다고 발표했습니다. 2024년에는 전문가가 문제를 Lean 같은 형식 언어로 옮겨 주고 계산에 2~3일이 걸렸는데, 2025년에는 공식 문제를 자연어로 읽고 대회 제한 시간 4시간 30분 안에 답을 썼습니다.

번개와 산, 그리고 완력

드와케시가 이어서 물은 것은 AI가 밀레니엄 문제 하나를 풀어도 경제의 다른 일은 여전히 자동화하지 못할 수 있느냐였습니다. 샌더슨은 증명의 모양에 따라 답이 다르다며 리만 가설을 놓고 세 가지 경우를 들었습니다.

하나는 두 분야를 번개처럼 잇는 증명입니다. 프린스턴 고등연구소(IAS)에서 정수론자 휴 몽고메리가 리만 제타 함수 영점 쌍의 통계를 식으로 적자, 물리학자 프리먼 다이슨이 원자핵 에너지 준위를 연구할 때 나오는 무작위 에르미트 행렬 고윳값의 식과 같다는 것을 알아봤습니다. 샌더슨은 양자물리와 해석적 정수론을 모두 전문가 수준으로 아는 LLM이라면 두 사람이 점심을 먹다 우연히 이야기를 나누지 않아도 이런 닮음을 알아봐야 마땅하다고 했습니다.

다른 하나는 새 산을 쌓는 증명입니다. 페르마의 마지막 정리는 문제는 짧지만, 타원곡선과 모듈러 형식이라는 두 이론이 수백 년에 걸쳐 먼저 쌓인 뒤에야 둘을 잇는 올바른 물음을 던질 수 있었습니다. AI가 이런 새 이론을 세운다면 그 지능이 수학 밖 경제로 번지지 않는 편이 더 놀라울 거라고 그는 봤습니다. 마지막은 새 이론 없이 아주 긴 추론으로 밀어붙이는 완력형 증명으로, 맞더라도 사람이 소화하는 데 오랜 시간이 듭니다.

5월 20일 오픈AI가 발표한 반증은 첫 번째 모양에 가깝습니다. 단위 거리 문제는 평면에 점 n개를 찍을 때 거리가 정확히 1인 점 쌍이 최대 몇 개인지 묻는 문제로, 에르되시가 1946년에 냈습니다. 수학자들은 크기를 조정한 정사각 격자가 사실상 최선이라고 믿어 왔는데, 오픈AI 모델은 대수적 정수론의 무한 유체탑과 골로드-샤파레비치 이론을 끌어와 쌍의 수가 n의 1+δ제곱(δ는 고정된 양수) 이상인 배치를 무한히 만들었습니다. 오픈AI는 평면 기하 문제에 대수적 정수론을 끌어온 연결을 이 결과의 특징으로 꼽았고, 증명은 수학 전용 시스템이 아닌 범용 추론 모델에서 나왔다고 밝혔습니다.

샌더슨은 올해 풀린 에르되시 문제 1196번도 같은 모양이었다고 말했습니다. 서로 나누어떨어지지 않는 정수만 모은 원시 집합(primitive set)에 관한 문제인데, 마르코프 연쇄로 아래에서 위로 확률을 쌓고 폰 망골트 함수를 쓰자는 아이디어만 들으면 아는 사람은 바로 풀이를 이어 갈 수 있다는 겁니다. 테렌스 타오 등 8명이 5월 1일 arXiv에 올린 논문은 이 방법이 GPT-5.4 Pro의 출력에서 나왔고, 1935년 에르되시의 논문 이후 선행 연구가 놓쳐 온 것으로 보인다고 적었습니다.

반례부터 찾은 모델

오픈AI 발표문에는 증명을 검토한 외부 수학자들의 평가가 함께 실렸습니다. 이들은 논증을 풀어 쓴 동반 논문도 따로 냈습니다.

드와케시는 수학자들이 추측이 맞다고 믿고 주로 증명 쪽을 파고든 것이 반증이 오래 걸린 이유 같다고 했습니다. 샌더슨은 여기서 디지털 지능의 장점을 하나 꼽았습니다. 사람은 한번 굳은 생각의 맥락에서 빠져나오기 어렵지만, AI는 맥락을 지우고 다시 시작할 수 있고 한 에이전트에게는 증명을, 다른 에이전트에게는 반증을 일부러 맡길 수 있다는 겁니다.

그가 준비 중인 AI와 수학 시리즈의 첫 편도 AI가 풀지 못한 IMO 문제 하나를 다룹니다. 우아한 풀이가 있을 것처럼 보이는 대회 문제의 맥락에 갇혀 똑똑한 학생 상당수가 틀린 문제인데, 거리에서 만난 사람에게 퍼즐로 던지면 오히려 잘 풀 거라고 했습니다.

1770년에서 1870년까지, 갈루아의 100년

드와케시가 AI의 약점으로 든 것은 검증에 걸리는 시간입니다. 지금의 강화학습은 답이 맞았는지 곧바로 확인할 수 있는 문제에서 가장 잘 통하는데, 수학사의 큰 개념은 쓸모가 확인되기까지 100년이 걸리기도 했다는 겁니다. 2022년 갈루아 프로젝트를 준비하며 1년을 보냈다가 접었다는 샌더슨은 그 100년을 이렇게 풀었습니다.

샌더슨은 이 긴 시간 동안 갈루아의 생각이 사람 심사위원이라는 검증기조차 통과하지 못했다고 짚었습니다. 그의 말로는 갈루아가 결투 전까지 다섯 번이나 논문을 내려 했고, 원고가 누군가의 책상에 올라가도 뭔가 있는지 모르겠다는 답이 돌아왔습니다. 그래서 샌더슨은 문제를 풀었느냐 대신 얼마나 짧은 개념으로 설명하느냐에 보상을 주자며, 콜모고로프 복잡도(데이터를 만들어 내는 가장 짧은 프로그램의 길이) 같은 척도로 우아함을 재 보자고 했습니다. 그는 요즘 압축이 곧 지능이라는 주제로 영상 시리즈도 만들고 있습니다.

추측과 정의를 만드는 능력은 점수로 매기기도 어렵습니다. 샌더슨은 폴리로그(Polylog) 채널의 단위 거리 영상에 나온 말을 옮겼습니다. 좋은 수학자는 정리를 증명하고, 위대한 수학자는 추측을 만들고, 가장 위대한 수학자는 정의를 만든다는 말입니다. 추측을 반증하면 우리가 해냈다는 제목을 달 수 있지만, 모두가 좋은 추측이라고 한다는 발표는 그렇게 들리지 않는다는 겁니다. 그는 이 능력이 벤치마크 점수보다 수학자들의 말투에서 먼저 드러날 거라며, 1년 넘게 수학자들을 인터뷰하는 동안 2025년 중반과 2026년 사이에 AI를 말하는 어조가 달라진 것을 느꼈다고 했습니다.

검증보다 반복, 그래도 Lean

드와케시는 대담 4일 전인 6월 26일 블로그 글에서 컴퓨터 사용 AI의 발전이 느린 이유를 따졌습니다. 엣시에서 주문한 물건이 오는지, 행사 예약이 끝났는지는 확인하기 쉬운데도 발전이 더딘 까닭은 검증 가능성만으로는 모자라고 같은 시도를 수없이 되풀이할 수 있어야(grindable) 하기 때문이라는 겁니다. 코딩은 저장소를 컨테이너에 담아 에이전트 1,000개가 같은 복사본으로 동시에 도전하게 할 수 있지만, 아마존 결제 화면에서 봇 1,000개를 돌리면 앤디 재시가 막는다고 그는 썼습니다.

대담에서 그는 수학이 이 조건을 갖춘 예외라고 했고, 한 걸음 더 나가 Lean(증명의 모든 논리 단계를 컴퓨터가 검사하는 언어)은 지금의 발전에 생각만큼 중요하지 않다고 주장했습니다. 오픈AI가 공개한 단위 거리 반증의 사고 과정 요약본에 Lean이 들어 있지 않았다는 근거였습니다. 샌더슨도 딥마인드가 2024년에는 Lean으로 풀고 2025년에는 자연어로 금메달 기준을 넘은 일을 들어 그 말에 힘을 실었습니다. 딥시크가 2025년 11월 공개한 DeepSeekMath-V2는 자연어 증명을 검사하는 검증기를 훈련해 보상으로 썼고, 추론 연산을 늘린 조건에서 2024년 퍼트넘 대회 문제로 120점 만점에 118점을 받았습니다.

샌더슨은 Lean의 쓸모를 두 가지로 나눠 반박했습니다. 하나는 사람이 들여다보지 않아도 되는 탐험입니다. 바둑을 혼자 두며 배운 알파제로처럼, 수학 전체를 코드로 옮기려는 공개 라이브러리 Mathlib을 AI용으로 갈라 내어 멈추지 않고 넓히게 할 수 있다는 겁니다. 바둑에서는 그렇게 손을 놓아도 되지만 자연어 수학에서는 그럴 수 없다고 그는 봤습니다. 테렌스 타오가 2024년 9월 제안한 보편대수 프로젝트가 짧은 등식 법칙 4,694개 사이의 관계를 전부 따지는 작업이었는데, 샌더슨은 이런 전수 탐색이 자동 증명기에 가장 잘 맞는 일이라고 했습니다.

시작 버튼을 누르고 연산을 쏟아부은 다음 10년 동안 딴 곳을 보다가, 돌아와서 무엇을 찾았느냐고 물을 수 있습니다.— 그랜트 샌더슨, 3Blue1Brown (Dwarkesh Podcast)

다른 하나는 믿어도 된다는 표시입니다. 샌더슨은 알렉스 콘토로비치가 해 온 지적을 옮기며, AI 수학자가 하루에 논문 10편을 쏟아 내는데 오류가 조금이라도 섞이면 100편 중 99편이 맞아도 어느 논문에 시간을 쓸지 알 수 없다고 했습니다. 틀린 논문을 붙잡고 시간을 다 쓰는 일이 수학자에게는 몹시 괴롭다는 겁니다.

이해하기 복잡하고 고생스럽더라도 적어도 맞다는 것만은 알려 주는 초록색 체크 표시는 다른 모든 분야가 무엇이든 내주고 얻고 싶어 할 겁니다. 수학에는 그게 있습니다.— 그랜트 샌더슨, 3Blue1Brown (Dwarkesh Podcast)

설명마저 AI가 잘한다면

샌더슨이 생각을 고쳤다고 밝힌 대목은 설명입니다. 그는 수학자 티머시 차우가 강제법(forcing)을 소개하며 쓴 글의 첫머리를 가장 좋아하는 논문 도입부 가운데 하나로 꼽았습니다. 연속체 가설(자연수와 실수 사이 크기의 무한이 있느냐는 물음)이 보통 쓰는 공리로는 결론이 나지 않는다는 것은 증명됐지만, 그 증명에 쓰인 강제법은 여전히 이해하기 어렵습니다. 차우는 풀리지 않은 연구 문제처럼 풀리지 않은 설명 문제도 있다고 썼고, 샌더슨은 그 물음이 곧 자기 삶 전체라며 증명과 설명은 다르다고 했습니다.

예전의 그는 AI가 자동 정리 증명기가 되면 수학자의 일이 자기처럼 설명하는 쪽으로 옮겨 갈 거라고 생각했습니다. 지금은 AI가 설명하고 요약하는 일에서도 대부분의 사람보다 나을 것으로 봅니다. 아인슈타인과 클로드 섀넌, 파인먼처럼 새로운 통찰을 낸 사람들의 논문이 대개 명료했다며, 좋은 새 아이디어를 내는 능력과 잘 설명하는 능력이 한 뿌리일 수 있다는 관찰이 근거였습니다.

무슨 일이 일어났는지 소화해서 설명하는 일은 아마 수학자에게 남는 일이 못 될 겁니다.— 그랜트 샌더슨, 3Blue1Brown (Dwarkesh Podcast)

그가 대신 꼽은 일은 큐레이션으로, 수학자가 미술관 큐레이터에 가까워질 거라는 견해를 소개하며 AI가 작품을 만들고 설명까지 잘해도 거의 무한한 아이디어 가운데 무엇이 볼 만한지 골라 줄 사람은 여전히 필요하다고 했습니다. 무엇에 흥미를 느끼는지가 사회적 현상이라 사람들은 관계를 맺은 사람의 선택을 믿는다는 이유입니다.

오픈AI의 발표문은 사람의 일을 조금 더 넓게 잡았습니다. 전문성의 가치는 오히려 커진다며, AI는 찾고 제안하고 검증하는 일을 돕고 어떤 문제가 중요한지 고르고 결과를 해석하고 다음 물음을 정하는 일은 사람이 한다고 적었습니다. 해석까지 사람의 일로 둔 오픈AI와 달리, 샌더슨은 해석과 설명도 AI가 맡을 수 있다고 봤습니다. 드와케시는 데이비드 베시스가 4월 21일 쓴 글 「정리 경제의 몰락」을 인용해, 수학의 공은 정리를 증명한 사람이 가져가지만 그 일은 정의와 문제를 만드는 일에 기대어 있다고 말했습니다. AI가 증명을 떠맡으면 공을 나누는 방식부터 흔들린다는 겁니다.

글쓰기를 두고도 비슷한 이야기가 오갔습니다. 샌더슨은 LLM이 B 학점 에세이와 A 학점 에세이는 가려내지만, A 에세이와 정말 읽고 싶은 글은 가려내지 못하고 오히려 통찰 없는 글을 좋아한다고 봤습니다. 좋은 글에는 예측하기 어려운 수를 정확한 때에 두는 선택이 필요한데, 다음 토큰을 하나씩 예측하는 자기회귀 방식은 그 반대로 움직인다는 겁니다. 드와케시는 AI에게 독자의 머릿속을 문장마다 그려 보는 마음 이론이 모자라다고 덧붙였습니다.

배우는 법을 묻자 샌더슨은 무엇을 배우느냐보다 누구에게 배우느냐가 중요하다며, 지금 LLM의 설명은 문장마다 맞지만 한 사람이 동기를 설계해 쓴 맛은 없는 위키백과와 비슷하다고 했습니다. 그래서 그는 LLM에게 누구의 글을 읽을지를 묻습니다. 반도체를 공부하다 시각 자료를 찾았을 때 Claude가 3Blue1Brown 영상을 추천했는데, 그런 영상이 없다는 것을 아는 그가 눌러 보니 다른 사람의 영상에 이름만 잘못 붙어 있었다고 했습니다.

학생에게 한 조언, 돈이 어디서 오는가

수학을 좋아하지만 AI 때문에 진로를 망설이는 학생에게 샌더슨이 한 조언은 AI 이전에도 통했을 말이었습니다. 돈이 어디서 오는지, 자기가 더하는 가치가 무엇인지, 둘이 어떻게 이어지는지를 알라는 겁니다. 대학이 이름난 수학자를 원하는 것은 브랜드 때문이고, 국립과학재단(NSF) 연구비는 기초과학이 공공재라는 믿음에서 나오며, 부모는 전문가가 가르치는 학교에 아이를 보낸다고 그는 설명했습니다.

가르치는 일은 AGI 이후에도 가장 안정적인 직업 가운데 하나라고 봅니다. 그만큼 관계에 기대는 일이기 때문입니다.— 그랜트 샌더슨, 3Blue1Brown (Dwarkesh Podcast)

그는 가르치는 일이 설명을 훨씬 넘어서는 코칭과 멘토링이라 앞으로 50년 동안 가장 안정적인 경력 가운데 하나일 거라며, 수학 교육자의 길을 진지하게 생각하는 학생이 더 많아지면 좋겠다고 했습니다. 자신은 대학 밖의 유튜버라 조언을 너무 믿지 말라는 단서도 두 번 달았습니다.

수학이 바깥세상에 쓸모를 보일지도 짚었습니다. 편미분방정식을 연구하는 한 수학자의 그룹이 비행기를 분해했다 다시 조립하던 시험 일부를 시뮬레이션으로 옮겨 보잉에 수십억 달러쯤을 아껴 줬다는 이야기를 전하며, 앞으로 5년 안에 AI 수학의 진전에서 곧바로 나온 경제적 개선이 없다면 조금 실망스럽고 놀라울 거라고 했습니다. 수학이 10배 빨라져도 바깥에서 달라지는 것이 없으면, 타원곡선 연구가 암호에 도움이 된다고 연구비 신청서에 써 온 수학자들이 머쓱해질 수 있다고도 했습니다.

3년 뒤에 맞춰 볼 것

샌더슨의 말은 몇 가지로 맞춰 볼 수 있습니다. 그는 앞으로 3년 동안 분야 사이를 잇는 번개가 훨씬 많이 나오지 않으면 놀랄 거라고 했고, 3년 뒤 헤드라인에 오른 결과 가운데 맥락을 지우고 여러 시도를 흩뿌린 방식이 얼마나 되는지 보고 싶다고 했습니다. 단위 거리 반증은 프린스턴대 윌 소윈이 δ를 0.014로 구체화한 후속 결과가 나올 예정이고, 샌더슨의 AI와 수학 시리즈는 아직 제작 전이라 몇 달은 지나야 나온다고 그는 말했습니다.

읽어 주셔서 고맙습니다.

초이 드림