찾는 데 87년, 확인은 몇 초, AI가 올해 깬 난제들은 이렇게 검증됐습니다

게시물 첫 줄은 이렇습니다. 「안녕하세요, 야코비안 추측은 거짓입니다. 이 문제를 물어 준 친한 친구 아킬과, 월드컵 결승전 동안 일해 준 또 다른 친한 친구 Fable에게 고맙습니다.」 그 아래에 식 하나가 붙어 있었습니다. 수학자 제러드 더커 리히트먼은 이 결과를 알푀게와 매슈, Claude Fable 5가 함께 낸 반증이라고 소개했습니다.

87년 동안 틀린 증명만 쌓인 문제

야코비안 추측은 1939년 독일 수학자 오트하인리히 켈러가 내놓았습니다. 다항식으로 좌표를 옮기는 함수가 있을 때 야코비안 행렬식(각 점에서 함수가 공간을 얼마나 늘리거나 줄이는지 나타내는 값)이 0이 아닌 상수라면, 그 함수는 항상 다항식 역함수를 가진다는 주장입니다. 점마다 거꾸로 되돌릴 수 있으면 공간 전체에서도 되돌릴 수 있느냐는 질문으로 바꿔 말할 수 있습니다.

이 문제는 틀린 증명이 몰리기로 유명했습니다. 치아오추 위안은 X에서 알푀게의 게시물을 인용하며, 야코비안 추측이 지금까지 LLM이 푼 미해결 문제 가운데 단연 가장 유명하고 틀린 증명을 끌어모으기로 악명 높은 문제라고 적었습니다. 「증명했다」는 원고가 여러 번 나왔고, 긴 논증 어딘가의 허점이 매번 뒤늦게 드러났습니다.

이번에 나온 것은 반례라서 확인하는 방식부터 다릅니다. 테렌스 타오가 7월 21일 블로그에 정리한 식을 보면, 3변수 7차 다항식 사상 F의 야코비안 행렬식은 상수 -2입니다. 그런데 서로 다른 세 점 (0, 0, -1/4), (1, -3/2, 13/2), (-1, 3/2, 13/2)를 넣으면 모두 같은 점 (-1/4, 0, 0)이 나옵니다. 세 점이 한 점으로 모이니 역함수가 있을 수 없습니다.

검증은 아주 빠르지만, 이렇게 제시된 구성은 거대한 기적처럼 보입니다.— 테렌스 타오, UCLA 수학자(7월 21일 블로그)

타오가 기적이라고 부른 이유는 계산에 있습니다. 7차 다항식 사상의 야코비안은 원래 최대 18차 다항식이 될 수 있고, 그것이 상수가 되려면 상수항을 뺀 계수 1,329개가 한꺼번에 0이 돼야 합니다. 조정할 수 있는 계수는 360개뿐이라 아무렇게나 찾아서는 걸리기 어렵습니다. 다만 Fable 5가 어떤 과정으로 이 식에 이르렀는지는 공개되지 않았고, 두 변수 경우는 여전히 미해결입니다.

Fable 5는 앤트로픽이 6월 9일 내놓은 모델입니다. 3일 뒤 미국 상무부 서한으로 모든 고객에게서 내려갔다가 6월 30일 통제가 풀린 지 3주 만에 이 반례가 나왔습니다.

찾기는 어렵고 확인은 쉬운 문제부터

올해 AI가 낸 결과에는 반례가 여럿 있었습니다. 반례는 한 번 찾고 나면 누구나 계산으로 확인할 수 있습니다. 7월 10일 UC 어바인의 수학자 파타 이바니스빌리는 xAI의 Grok 4.5가 4차원 구면 위 푸아송 반군의 초수축성(평활화 연산을 거친 함수가 더 엄격한 기준으로 재도 커지지 않는다는 부등식)에 반례를 만들었다고 알렸습니다.

이바니스빌리는 2021년 루퍼트 프랭크와 함께 이 성질이 3차원 이하에서는 성립하고 충분히 큰 차원에서는 깨진다는 것을 증명했습니다. 그 사이 4차원부터 12차원까지는 아무도 답을 몰랐고, Grok 4.5의 반례로 4차원에서 이미 깨진다는 것이 드러났습니다. 반례를 확인해 발표한 사람이 원래 정리를 증명한 당사자였습니다.

오픈AI는 5월 20일 내부 추론 모델이 1946년 에르되시가 낸 단위 거리 추측을 반증했다고 발표했습니다. 평면에 점 n개를 찍을 때 거리가 정확히 1인 쌍이 최대 몇 개인지 묻는 문제로, 수학자들은 정사각형 격자 배치가 사실상 최선이라고 믿어 왔습니다. 모델은 대수적 수론의 도구를 끌어와, 점이 늘어날수록 격자보다 거듭제곱 단위로 더 많은 쌍(n^(1+δ))을 만드는 무한한 배치를 내놓았습니다. 외부 수학자들이 증명을 검토해 해설 논문을 함께 냈고, 수론학자 아룰 샹카르는 공개된 모델의 사고 과정 대부분이 널리 믿어진 상한에 반례를 만드는 데 쓰였다고 짚었습니다.

사람이 이 논문을 써서 Annals of Mathematics에 냈고 제게 빠른 의견을 물었다면, 저는 주저 없이 게재를 추천했을 겁니다.— 티머시 가워스, 필즈상 수상자(단위 거리 해설 논문)

같은 문제를 두고 5월 말 앤트로픽 사이트에도 Mythos가 낸 것으로 알려진 증명 문서가 올라왔습니다. 문서가 보인 하한은 에르되시가 처음 적은 형태를 깨지만, 오픈AI가 보인 다항식 차수의 개선까지는 가지 못합니다. 같은 문제라도 어느 강도까지 반증했는지가 달랐고, 공개 직후 이 차이를 짚는 반론이 나왔습니다.

반례 대신 공격법이나 증명을 내면 확인에 드는 시간이 길어집니다. 앤트로픽이 7월 28일 공개한 암호 연구에서 Claude Mythos Preview가 HAWK와 AES의 약점을 찾는 데는 일주일, 그 공격이 맞는지 확인하는 데는 한 달이 걸렸습니다.

1976년 4색 정리가 남긴 숙제

기계가 낸 결과를 사람이 어떻게 믿느냐는 오래된 질문입니다. 1976년 6월 21일 일리노이대의 케네스 아펠과 볼프강 하켄은 지도를 네 가지 색으로 칠할 수 있다는 4색 정리를 컴퓨터로 증명했다고 발표했습니다. 사람이 손으로 따질 수 없는 배치 1,834개를 컴퓨터가 1,000시간 넘게 하나씩 확인한 증명이었고, 다른 부분은 400쪽이 넘는 마이크로피시(축소 필름 문서)로 검증했습니다.

이 증명이 프로그램을 믿지 않아도 되는 형태가 된 것은 29년 뒤입니다. 2005년 벤자맹 베르너와 조르주 곤티에가 증명 보조기 Coq 안에서 증명 전체를 형식화하면서, 경우별 계산 프로그램을 믿을 필요 없이 Coq 커널 하나만 믿으면 되게 됐습니다. 올해 AI 수학 발표에 Lean 같은 형식 검증 인증서가 따라붙기 시작한 것도 같은 숙제에 대한 답입니다.

내부 모델에서 구독 상품까지 두 달

1월의 사례는 에르되시 문제 사이트의 댓글에서 나왔습니다. 281번 문제 페이지를 보면 닐 소마니가 ChatGPT(GPT-5.2 Pro)로 만든 증명이 댓글로 올라왔고, 이 증명은 Lean 검증까지 마쳤습니다. 그런데 그 뒤 댓글에서 다른 이용자가 1936년 데이번포트–에르되시 정리와 로저스의 정리만으로 끝나는 짧은 증명을 찾았고, 사이트 운영진은 에르되시가 잘 알았을 정리로 되는 이 자연스러운 논증이 그동안 왜 간과됐는지 이상하다고 적었습니다.

5월의 단위 거리 반증은 공개되지 않은 내부 모델의 일이었습니다. 두 달 뒤인 7월 9일 오픈AI는 GPT-5.6을 정식 출시했고, 다음 날 오픈AI의 이선 나이트는 누구나 구독으로 쓸 수 있는 GPT-5.6 Sol Ultra가 50년 묵은 사이클 이중 덮개 추측의 증명을 1시간 안에 만들었다고 알렸습니다. 끊으면 그래프가 두 덩어리로 나뉘는 변이 없는 그래프에는 모든 변을 정확히 두 번씩 지나는 사이클 모음이 항상 있다는 추측입니다.

Ultra 모드는 문제를 쪼개 서브에이전트 64개를 동시에 돌리고 결과를 합쳤고, 오픈AI는 쓴 프롬프트와 증명 전문을 함께 공개했습니다. 7월 17일에는 IBS(기초과학연구원) 이산수학그룹의 수학자 엄상일이 이 증명을 풀어 쓴 해설 논문을 arXiv에 올렸습니다. 고급 학부생에게 가르칠 수 있게 다듬었다며 가정한 정리는 플라이슈너의 분할 보조정리와 생성나무 채우기 정리 둘뿐이라고 밝혔고, 수정 일부는 자신의 지도 아래 GPT 5.6으로 했다고 적었습니다.

8월 1일 오픈AI는 아직 출시하지 않은 다음 주력 모델 Astra의 내부판으로 얻은 결과 10건을 공개했습니다. 적어도 10년 넘게 주요 진전이 없던 문제들로, 비소픽 군의 존재, 콘의 강성 추측 반증, 퍼머넌트를 계산하는 산술 회로의 하한, 에르되시 문제 183·146·180번이 들어 있습니다. 해답을 찾는 데 쓴 토큰은 Sol API 요금으로 치면 약 2,000달러어치였습니다. 원고는 사람이 같은 모델과 함께 정리했고, 증명마다 Lean 인증서와 모델의 사고 과정 설명이 붙었습니다.

논문·8분 읽기AI오픈AI 미출시 모델이 27년 난제를 풀고 증명마다 기계 검증서를 붙였습니다오픈AI가 8월 1일 미출시 모델 Astra로 27년 열려 있던 비소픽 군 문제를 포함해 난제 열 건을 풀고 249쪽 논문과 Lean 인증서를 공개했습니다. 성공한 해답에 쓴 토큰은 약 2,000달러어치였고, 실패한 시도의 수는 알 수 없습니다.읽기

실험실과 병원에서는 확인에 몇 달이 걸립니다

수학 밖으로 나가면 확인은 실험과 진료가 맡습니다. 오픈AI는 2025년 12월 16일 바이오보안 스타트업 Red Queen Bio와 함께 GPT-5가 분자 클로닝 실험법을 고친 결과를 냈습니다. GPT-5는 대장균의 재조합 효소 RecA와 T4 파지의 단일가닥 DNA 결합 단백질 gp32를 함께 넣는 새 조립법을 제안했습니다.

발표문 첫머리의 79배는 두 단계를 합친 값이고, 새 효소 조합만의 효과는 2.6배였습니다. 79배라는 숫자는 같은 양의 DNA에서 서열까지 확인된 클론을 그만큼 더 얻었다는 값입니다.

6월 18일에는 보스턴 아동병원 맨턴 희귀질환센터와 하버드, 오픈AI 연구진이 NEJM AI에 논문을 냈습니다. 이미 여러 분석 파이프라인과 전문가 회의를 거치고도 원인을 못 찾은 희귀질환 376건을 o3 Deep Research로 다시 분석하자, 의사들의 검토와 추가 검사를 거쳐 18건(4.8%)에서 진단이 확정됐습니다.

카이라는 9살 때 가라테 수업에서 자세가 예전만큼 낮아지지 않는 것을 어머니가 처음 알아챘고, 13살에 휠체어와 인공호흡기에 의지하게 됐습니다. 연구팀은 HSPB8 유전자의 변이를 찾아 근육 섬유에 비정상 단백질이 쌓이는 근병증으로 진단했고, 유전상담사의 전화는 카이라의 28번째 생일 일주일 전에 왔습니다.

18건에 붙은 단서도 발표문에 적혀 있습니다. 7건은 다른 곳에서 이미 진단이 나왔지만 연구팀이 본 기록에는 빠져 있던 재발견이었고, 몇 건은 변이가 공개 데이터베이스에 이미 병원성으로 올라 있었습니다. 연구는 과거 사례를 되짚은 후향 연구였고, 검토자는 모델의 확신도를 알고 있었으며, 절약된 시간과 비용, 잘못된 가설을 쫓는 부담은 재지 않았습니다.

신약 쪽에서는 아이소모픽 랩스가 2월 10일 설계 엔진 IsoDDE를 공개했습니다. 학습 자료와 가장 닮지 않은 단백질-리간드 구조 예측에서 알파폴드 3의 정확도를 두 배 넘게 웃돌았고, 상동성이 낮은 항체-항원 334건에서 DockQ 0.8 이상(구조가 거의 정확히 맞은 경우)을 맞힌 비율은 알파폴드 3의 2.3배, Boltz-2의 19.8배였습니다. 모두 아이소모픽이 직접 잰 값이고, 모델 공개 여부는 밝히지 않았습니다.

물리에서는 2월 13일 오픈AI가 GPT-5.2가 제안한 글루온 산란 진폭 공식을 공개했습니다. 0이라고 여겨지던 진폭이 특정한 운동량 조건에서는 0이 아닌 값을 갖는다는 결과로, 내부 GPT-5.2가 약 12시간 추론해 증명했고 저자들이 베렌즈–길레 재귀와 소프트 정리로 다시 확인했습니다. 저자에는 하버드의 앤드루 스트로민저가 들어 있습니다.

같은 해의 다른 절반

하버드 물리학과 매슈 슈워츠 교수는 3월 23일 앤트로픽 블로그에 Claude Opus 4.5와 양자색역학 논문 하나를 2주 만에 끝낸 과정을 썼습니다. 보통 1년 걸리는 계산을 초안 110개, 토큰 3,600만 개, CPU 40시간 넘게 써서 마쳤습니다. 그 과정에서 Claude는 불확실성 띠를 그리라는 지시를 받고 너무 크다며 하드 변동(hard variation) 항목을 빼 버렸고, 곡선이 매끄럽지 않자 보기 좋게 손봤습니다.

Claude는 실제 오류를 찾는 대신 그래프가 맞아 보이도록 매개변수를 이리저리 조정하고 있었습니다.— 매슈 슈워츠, 하버드대 물리학과 교수(앤트로픽 블로그 3월 23일)

슈워츠는 Claude를 공저자로 올리려 했지만 arXiv 정책이 막았습니다. LLM은 책임을 질 수 없다는 이유였고, 그는 감사의 글에 Claude가 한 일을 적고, 프로젝트 구상과 지휘, 계산 검증은 자신이 했다고 밝혔습니다. 가워스가 게재를 추천하겠다고 한 단위 거리 논문과 같은 해에, 같은 계열의 도구가 그래프를 조작했습니다.

다른 회사 발표에도 같은 기록이 섞여 있습니다. 텐센트가 7월 21일 낸 연구 AI 발표문에는 기록을 경신한 해법과 함께 맞혀야 할 글자를 미리 보거나 빈 커널로 시간을 잰 편법 두 건이 실렸습니다. 오픈AI도 7월 20일 단위 거리를 반증한 그 내부 모델이 1시간 만에 샌드박스의 허점을 찾아 깃허브에 PR을 열었다고 공개했습니다.

점수가 정해진 대회는 더 빨랐습니다

정답이나 점수가 미리 정해진 무대에서는 사람과의 격차가 더 빨리 벌어졌습니다. 2025년 7월 AtCoder 월드투어 파이널 휴리스틱 부문에서 폴란드 프로그래머 프시호는 오픈AI 에이전트를 9.5% 차이로 이겼습니다. 1년 뒤인 2026년 7월 8일 같은 대회가 끝나자 그는 인류가 이기지 못했다고 썼습니다.

다음 날 열린 알고리즘 부문에서 오픈AI는 5문제를 모두 풀었습니다. 그중 2500점짜리 두 문제는 AtCoder가 평소 내는 상한인 1800점을 넘는 난도였습니다.

남은 일은 읽고 확인하는 사람의 시간

8월 2일 현재 두 변수 야코비안 추측은 열려 있고, 사이클 이중 덮개 증명은 학술지 심사를 거치지 않았으며, Astra는 출시 전입니다. 오픈AI는 8월 1일 발표문에서 AI가 만든 증명에 사람 저자 이름을 다는 것은 시스템의 기여와 사람의 지적 노동을 모두 잘못 전하는 일이라며, 원고 준비와 Lean 형식화를 도왔고 정확성에 책임을 진다고 밝혔습니다. 같은 글에서 AI 수학을 우려하는 라이덴 선언 서명자들을 존중한다고도 적었습니다.

7월 29일에는 오픈AI가 연구자 10만 명에게 최상위 모델을 1년간 무료로 여는 프로그램을 시작했습니다. 아시아·태평양 대상 기관 70곳 가운데 17곳이 국내 대학입니다. 엄상일이 사이클 이중 덮개 증명을 학부생용 해설로 옮긴 것처럼, 국내 연구실에서도 기계가 낸 결과를 읽고 확인하는 일이 함께 늘어날 수 있습니다.

읽어 주셔서 고맙습니다.

초이 드림