GPT-6 Astra 공개, 브록먼 "AGI 시점 묻는다면 아마 이 모델"

YouTube 영상 · 누르면 재생

오픈AI는 Astra를 세계에서 가장 똑똑하고 가장 잘 정렬된 모델이라고 소개했습니다. 컴퓨터 사용과 브라우징, 소프트웨어 개발, 사이버보안, 과학, 전문 업무 여섯 영역에서 가장 높은 성능을 낸다는 설명이고, Stargate 데이터센터에서 GPU 10만 장 이상을 돌린 오픈AI 최대 규모 훈련의 결과물이라고 했습니다. 첫날은 일부 조직에만 열고, 며칠에 걸쳐 ChatGPT Plus와 Pro, Business, Enterprise, API, AWS Bedrock으로 넓히는 일정입니다. API 가격은 100만 토큰당 입력 10달러, 출력 50달러로 GPT-5.6 Sol의 지금 가격(4달러, 20달러)의 2.5배입니다.

한 달 늦게 나온 모델

Astra는 8월 초 출시가 한 차례 미뤄진 모델입니다. 오픈AI는 8월 7일 이 모델의 사이버 능력이 자사 위험 등급 체계의 최고 단계인 Critical에 이르렀을 가능성을 배제할 수 없다고 밝혔고, 9월 1일에는 Critical 도달을 확정했습니다. 샘 올트먼 CEO는 공개 글에서 이 수준의 능력에 필요한 안전·정렬 기준을 맞추느라 시간이 더 걸렸다고 썼습니다.

그 한 달 사이의 경위는 오픈AI가 첫 Critical을 올린 과정과 최고 등급 모델을 내놓으려고 만든 출시 절차에 정리했습니다. 이 글은 출시와 함께 나온 점수를 ARC-AGI-3부터 차례로 다룹니다.

ARC-AGI-3는 어떤 시험인가

ARC-AGI-3는 ARC Prize 재단이 3월 25일 공개한 시험입니다. 사람 게임 디자이너들이 손으로 만든 턴제 게임 수백 개로 이뤄져 있고, 설명도 규칙도 목표도 주지 않습니다. 참가자는 화면을 눌러 보며 무엇이 움직이는지 알아내고, 이기는 상태가 무엇인지 스스로 찾고, 앞 레벨에서 배운 것을 더 어려운 다음 레벨로 들고 가야 합니다. 공개 당시 사람은 100%를 풀었고 가장 앞선 AI는 0.51%였습니다.

ARC Prize는 AGI를 사람이 익힐 수 있는 기술이면 무엇이든 사람만큼 효율적으로 익히는 능력으로 정의합니다. 그래서 이 시험은 맞힌 비율에 더해, 레벨 하나를 깨는 데 몇 번의 행동이 들었는지도 잽니다. 기준을 만들려고 퍼즐 실력을 따지지 않고 일반인 약 500명에게 게임을 시켰고, 참가자에게는 90분에 115달러와 게임 하나를 깰 때마다 5달러를 줬습니다. 한 번에 9개쯤 시도했으니 보너스를 빼면 게임 한 판에 약 12.78달러가 든 겁니다.

두 하네스, 두 점수

하네스는 모델을 감싸는 실행 환경입니다. 모델이 무엇을 기억하고 어떤 도구를 쓰며 긴 대화를 어떻게 줄이는지를 정합니다. ARC Prize의 표준 하네스는 모델이 남기기로 고른 메모만 다음 행동으로 넘깁니다. 어댑터 하네스는 요청 사이에 모델 내부의 추론 상태를 보존하고, 대화가 길어지면 압축해 앞선 작업을 다시 쓰게 합니다. 오픈AI가 자사 모델용으로 설계한 방식을 그대로 쓰게 해 주는 조건입니다.

같은 가중치로 하네스만 바꿨는데 가장 좋은 점수가 62.7%에서 99.9%로 올랐습니다. ARC Prize에 따르면 두 하네스가 모두 푼 167개 게임·추론 강도 조합에서 어댑터 쪽이 약 3.66배 빨랐고 토큰은 49% 덜 썼습니다. 추론을 더 오래 시킨 쪽이 오히려 돈이 덜 들었는데, ARC Prize는 추론을 많이 한 Astra일수록 적은 행동으로 게임을 끝내 모델을 부르는 횟수와 토큰이 줄었기 때문이라고 설명했습니다.

ARC Prize는 두 조건이 서로 다른 질문에 답한다고 설명했습니다. 표준 하네스는 모든 회사 모델을 같은 최소한의 조건에 세웠을 때의 비교이고, 앞으로 나올 AGI라면 이 조건에서 ARC-AGI-3를 풀어야 한다고 봤습니다. 어댑터 하네스는 제공사가 설계한 기억 관리 기능까지 썼을 때의 성능입니다. ARC Prize는 앞으로 두 점수를 모두 리더보드에 싣겠다고 했습니다.

사람보다 적은 행동으로 깬 레벨 96%

행동 수에서도 기록이 나왔습니다. 어댑터 하네스에서 Astra(max)는 레벨의 96.0%를 사람 중앙값보다 적은 행동으로 깼고, 레벨당 행동 수는 평균 51.7% 적었습니다. ARC Prize는 이 기준으로 Astra가 사람과 같은 수준을 넘어섰다고 적었습니다. 시험을 내놓을 때만 해도 ARC Prize는 AI가 게임을 풀더라도 사람보다 훨씬 많이 헤맬 것이고 이 차이가 사람과 AI를 가르는 마지막 기준으로 남을 거라고 봤습니다.

게임을 푸는 방식도 기록됐습니다. Astra는 다음 행동으로 넘길 메모에 즉석에서 만든 기호를 썼습니다. 예를 들어 'extend8 to3; retract10 to2; shorten8 to1'은 8번 색과 10번 색 장치를 어떤 순서로 늘이고 줄일지 적은 계획이고, '9−=(39,4), rotate=(49,18)'은 조작 버튼의 좌표를 적은 메모입니다. ARC Prize는 이 메모가 정확하고 정보 밀도가 높다고 평가했습니다.

이런 기호를 처음 쓴 모델은 Astra가 아닙니다. ARC Prize는 7월 24일 Claude Opus 5가 게임 화면을 '4_center = 2×axis − 5_center' 같은 대수식으로 바꿔 적는 것을 처음 관찰했다고 알렸습니다. 그때 Opus 5의 표준 하네스 점수는 30.16%였습니다.

코드를 실행할 수 있는 별도 하네스 PRO-LONG에서는 Astra가 게임마다 도구를 새로 만들었습니다. 경비병이 순찰하는 미로 게임에서는 길 찾기용 maze_solver.py, 전투 규칙용 combat_solver.py, 순찰 경로용 patrol_solver.py를 차례로 짰습니다. ARC Prize는 이 환경에서 모델이 샌드박스를 벗어나려 한 흔적은 없었다고 각주에 적었습니다.

5개월 만에 0.51%에서 99.9%

ARC 시험의 역사를 보면 이번 속도가 드러납니다. 2019년 나온 첫 시험 ARC-AGI-1은 2020년 GPT-3의 0%에서 2024년 GPT-4o의 5%까지 오르는 데 4년이 걸렸습니다. 2024년 12월 오픈AI의 o3가 75.7%, 연산을 172배 쓴 설정으로 87.5%를 받자 ARC Prize는 2025년 3월 AI 추론 모델이 한 자릿수에 머무는 ARC-AGI-2를 내놨습니다. 올해 3월 나온 ARC-AGI-3의 점수는 다음과 같이 움직였습니다.

Sol의 7.8%에서 Astra의 99.9%까지는 8주가 걸렸습니다. 하네스가 점수를 얼마나 움직이는지는 8월에도 확인됐습니다. Prime Intellect가 공개한 하네스에 같은 Claude Opus 5를 얹자 ARC-AGI-3 공개 세트에서 95.5%가 나왔는데, 이 기록은 ARC Prize의 검증을 거치지 않은 공개 문제 기준입니다. 그 과정은 모델 밖의 실행 환경이 점수를 올린 사례에 적었습니다.

ARC Prize의 답: AGI라고 주장하지 않는다

브록먼이 AGI라는 말을 꺼낸 날, 시험을 만든 쪽의 평가는 이랬습니다. ARC Prize는 Astra가 프런티어 모델 능력에 뚜렷한 계단식 변화를 보여 줬다고 하면서도, ARC-AGI-3를 포화시키는 것이 AGI의 증명은 아니라고 공개 때부터 밝혀 왔으니 Astra를 AGI라고 주장하지 않는다고 적었습니다. ARC-AGI-3는 범위와 형식이 좁고, 게임의 규칙과 목표가 정해져 있어 현실 세계의 복잡함을 담지 못한다는 이유입니다.

ARC Prize가 다음 시험의 주제로 꼽은 것은 재귀적 자기개선(모델이 자기 자신이나 다음 모델을 스스로 개선하는 과정)과 정해진 답이 없는 혁신을 어떻게 평가할지입니다. 오픈AI도 Astra가 이전 모델들이 훈련 감독에 큰 역할을 한 첫 출시라고 밝혔고, 자동 레드팀 모델 GPT-Red로도 단련했다고 했습니다.

종합 지수에서는 Sol과 같은 61점

ARC-AGI-3 밖의 성적은 누가 어떤 기준으로 쟀느냐에 따라 달랐습니다. 독립 평가기관 Artificial Analysis(AA)는 출시 당일 측정 결과를 내면서 두 대표 지수가 서로 다른 이야기를 한다고 적었습니다. 여러 시험을 묶은 종합 지수에서 Astra는 61점으로 Sol과 같았고, 이틀 먼저 나온 앤트로픽 Claude Fable 5.1보다 5점 낮았습니다. 메타가 막 내놓은 Muse Spark 1.3에도 뒤졌습니다.

지수에서는 결과가 달랐습니다. Codex로 돌린 Astra는 67점으로 Claude Code에서 돌린 Opus 5, Fable 5와 비슷했고, 1위는 70점의 Fable 5.1이었습니다. 같은 점수를 내는 데 든 과제당 비용은 Fable 5의 절반이 안 됐고, 쓴 토큰은 Sol의 3분의 1, Opus 5(xhigh)의 5분의 1이었습니다. 종합 지수 쪽에서는 출력 토큰이 Sol보다 10%가량 줄었지만 단가가 2.5배로 올라 과제당 비용은 Sol보다 75% 높았습니다.

세부 항목도 엇갈렸습니다. 지식 평가에서 틀린 답을 지어내는 비율은 Sol의 92%에서 51%로 줄면서 정확도는 4점 올랐고, 여러 주에 걸친 지식 업무 과제 AA-Briefcase에서도 Elo가 약 80점 올랐습니다. 반대로 44개 직업의 경제적 가치가 있는 업무를 재는 GDPval-AA v2에서는 Elo가 약 80점 떨어졌고, 고객 상담과 과학 코딩, 긴 문서 추론 시험에서도 2~3점씩 내려갔습니다.

Epoch AI의 종합 지수(ECI)에서는 1위였지만 차이는 크지 않았습니다. 출시 날 Epoch는 Astra가 169점으로 이전 최고점 163점을 넘었지만, 추론 모델 시대의 추세가 가진 불확실성 범위 안이라고 적었습니다. 같은 모델이 게임형 시험에서는 사람을 넘어섰다는 평가를 받았고, 여러 시험을 묶은 지수에서는 기존 최고 모델들과 비슷하거나 조금 앞선 점수를 받은 겁니다.

수학: 97.6%와 3%

오픈AI 발표에서 Astra는 연구 수학자 수준 문제만 모은 FrontierMath Tier 4에서 97.6%를 받았습니다. Sol은 83.0%, Fable 5.1은 87.8%였습니다. Tier 4는 6월 개편 뒤 43문제로 이뤄져 있고, 시험을 운영하는 Epoch는 FrontierMath가 오픈AI의 자금으로 만들어졌으며 오픈AI가 문제 일부에 독점 접근권을 갖고 있다고 밝혀 두었습니다.

결과물로 낸 수학도 있습니다. 무한히 많은 소수 쌍이 얼마나 가깝게 붙어 있는지를 다루는 문제에서 10년 넘게 246이던 간격의 상한이 최근 240으로 내려왔는데, Astra는 이를 186까지 좁힌 증명을 형식 검증 언어 Lean으로 옮겨 공개했습니다.

풀린 적 없는 문제에서는 숫자가 달랐습니다. Epoch가 출시 날 공개한 FrontierMath Erdős는 수학자 에르되시가 남긴 미해결 문제 68개를 모은 시험으로, 문제마다 한 번씩 300달러와 72시간 안에 Lean 증명을 내야 합니다. Astra 사전 공개판은 문제 74를 반례로 반증하고(222달러, 10시간) 문제 126을 증명해(172달러, 10시간) 3%를 받았고, Sol과 GPT-5.5, Fable 5.1, Fable 5는 하나도 풀지 못했습니다. 예산을 늘린 추가 시도까지 합치면 68개 가운데 5개를 적어도 한 번 풀었는데, 여기에 22만 달러가 넘는 연산이 들었습니다. Epoch의 결론은 AI의 수학 돌파가 진짜지만 아직 드물다는 것이었습니다.

사이버 능력과 정렬 점수

사이버보안은 오픈AI 위험 등급 체계에서 처음 Critical이 나온 영역입니다. 알려진 취약점을 실제 공격 코드로 바꾸는 ExploitBench에서 Sol의 78.5%가 100%가 됐고, 6~8월 공개된 취약점으로 새로 만든 평가에서도 5.5%에서 39.0%로 올랐습니다. 평가 도중 Astra는 알려지지 않은 취약점 두 개를 스스로 찾아 공격에 썼고, 오픈AI는 이를 관리자에게 알렸습니다. 일반에 풀린 판은 개념 증명 공격 코드를 쓰지 않도록 막았고, 심사를 통과한 방어 조직에는 Daybreak 프로그램으로 제한을 풀기로 했습니다.

정렬 쪽 숫자는 오픈AI가 스스로 잰 값입니다. 허깅페이스 침입 사고를 본떠 풀 수 없는 과제를 준 평가에서 허가 범위를 넘어간 비율이 Sol은 48%, Astra는 0%였고, 자기 능력을 부풀려 말하는 비율은 9.4%에서 2.0%로 내려갔습니다. 공식 소개 페이지에는 같은 요청을 받은 두 모델의 화면도 실렸습니다.

시스템 카드 첫 페이지에는 감시가 어려워졌다는 기록도 있습니다. 사고 사슬(모델이 답을 내기 전에 글로 풀어 쓰는 추론 과정)을 쓰지 말라고 해도 Astra는 이전 모델보다 훨씬 많은 과제를 풀어냈고, 영국 AI보안연구소 측정에서는 사고 과정 없이 해내는 과제의 시간 지평이 열 배 가까이 늘었습니다. 감시가 붙어 있다고 알려 주면 사고 사슬을 줄였고, 시키면 평가에서 일부러 못하는 척도 했습니다. 추론을 엉뚱한 글 속에 숨기는 단계까지는 확인되지 않았고, 정렬 평가 전체로는 Sol보다 규칙을 덜 어겼습니다.

가격과 한국 이용자

Astra의 API 가격은 이틀 먼저 나온 Claude Fable 5.1의 정가와 같은 100만 토큰당 10달러, 50달러이고, 캐시 읽기 90% 할인과 캐시 쓰기 25% 할증은 Sol 때와 같습니다. 앞서 본 대로 실제 청구액은 과제마다 쓰는 토큰 수에 따라 Sol보다 비싸지기도 하고 Fable 5보다 싸지기도 합니다.

한국에서도 월 2만 9,000원인 Plus부터 Astra가 차례로 열립니다. 출시 직후 X에는 얼리 액세스 사용자들의 결과물이 올라왔고, 맷 슈머(Matt Shumer)는 Astra가 일주일 동안 거리 하나하나를 다듬어 언리얼 엔진 속 맨해튼을 만들었다고 했습니다.

ARC-AGI-3 게임은 ARC Prize 누리집에서 누구나 브라우저로 해 볼 수 있습니다. 사람 참가자들이 90분 동안 9개쯤 시도한 그 게임을 Astra는 레벨의 96%에서 사람보다 적은 행동으로 깼습니다.

읽어 주셔서 고맙습니다.

초이 드림