27B가 5조 모델을 도구로 부려 논문 재현에서 Opus를 이겼습니다

27B 모델 하나가 연구를 통째로 해냈다는 발표는 아닙니다. 연구 방향을 정하는 모델과 코드를 돌리는 모델을 한 시스템으로 묶어, 코딩 에이전트가 과학 실험까지 이어 가게 만든 것입니다. 논문이 적은 대로라면 Faraday는 270억 파라미터로 약 5조 파라미터로 추정되는 모델을 도구로 부립니다.

일반 사용자용 제품은 아닙니다. 오히려 AI 과학자를 어떤 과제로 훈련하고 어떤 기준으로 평가할지를 보여 주는 연구에 가깝습니다. 논문은 2608.13331로 올라와 있고, 훈련 방식은 Inherent의 연구 노트에 따로 정리돼 있습니다. 저는 이 발표에서 점수보다 훈련 과제를 무엇으로 골랐는지를 먼저 봅니다.

결과 그림을 가린 논문 100편을 60분 안에 재현하게 했습니다

첫 과제는 논문의 결과 그림을 가리고 같은 실험을 다시 해 그 그림을 복원하는 일입니다. Inherent는 1990년부터 2026년까지 나온 머신러닝과 AI for Science 논문 100편에서 결과 그림을 지운 뒤, 60분과 H200 GPU 7분의 1이라는 제약 안에서 실험을 다시 설계하게 했습니다.

원래 그림을 베껴서는 통과할 수 없습니다. 논문의 설명과 코드만으로 빠진 조건을 추론하고, 주어진 자원에 맞게 실험 규모를 줄이고, 나온 결과가 논문의 주장을 지지하는지까지 확인하는 과제입니다. H200 한 장의 7분의 1은 논문 저자들이 원래 썼을 자원에 한참 못 미칩니다. 그래서 모델은 무엇을 잘라 내고 무엇을 남겨야 결론이 유지되는지 골라야 합니다.

저는 이 제약을 이 벤치마크에서 가장 잘 만든 설계로 봅니다. 같은 실험을 그대로 옮기는 능력보다 예산이 모자랄 때 실험을 줄이는 판단을 재기 때문입니다. 답이 하나로 정해진 코드 문제와 달리 가장 설득력 있는 실험 경로를 골라야 한다는 점에서, 재현은 열린 연구와 성격이 비슷합니다.

310개 과제, 학습 242개와 테스트 68개

이 과제 묶음의 이름은 Replica이고, 학습 242개와 테스트 68개를 합쳐 310개입니다. 한 논문에서 1개에서 13개씩, 중앙값 2개의 과제를 뽑았습니다. 테스트 68개는 학습에 쓰지 않은 AI for Science 분야에서 가져와, 모델이 한 번도 보지 않은 영역을 재는 데 씁니다.

논문 재현을 훈련 과제로 고른 까닭은 강화학습의 조건에 들어맞기 때문입니다. 강화학습에는 보상을 줄 근거가 있으면서 거기에 이르는 경로는 자유로운 과제가 필요합니다. 재현에는 정답 그림이라는 최종 기준이 있고, 그 그림에 이르는 실험 경로는 정해져 있지 않습니다. 두 조건을 한 번에 채우는 과제입니다. Inherent는 이 242개 과제 위에서 GRPO의 턴 단위 보상 변형으로 Faraday를 후속 학습했습니다.

채점은 루브릭을 만들어 다섯 항목으로 합니다

긴 실험에는 통과와 실패를 한 번에 가르는 검증기가 없습니다. 그래서 Inherent는 과제마다 채점표(루브릭)를 만들고, 그 표에 맞춰 점수를 매기는 판정 모델을 두었습니다. 루브릭은 Claude Opus 4.7이 자동으로 만들고, 채점은 Codex GPT-5.5 판정 모델이 전체 실행 기록과 결과 그림을 함께 보며 합니다. 루브릭을 만들 때는 정답 그림을 가려, 축 범위나 숫자를 외워 맞추는 대신 논문의 주장을 담도록 했습니다.

마지막 항목을 따로 둔 것은, 재현 과제에서 모델이 결과를 꾸며 낼 여지가 실제로 있다고 인정한 것입니다. 시각적 일치만 채점하면 그림만 맞춘 우회가 높은 점수를 받습니다. 판정 모델은 여러 실행을 비교해 점수를 매기고, 어느 턴의 판단이 결과를 만들었는지까지 나눠 강화학습 보상으로 돌려줍니다.

판정 모델을 얼마나 믿을 수 있는지는 사람 평가와 맞춰 봤습니다. 전문가 20명에게 실행 기록을 좋은 순서로 세우게 해 랭킹 117개를 모으고, 판정 모델의 순위가 사람의 순위와 얼마나 맞는지 켄달 타우로 쟀습니다.

ML 과제 73%, 처음 보는 과학 과제 60%

학습에 포함된 머신러닝 과제에서 Faraday는 과제의 73%에서 Claude Opus 4.8과 GPT-5.5를 모두 앞섰고, 한 번도 보지 않은 AI for Science 과제에서는 60%에서 앞섰습니다. 테스트 묶음의 평균 점수는 Claude보다 6%, GPT-5.5보다 8% 높았습니다. 모두 루브릭 판정 모델이 매긴 값입니다.

바탕 모델인 Qwen3.6-27B는 두 묶음에서 가장 낮습니다. 같은 27B 가중치를 Replica로 후속 학습한 Faraday가 테스트에서 0.554에서 0.791로 올라, 덩치가 더 큰 Claude와 Codex를 넘어섰습니다. 분야별로 쪼개도 방향은 같습니다.

차이는 코드를 더 빨리 짜는 데서 나오지 않았습니다. 어떤 가설을 먼저 세울지, 실패한 실험을 언제 버릴지, 남은 자원을 어디에 쓸지를 Faraday가 정했습니다. Inherent는 Codex의 프롬프트만 계속 다듬어서는 이 격차가 거의 줄지 않았다고 적었습니다. 모델을 그대로 두고 하네스만 손봐 SWE-bench 점수를 끌어올린 사례가 있지만, 여기서는 프롬프트를 아무리 고쳐도 채워지지 않는 차이가 남았습니다.

프런티어 모델과 견주면 Faraday는 사람 과학자에 더 가깝게 움직입니다. 주장 뒤의 메커니즘을 직접 구현하고, 출력값을 지어내 박아 넣지 않으며, 논문의 실험 범위에 맞게 규모를 줄입니다.— Inherent, Faraday 논문

코딩 점수와 연구 성과는 다른 자입니다

이 결과가 닿는 곳은 연구 자동화를 재는 단위입니다. 지금까지 에이전트의 연구 능력은 코딩 벤치마크 점수로 가늠해 왔습니다. 오픈AI가 만든 생물학 분석 시험에서는 코딩 점수 62%인 모델이 4.6%에 그친 적이 있어, 코드를 잘 짜는 능력과 연구를 잘하는 능력이 같은 자가 아님을 보여 줬습니다. Faraday는 코드 실행을 아예 Codex에 맡기고 판단만 따로 훈련해 그 간격을 메웠습니다.

구조를 나눈 덕에 생기는 이점도 있습니다. 실행 모델을 다른 코딩 에이전트로 바꿔도 Faraday의 후속 학습은 그대로 쓸 수 있습니다. 판단은 27B 모델이 맡으니, 비싼 실행 모델은 필요한 순간에만 부르고 계속 돌아가는 쪽은 작은 모델에 둘 수 있습니다.

결과를 바꾼 상상 과제 20개 중 19개에서 앞섰습니다

Inherent는 논문의 결과를 일부러 바꾼 상상 과제 20개로 한 걸음 더 나갔습니다. Claude Opus 4.8에 논문 열 편의 변형을 만들게 해, 같은 주장을 다른 데이터로 확인하게 하거나 같은 설정에서 다른 주장을 세우게 했습니다. 이미 본 그림을 베낄 수 없는 과제입니다. 판정 모델은 이 가운데 19개에서 Codex보다 Faraday를 골랐습니다.

같은 회사가 만든 벤치마크라는 의심

같은 회사가 만든 벤치마크에서 같은 회사 모델이 이겼으니 의미가 적다고 볼 수 있습니다. 저도 그 의심을 먼저 떠올렸습니다. 다만 여기서 더 들여다볼 곳은 승패보다 채점 방식입니다. 같은 판정 모델이 강화학습의 보상을 주고 최종 평가의 점수도 매기면, 학습이 그 판정 모델의 취향에 맞춰지면서 평가 점수가 높게 나오기 쉽습니다.

Inherent는 이 고리를 줄이려는 장치를 두었습니다. 루브릭은 학습 중 모델에 보여 주지 않아 채점표를 겨냥해 최적화하지 못하게 했고, 루브릭을 만들 때는 정답 그림을 가렸습니다. 전문가 랭킹 117개로 판정 모델을 보정한 것도 같은 목적입니다. 재현 대상 논문의 코드와 설명은 이미 공개돼 있어 사전 학습 자료에 섞였을 수 있는데, 저자들도 이를 인정하고 부록에서 따로 다뤘습니다. 이 장치들이 우려를 줄이기는 해도 없애지는 못합니다.

국내 연구실 조건에 맞는 분업

국내 대학과 출연연에서 GPU 예산은 늘 빠듯하고, H200 한 장을 몇 시간씩 통째로 잡아 두기 어려운 연구실이 많습니다. Replica의 60분과 7분의 1 제약은 이런 연구실의 조건에 가깝습니다. 자원이 적을 때 무엇을 고르는지를 능력으로 재기 때문입니다.

분업 구조도 국내 조건과 맞습니다. 판단 모델은 오픈웨이트 27B라 기관 안 서버에 올릴 수 있고, 실행 모델만 외부 API를 씁니다. 다만 금융과 공공에서는 실행 모델 호출이 외부로 나가는 순간 망분리와 공공 클라우드 보안 인증(CSAP) 조건이 걸려, 분업의 절반만 안에 둘 수 있습니다. 국내 기관이 Replica와 같은 규격으로 재 본 공개 기록은 아직 확인되지 않았습니다.

27B가 Opus를 이겼다는 요약에서 빠지는 것

27B가 혼자 Opus 4.8을 이겼다는 요약은 이 결과를 절반만 옮깁니다. Faraday는 연구 판단을 맡고, 코딩 에이전트는 실행을 맡고, 판정 모델은 어느 선택이 결과를 만들었는지 가려냅니다. 비교된 것은 같은 실행기를 두고 연구 판단을 누가 하느냐였습니다. 파라미터를 키우는 대신 과학자와 코더, 평가자의 역할을 떼어 하나의 연구 루프로 묶은 구조입니다.

이 발표가 보여 준 것은 연구 감각을 거대한 가중치 안에 담지 않고, 어떤 도구를 부르고 언제 멈출지의 정책으로 떼어 낼 수 있다는 데까지입니다. AI 과학자의 경쟁 단위는 단일 모델의 크기에서 에이전트 시스템으로 넓어지고 있습니다.

우리 결과가 복잡한 하네스 없이도 장기 과학 혁신을 해내는 AI 에이전트로 가는 디딤돌이 되기를 바랍니다.— Inherent, Faraday 논문

그래도 남는 물음이 있습니다. 재현 과제에서의 승률이, 아직 아무도 답을 모르는 문제에서도 유지되는지는 이 논문으로 답할 수 없습니다. 다음 판본에서 제가 먼저 볼 수치도 재현 승률보다 그런 문제에서의 성과입니다.

읽어 주셔서 고맙습니다.

초이 드림