SWE-bench

SWE-bench Pro · 스위벤치

실제 깃허브 이슈를 모델이 패치로 해결하는지 재는 코딩 평가입니다. 오픈AI 감사에서 공개 과제의 약 30%가 깨진 문제로 확인되면서 점수 해석에 주의가 필요해졌습니다.

‘SWE-bench’ 이 나오는 글6

소식·8월 15일AI

24GB 그래픽카드에 들어가는 'Opus급', 알리바바 Qwen3.8-27B

알리바바가 8월 14일 Qwen3.8-27B 가중치를 Apache 2.0으로 공개했습니다. 파라미터 수와 구조가 4월 Qwen3.6-27B와 똑같은데 DeepSWE는 13.3에서 42.2로 올랐고, 4비트 판은 24GB 그래픽카드에 들어갑니다.

10분

소식·7월 12일AI

80%까지 오른 코딩 시험, 오픈AI "과제 30% 깨졌다"며 추천 철회

오픈AI가 7월 8일 SWE-Bench Pro 공개 과제 731개 중 약 30%가 깨진 문제라고 추정하고 이 시험을 쓰라던 추천을 철회했습니다. 최고 점수는 8개월 남짓 만에 23.3%에서 80.3%로 올라 있었습니다.

12분

소식·7월 10일AI

진 점수도 실은 GPT-5.6, 같은 과제 비용은 Fable 5의 3분의 1

정부 승인 파트너 약 20곳에만 열려 있던 GPT-5.6이 7월 9일 정식 출시됐습니다. Sol은 100만 토큰당 입력 5달러·출력 30달러, Luna는 1달러·6달러입니다. 오픈AI는 Sol이 크게 진 SWE-Bench Pro 공개 과제의 약 30%가 깨진 문제라고 밝혔습니다.

13분

소식·7월 9일AI

Cursor와 만든 Grok 4.5, 출력 가격은 Opus 4.8의 4분의 1

SWE-Bench Pro 한 과제에 Grok 4.5는 출력 토큰 1만 5,954개, Opus 4.8은 6만 7,020개를 씁니다. CursorBench에서는 Grok 4.5가 Cursor 코드베이스의 옛 스냅샷을 학습해 유리했다고 Cursor가 직접 밝혔습니다.

12분

아티클·7월 7일AI

모델은 그대로, 하네스만 고쳐 점수 2.5배, 릴리안 웽의 자기개선론

같은 클로드 3.5 소네트로 하네스 코드만 진화시켜 SWE-bench Verified가 20%에서 50%로 올랐습니다. 릴리안 웽은 가까운 미래의 재귀적 자기개선이 가중치보다 하네스에서 먼저 시작된다고 봤고, 평가가 느린 분야와 보상 해킹, 실패 기록을 남은 병목으로 꼽았습니다.

12분

아티클·7월 6일AI

모델은 그대로 두고 SWE-bench 20%→50%, 릴리안 웽이 꺼낸 '하네스'

모델을 고정한 채 하네스만 고쳐 SWE-bench 점수가 20%에서 50%로 올랐습니다. 앤트로픽 실험에서는 단독 실행이 20분·9달러에 고장 난 게임을, 하네스가 6시간·200달러에 플레이할 수 있는 게임을 냈습니다.

11분

소식·8월 15일AI

24GB 그래픽카드에 들어가는 'Opus급', 알리바바 Qwen3.8-27B

알리바바가 8월 14일 Qwen3.8-27B 가중치를 Apache 2.0으로 공개했습니다. 파라미터 수와 구조가 4월 Qwen3.6-27B와 똑같은데 DeepSWE는 13.3에서 42.2로 올랐고, 4비트 판은 24GB 그래픽카드에 들어갑니다.

10분

소식·7월 12일AI

80%까지 오른 코딩 시험, 오픈AI "과제 30% 깨졌다"며 추천 철회

오픈AI가 7월 8일 SWE-Bench Pro 공개 과제 731개 중 약 30%가 깨진 문제라고 추정하고 이 시험을 쓰라던 추천을 철회했습니다. 최고 점수는 8개월 남짓 만에 23.3%에서 80.3%로 올라 있었습니다.