Terminal-Bench

터미널 벤치

터미널에서 여러 단계를 이어 수행하는 긴 작업을 재는 평가입니다. 단발 코드 생성과 달리 도구 사용과 오류 복구까지 포함해서, 에이전트 성능을 비교할 때 자주 인용됩니다.

‘Terminal-Bench’ 이 나오는 글8

소식·9월 21일AI

Grok 4.7, 코딩 지수 9점 오를 때 종합은 2점, 과제당 비용은 2배

Grok Build에서 잰 Terminal-Bench 4.0 통과율이 17.7%에서 33.3%로 뛰었습니다. 같은 단가에 AA 지능 지수 과제 하나를 푸는 비용은 1.86달러에서 3.74달러로 늘어, 단가가 5배인 GPT-6 Astra(3.26달러)보다 많아졌습니다.

13분

소식·9월 1일AI

최저 설정이 전작 최고 설정을 따라잡은 Fable 5.1, 비용은 4분의 1

반값 Opus 5가 여러 평가에서 Fable 5를 앞서던 가운데, 앤트로픽이 9월 1일 Fable 5.1을 내놓고 비교표 모든 항목에서 1위를 되찾았습니다. 캐시 읽기 요금을 75% 내려 일반 작업 비용은 약 25%, 에이전트 작업은 최대 약 45% 줄였습니다.

15분

소식·8월 14일AI

몸집은 그대로, GLM-5.3이 후속 학습만으로 터미널 점수를 6배로

Z.ai가 8월 14일 공개한 GLM-5.3은 전작과 같은 743B 기반 모델에 후속 학습만 한 달 더한 모델입니다. 코딩 에이전트 평가 DeepSWE는 46.2에서 66.9로, 취약점 탐지 CyberGym은 77.2%에서 84.5%로 올랐고, 가중치는 2주 뒤 공개하겠다고 했습니다.

13분

소식·8월 6일AI

자기 틀에선 6.7점, 같은 틀에선 2점, 메타 코딩 에이전트 Muse Code

메타가 8월 5일 Muse Code 베타와 Muse Spark 1.2를 내놨습니다. 메타 표에서 1.2는 Terminal-Bench 2.1 82.9%로 2위였지만, 같은 틀로 잰 독립 측정은 80.1%로 여섯 모델 중 4위였고 1.1과의 차이도 2.2점이었습니다.

12분

팟캐스트·7월 24일AI

한 달 실험 1만~2만 번, Poolside 칸트 "모델 회사 5곳보다 100곳"

Poolside 공동창업자 에이소 칸트가 7월 23일 Latent Space에서 연구자 70명 미만이 한 달 1만~2만 번 실험을 돌리는 모델 공장을 설명했습니다. 모델 회사가 5곳인 세상보다 100곳인 세상이 낫다며, 지금 오픈 모델을 제한하면 혁신이 다친다고 했습니다.

1시간 55분·Eiso Kant

소식·7월 21일AI

작은 고추가 맵다, 118B Laguna가 1.6조 딥시크를 코딩에서 앞섰습니다

Poolside가 7월 21일 공개한 Laguna S 2.1은 DeepSWE에서 40.4%를 받아 13배 큰 딥시크 V4-Pro-Max(9.0%)를 크게 앞섰습니다. DGX Spark 한 대에서 추측 디코딩 없이 초당 13~14토큰, 붙이면 최대 24토큰이 나옵니다.

13분

소식·9월 21일AI

Grok 4.7, 코딩 지수 9점 오를 때 종합은 2점, 과제당 비용은 2배

Grok Build에서 잰 Terminal-Bench 4.0 통과율이 17.7%에서 33.3%로 뛰었습니다. 같은 단가에 AA 지능 지수 과제 하나를 푸는 비용은 1.86달러에서 3.74달러로 늘어, 단가가 5배인 GPT-6 Astra(3.26달러)보다 많아졌습니다.

13분

소식·9월 1일AI

최저 설정이 전작 최고 설정을 따라잡은 Fable 5.1, 비용은 4분의 1

반값 Opus 5가 여러 평가에서 Fable 5를 앞서던 가운데, 앤트로픽이 9월 1일 Fable 5.1을 내놓고 비교표 모든 항목에서 1위를 되찾았습니다. 캐시 읽기 요금을 75% 내려 일반 작업 비용은 약 25%, 에이전트 작업은 최대 약 45% 줄였습니다.