MoE

Kolibri는 총 780억 파라미터 가운데 토큰마다 34억 6,000만 개만 쓰는 전문가 혼합(MoE) 모델로, 최대 100만 토큰 문맥을 지원하고 가중치를 아파치 2.0으로 공개했습니다.

알레프 알파 자체 평가에서는 일부 수학·과학·코딩 항목에서 큐원과 네모트론, 미스트랄 모델보다 높은 점수가 나왔습니다.

다만 기술 보고서에 따르면 미세조정 데이터 일부는 중국 모델 GLM-5.2와 GLM-5.3, 큐원3.8-27B를 교사 모델로 삼아 만들었습니다.

앨런AI연구소(Ai2)가 한국 시각 10월 2일 자정 무렵 오픈소스 학습 프레임워크 Olmo-core 3를 공개했습니다.

입력마다 일부 전문가만 계산하는 전문가 혼합(MoE) 모델의 학습을 1조 개 매개변수 규모까지 키우도록 다시 설계했고, 다음 세대 Olmo 모델을 학습하는 기반입니다.

엔비디아 B300 GPU 8개로 470억 개 매개변수 MoE를 돌린 예비 시험에서 GPU당 초당 처리 토큰이 이전 구현의 1만 9,400개에서 5만 2,000개로 약 2.7배 늘었습니다.

앤트그룹이 약 5,600억 개 파라미터 가운데 토큰마다 약 250억 개만 쓰는 Ling-3.1-flash를 공개했습니다.

최대 100만 토큰 문맥을 지원하고, 곧 오픈소스로 공개할 예정입니다.

FrontierSWE 75.16, HealthBench Professional 65.35를 기록했고, 약 17시간 동안 컴파일러를 직접 만들어 테스트 182개 가운데 178개를 통과했다고 밝혔습니다.

Ling-3.0-flash 기반으로 개발됐으며 토큰당 5.1B 파라미터만 활성화하면서 MedXpertQA-Text 53.88, DiagnosisArena-MCQ 83.83, AFUMED-Drug 89.59를 기록했습니다.

의학 추론에 더해 근거 검색, 딥리서치, 의료 윤리·안전까지 강화됐으며 OpenRouter와 Vercel에서 사용할 수 있습니다.

Artificial Analysis Intelligence Index에서는 47점을 기록해 전체 104개 모델 가운데 6위에 올랐고, 오픈웨이트 모델 중에서도 최상위권에 속합니다.

세부 평가에서는 ITBench 51.5로 비교 모델 중 1위, τ²-Bench 94.7, GDPVal v2 38.7을 기록해 DeepSeek V4 Pro와 경쟁하는 수준을 보였습니다.

구조도 효율에 초점을 맞췄습니다.

전체 314B 파라미터 가운데 토큰당 13.2B만 활성화되는 희소 MoE 방식이며, 384개 전문가 중 8개만 선택적으로 사용합니다.

컨텍스트 길이는 256K이고, GDLA라는 자체 어텐션 구조를 적용했습니다.

한국어와 법률, 금융 데이터도 집중적으로 학습했으며 Hugging Face에서 바로 내려받을 수 있습니다.

총 7.9B 파라미터 가운데 토큰당 1.3B만 활성화되는 MoE 기반 하이브리드 추론 모델입니다.

완전 로컬 실행을 지원하고, `obsidian-cli`와 연동해 로컬 문서를 검색하고 정리할 수 있습니다.

도구 사용과 브라우저·모바일 UI 제어도 기본 지원합니다.

8월 13일까지 OpenRouter와 Vercel에서 무료로 사용할 수 있으며, 오픈소스 공개도 예고됐습니다.

앤트그룹은 알리바바와 별도로 자체 AGI 조직을 운영하고 있고, Ling은 기반 모델, Ring은 추론, Ming은 멀티모달 any-to-any를 맡는 구조입니다.

중국의 대표 핀테크 기업이 1.3B 활성 모델로 로컬 에이전트 자동화까지 겨냥했습니다.