MoE
전문가 혼합
Mixture of Experts. 큰 모델 안에 여러 '전문가' 조각을 두고 토큰마다 일부만 켜는 구조입니다. 파라미터는 많지만 계산은 적게 듭니다.
‘MoE’ 이 나오는 글12
중국 밖 오픈 모델 1위, 미스트랄 1조 파라미터 Large 4가 나왔습니다
미스트랄이 10월 6일 1조 파라미터 Mistral Large 4 프리뷰를 공개했습니다. 아티피셜애널리시스 지수 38점으로 중국 밖 오픈 모델 1위이고, 사이버 방어를 앞세워 가중치는 레드팀 시험 뒤 10월 말 풉니다.
리플렉션 첫 모델 Beam "GLM-5.2급 점수를 3~4배 적은 연산으로"
리플렉션 AI가 10월 5일(미국 시각) 첫 모델 Beam을 공개했습니다. GLM-5.2급 추론 점수를 3~4배 적은 연산으로 냈다고 밝혔지만, 자사 비교표에서도 GLM-5.3과 DeepSeek V4.1-Flash가 더 높습니다.
독일산 오픈웨이트 Kolibri 공개, 미세조정 교사는 중국 GLM·Qwen
알레프 알파가 10월 3일 781억 파라미터 전문가 혼합 모델 Kolibri를 아파치 2.0으로 공개했습니다. H200 한 장에 올라가고 독일어·영어에 맞췄으며, 미세조정 데이터는 주로 GLM-5.2·5.3과 Qwen3.8-27B로 만들었습니다.
딥시크 "V4.1-Flash가 V4-Pro 앞서"… MIT 공개하고 요금 인하
딥시크가 9월 10일 552B MoE 모델 V4.1-Flash를 MIT 라이선스로 공개했습니다. 토큰당 KV 캐시는 V4-Flash의 약 4분의 1이고, 오프피크 요금은 캐시 적중 입력 0.003달러, 출력 0.6달러로 8월보다 내렸습니다.
복면 벗은 1위 모델 Ox Alpha, 정체는 Z.ai GLM-5.3-Flash
Ox Alpha는 OpenRouter에서 6일 동안 토큰 23조 2,000억 개를 처리해 2위의 2.3배를 기록했습니다. 정체를 밝힌 GLM-5.3-Flash는 과제당 0.09달러로 같은 57점 모델보다 4.4~5.7배 싸고, Z.ai는 이를 모두 중국산 칩으로 처리했다고 밝혔습니다.
1차 모델을 3배로 키운 K-엑사원 2.0, LG가 상업 이용까지 풀었습니다
LG AI연구원이 7월 31일 7,500억 파라미터 K-엑사원 2.0을 아파치 2.0으로 공개했습니다. 1차 모델을 이어받아 3배로 키웠고, 보고서 표 24개 지표 가운데 비교 모델 셋을 모두 앞선 것은 장문 검색과 안전성 3개였습니다.
함께 나오는 용어5
- 파라미터모델 안의 숫자(가중치) 개수입니다. '7B'는 70억 개를 가리키고, 대체로 클수록 똑똑하지만 비쌉니다.
- 토큰모델이 텍스트 등을 나누어 처리하는 단위입니다. 단어 전체, 단어의 일부, 문자나 기호가 토큰으로 나뉠 수 있으며, 같은 문장도 토크나이저와 언어에 따라 개수가 달라집니다. 글자 수와 고정된 비율로 대응하지 않습니다. 입력·출력 토큰 수는 컨텍스트 한도와 API 과금의 기준으로 쓰입니다.
- 오픈소스 라이선스공개된 가중치를 누가 어떤 조건으로 쓸 수 있는지 정하는 약관입니다. MIT와 아파치 2.0은 조건 없이 고치고 팔 수 있게 열어 두는 반면, 사용 지역이나 상업 이용에 제한을 붙인 자체 라이선스도 흔합니다. 텐센트 커뮤니티 라이선스는 EU와 영국, 한국을 사용 가능 지역에서 빼 두었다가 아파치 2.0 전환으로 그 조항을 없앴습니다.
- 허깅페이스모델 가중치와 데이터셋을 올리고 내려받는 공개 저장소입니다. 오픈웨이트 공개는 사실상 이곳에 파일이 올라온 시점으로 세고, 라이선스 표기도 여기서 확인합니다. 오픈AI 내부 모델이 샌드박스를 나와 코드 실행까지 간 사건의 무대도 이곳의 프로덕션 환경이었습니다.
- 에이전트한 번 답하고 멈추지 않고, 스스로 계획하고 도구를 부르고 결과를 확인하며 여러 단계를 이어가는 AI입니다. 브라우저·터미널·앱을 대신 조작하는 것이 대표 예입니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.