양자화
quantization
가중치 숫자의 정밀도를 낮춰(예: 16비트→4비트) 모델을 작고 빠르게 만드는 기술입니다. 노트북에서 큰 모델을 돌릴 때 필수입니다.
‘양자화’ 이 나오는 글2
아티클AI
국내 최고점 모티프가 떨어진 독파모 2차, 사용자 평가 격차가 가장 컸습니다
과기정통부가 8월 18일 독파모 2차 결과를 발표했습니다. 벤치마크 40점의 1위·4위 격차는 4.0점, 사용자 평가 25점의 격차는 5.0점이었고, 국내 모델 가운데 AAII가 가장 높은 Motif 3가 탈락했습니다.
10분
소식AI
조 단위 경쟁 대신 사내 서버, 업스테이지 250B Solar Open 2 공개
업스테이지가 7월 22일 독파모 2차 모델 Solar Open 2를 오픈웨이트로 공개했습니다. 하이브리드 어텐션으로 100만 토큰을 받고, 노타AI의 양자화판은 117.8GB로 줄어 H100 두 장에 올라갑니다. 기록을 밖으로 보낼 수 없는 조직을 겨냥했습니다.
10분
함께 나오는 용어5
- 에이전트한 번 답하고 멈추지 않고, 스스로 계획하고 도구를 부르고 결과를 확인하며 여러 단계를 이어가는 AI입니다. 브라우저·터미널·앱을 대신 조작하는 것이 대표 예입니다.
- 토큰모델이 텍스트 등을 나누어 처리하는 단위입니다. 단어 전체, 단어의 일부, 문자나 기호가 토큰으로 나뉠 수 있으며, 같은 문장도 토크나이저와 언어에 따라 개수가 달라집니다. 글자 수와 고정된 비율로 대응하지 않습니다. 입력·출력 토큰 수는 컨텍스트 한도와 API 과금의 기준으로 쓰입니다.
- 오픈소스 라이선스공개된 가중치를 누가 어떤 조건으로 쓸 수 있는지 정하는 약관입니다. MIT와 아파치 2.0은 조건 없이 고치고 팔 수 있게 열어 두는 반면, 사용 지역이나 상업 이용에 제한을 붙인 자체 라이선스도 흔합니다. 텐센트 커뮤니티 라이선스는 EU와 영국, 한국을 사용 가능 지역에서 빼 두었다가 아파치 2.0 전환으로 그 조항을 없앴습니다.
- 활성 파라미터MoE 같은 모델이 특정 토큰을 처리할 때 실제 계산에 사용하는 파라미터의 규모입니다. 총 파라미터보다 적을 수 있어 계산량을 줄이는 데 도움이 됩니다. 실제 서빙 비용은 전체 가중치의 저장·메모리 이동, 라우팅, 배치, KV 캐시, 하드웨어와 이용률에도 영향을 받으므로 이 숫자만으로 결정되지 않습니다.
- 벤치마크모델 실력을 재는 표준 시험입니다. 수학(GSM8K·MATH), 코딩(HumanEval·SWE-bench) 같은 문제집 점수로 모델을 비교합니다.
어려운 말은 풀어서, 매주 한 통
매일 아침 AI 소식도 함께 와요. 언제든 그만 받을 수 있어요.