사전학습

프리트레이닝 · pretraining · 사전 학습

대량의 글과 코드로 모델의 기본 능력을 만드는 첫 단계입니다. 여기서 든 연산량이 모델 크기와 비용의 바닥을 정하고, 이후 단계는 그 위에서 다듬는 일입니다.

‘사전학습’ 이 나오는 글7

소식6일 전AI

버려지던 뇌 신호 5만 시간, 뉴럴링크가 사전학습해 11.32BPS 신기록

뉴럴링크가 10월 1일(미국 시각) 뇌 신호 5만 시간으로 사전학습한 디코더 결과를 공개했습니다. 한 참가자가 커서 조작 11.32BPS로 이전 기록 10.39BPS를 넘었고, 일부 참가자의 보정은 하루 10분에서 주 10분으로 줄었습니다.

12분

소식10월 1일AI

영상 만들던 런웨이가 로봇을 움직입니다, 가중치 공개할 Praxis-1

런웨이가 10월 1일 새벽(한국 시각) 로봇 제어 모델 Praxis-1을 공개했습니다. 웹 영상으로 사전학습한 정책의 오차가 로봇 영상으로 학습한 정책과 같았다(16.1cm 대 16.0cm)고 밝혔지만, 성공률과 모델 크기는 내놓지 않았습니다.

16분

소식9월 10일AI

딥시크 "V4.1-Flash가 V4-Pro 앞서"… MIT 공개하고 요금 인하

딥시크가 9월 10일 552B MoE 모델 V4.1-Flash를 MIT 라이선스로 공개했습니다. 토큰당 KV 캐시는 V4-Flash의 약 4분의 1이고, 오프피크 요금은 캐시 적중 입력 0.003달러, 출력 0.6달러로 8월보다 내렸습니다.

15분

아티클9월 9일AI

"목숨을 건 도박" 앤트로픽 퇴사자 경고에 현직 정렬 리드가 "맞다"고 답했습니다

AI 과제 길이의 2배 주기 4.3개월은 METR이 새 과제로 잰 2023년 이후 추세이고, 2019년부터 전체로는 두 판 모두 약 7개월이었습니다. 오픈AI는 Astra 계열 GPU 배분이 59.2% 줄어든 주에 다른 계열을 늘려 감소분의 85%를 메웠습니다.

14분

소식8월 14일AI

몸집은 그대로, GLM-5.3이 후속 학습만으로 터미널 점수를 6배로

Z.ai가 8월 14일 공개한 GLM-5.3은 전작과 같은 743B 기반 모델에 후속 학습만 한 달 더한 모델입니다. 코딩 에이전트 평가 DeepSWE는 46.2에서 66.9로, 취약점 탐지 CyberGym은 77.2%에서 84.5%로 올랐고, 가중치는 2주 뒤 공개하겠다고 했습니다.

13분