HBM
High Bandwidth Memory · 고대역폭 메모리
여러 층으로 쌓아 대역폭을 키운 메모리로, AI 가속기에 붙어 모델 가중치를 실어 나릅니다. GPU 원가와 공급 일정을 좌우해서 반도체 실적 기사에서 가장 자주 등장하는 부품입니다.
‘HBM’ 이 나오는 글2
논문원 논문 공개 AI
HBM으로 센 AI 에이전트 최대 1억 7,100만, 에포크 계산을 뜯어보니
에포크 AI가 10월 2일 HBM 출하량으로 AI 에이전트 수를 셌습니다. 2027년까지 나올 메모리로 프런티어 에이전트 3,300만~1억 7,100만 개를 동시에 돌릴 수 있고, 용량의 20%만 써도 연 2조 6,000억~5조 3,000억 달러어치입니다.
13분
논문원 논문 공개 AI
함께 나오는 용어5
- 에이전트한 번 답하고 멈추지 않고, 스스로 계획하고 도구를 부르고 결과를 확인하며 여러 단계를 이어가는 AI입니다. 브라우저·터미널·앱을 대신 조작하는 것이 대표 예입니다.
- 추론학습이 끝난 모델을 실제로 돌려 답을 만드는 단계입니다. 비용·속도·지연 시간 이야기는 대부분 여기서 나옵니다.
- 프런티어 모델그 시점에 공개된 모델 가운데 능력이 가장 앞선 등급을 가리킵니다. 각국 안전연구소의 평가 대상과 수출통제 논의가 이 등급을 기준으로 짜입니다.
- 오픈 웨이트학습된 가중치 파일을 공개해 누구나 내려받아 돌릴 수 있는 모델입니다. 학습 데이터·코드까지 다 여는 '오픈 소스'와는 구분합니다.
- 대역폭통신 경로가 일정 시간에 전달할 수 있는 데이터의 용량입니다. 보통 초당 비트 수로 표시합니다. 실제로 전달한 양인 처리량과 구분하며, 용량이 커져도 신호가 이동하는 거리와 왕복 지연이 같은 비율로 줄어들지는 않습니다.
