HBM이란 무엇인가? AI 서버가 메모리 대역폭을 요구하 는 이유
HBM이란 무엇인가? AI 서버가 메모리 대역폭을 요구하 는 이유 메타 설명: HBM의 뜻과 적층 구조, 메모리 용량과 대역폭의 차이를 알아봅니다. AI 서버의 학습·추론에서 데이터 이동이 중요한 이유와 HBM의 역할을 쉽게 설명합니다. HBM이란 무엇인가? HBM(High Bandwidth Memory)은 고대역폭 메모리라는 뜻으로, 여러 D램 칩을 수직으로 쌓아 많은 데이터를 동시에 전달하도록 설계한 메모리입니다. AI 모델을 계산하는 GPU와 AI 가속기는 빠르게 연산하지만, 필요한 데이터가 제때 도착하지 않으면 처리 능력을 충분히 활용하지 못합니다. HBM은 이 데이터 공급 병목을 줄이는 데 중요한 역할을 합니 다. 칩을 쌓는 것보다 중요한 것은 넓은 데이터 통로 HBM은 실리콘 관통 전극인 TSV와 미세 연결 구조를 이용해 쌓인 D램 칩들을 연결합니다. 일반적으로 GPU 등과 같은 패키지 안에 배치되며, 인터포저 같은 연결 구조를 통해 데이터를 주고받습니다. 칩을 쌓아 공간을 줄이는 동시에 넓은 입출력 인터페이스를 확보하는 것이 핵심입니다.[1] 도로에 비유하면 HBM은 데이터를 운반하는 차가 여러 차선으로 동시에 이동하도록 만든 구조입니다. 단순히 동작 주파 수만 높이는 방식과 달리, 많은 연결 통로를 병렬로 사용해 높은 전송량을 얻습니다. 다만 적층 수가 늘었다고 대역폭이 같은 비율로 증가하는 것은 아닙니다. 대역폭은 인터페이스 폭과 핀당 전송 속도 등에도 영향을 받습니다. 메모리 용량과 대역폭은 어떻게 다를까? 용량은 메모리에 얼마나 많은 데이터를 담을 수 있는지를 뜻하며 GB로 표시합니다. 대역폭은 1초 동안 얼마나 많은 데 이터를 옮길 수 있는지를 뜻하며 GB/s 또는 TB/s로 표시합니다. 지연시간은 요청한 데이터를 받기까지 걸리는 시간입니 다. 세 지표는 서로 관련되지만 같은 의미는 아닙니다. 용량이 부족하면 모델이나 작업 데이터를 메모리에 담기 어렵습니다. 대역폭이 부족하면 데이터를 담아 놓고도 GPU로 공급하는 속도가 느려질 ...