HBM이란 무엇인가? AI 서버가 메모리 대역폭을 요구하 는 이유

메타 설명: HBM의 뜻과 적층 구조, 메모리 용량과 대역폭의 차이를 알아봅니다. AI 서버의 학습·추론에서 데이터 이동이 중요한 이유와 HBM의 역할을 쉽게 설명합니다.

HBM이란 무엇인가?

HBM(High Bandwidth Memory)은 고대역폭 메모리라는 뜻으로, 여러 D램 칩을 수직으로 쌓아 많은 데이터를 동시에 전달하도록 설계한 메모리입니다. AI 모델을 계산하는 GPU와 AI 가속기는 빠르게 연산하지만, 필요한 데이터가 제때 도착하지 않으면 처리 능력을 충분히 활용하지 못합니다. HBM은 이 데이터 공급 병목을 줄이는 데 중요한 역할을 합니 다.

칩을 쌓는 것보다 중요한 것은 넓은 데이터 통로

HBM은 실리콘 관통 전극인 TSV와 미세 연결 구조를 이용해 쌓인 D램 칩들을 연결합니다. 일반적으로 GPU 등과 같은 패키지 안에 배치되며, 인터포저 같은 연결 구조를 통해 데이터를 주고받습니다. 칩을 쌓아 공간을 줄이는 동시에 넓은 입출력 인터페이스를 확보하는 것이 핵심입니다.[1]

도로에 비유하면 HBM은 데이터를 운반하는 차가 여러 차선으로 동시에 이동하도록 만든 구조입니다. 단순히 동작 주파 수만 높이는 방식과 달리, 많은 연결 통로를 병렬로 사용해 높은 전송량을 얻습니다. 다만 적층 수가 늘었다고 대역폭이 같은 비율로 증가하는 것은 아닙니다. 대역폭은 인터페이스 폭과 핀당 전송 속도 등에도 영향을 받습니다.

메모리 용량과 대역폭은 어떻게 다를까?

용량은 메모리에 얼마나 많은 데이터를 담을 수 있는지를 뜻하며 GB로 표시합니다. 대역폭은 1초 동안 얼마나 많은 데 이터를 옮길 수 있는지를 뜻하며 GB/s 또는 TB/s로 표시합니다. 지연시간은 요청한 데이터를 받기까지 걸리는 시간입니 다. 세 지표는 서로 관련되지만 같은 의미는 아닙니다.

용량이 부족하면 모델이나 작업 데이터를 메모리에 담기 어렵습니다. 대역폭이 부족하면 데이터를 담아 놓고도 GPU로 공급하는 속도가 느려질 수 있습니다. 따라서 AI 서버는 큰 용량과 높은 대역폭을 함께 고려해야 합니다.

AI 서버가 높은 메모리 대역폭을 요구하는 이유

AI 계산은 모델의 가중치와 입력 데이터를 읽고, 중간 결과를 저장하는 과정을 반복합니다. 계산 장치가 아무리 빨라도 데이터 이동에 더 오래 걸리면 전체 작업 속도는 메모리에 의해 제한됩니다. NVIDIA는 GPU 성능의 제약 요인을 메모리  대역폭, 연산 처리량, 지연시간으로 설명합니다.[2]

1. 학습은 계산뿐 아니라 데이터 이동도 많다

AI 학습에서는 순전파와 역전파를 수행하고 가중치를 갱신합니다. 이 과정에서 가중치, 활성값, 기울기, 최적화 상태 등 을 다룹니다. HBM은 이러한 데이터의 이동을 지원하지만, 모든 학습 작업이 메모리 대역폭에만 묶이는 것은 아닙니다. 큰 행렬 연산은 연산 성능의 영향을 많이 받을 수 있고, 여러 GPU를 쓰면 GPU 간 통신도 중요한 제약이 됩니다.

2. 생성형 AI 추론은 반복적인 읽기가 중요하다

대규모 언어모델은 답변의 토큰을 순차적으로 생성하면서 가중치와 문맥 정보를 참조합니다. 특히 작은 배치로 토큰을 생성하는 단계에서는 계산량에 비해 가중치 읽기가 많아 메모리 대역폭의 영향이 커지기 쉽습니다. 입력 문장을 처리하 는 단계와 답변을 생성하는 단계는 성능 특성이 다를 수 있습니다.

긴 문맥과 동시 요청이 늘면 이전 토큰의 정보를 보관하는 KV 캐시의 용량과 접근 부담도 커질 수 있습니다. 실제 병목은 모델 크기, 배치 크기, 데이터 정밀도, 캐시 활용, 구현 방식에 따라 달라집니다. HBM 대역폭이 두 배가 된다고 응답 속 도가 반드시 두 배가 되는 것은 아닙니다.

숫자로 이해하는 데이터 이동 시간

가상의 작업이 메모리에서 100GB를 읽고, 유효 대역폭을 1TB/s라고 가정하면 단순 전송 시간은 약 0.1초입니다. 2TB/s라면 약 0.05초입니다. 이는 1TB를 1,000GB로 계산한 교육용 예시이며, 실제 모델의 응답 시간이나 특정 제품의 성능을 의미하지 않습니다. 계산, 통신, 추가 읽기·쓰기와 소프트웨어 처리 시간은 별도로 고려해야 합니다.

HBM·DDR·GDDR은 어떤 역할을 할까?

HBM은 높은 대역폭이 필요한 AI 가속기와 고성능 컴퓨팅에 주로 활용됩니다. DDR 메모리는 CPU가 사용하는 시스템 메모리로서 운영체제, 데이터 준비, 일반 서버 작업 등을 지원합니다. GDDR은 그래픽카드와 일부 가속기에서 사용하는 고속 메모리입니다. AI 서버는 이러한 메모리와 SSD를 역할에 맞게 조합하며, HBM이 모든 메모리와 저장장치를 대체하는 것은 아닙니다.[3]

HBM에도 비용과 구현상의 부담이 있다

HBM은 적층 공정과 고밀도 연결, 복잡한 패키징이 필요해 비용 부담이 큽니다. 생산 과정의 수율, 패키지 설계, 전력 공 급과 열 관리도 중요합니다. 비트당 데이터 전송 에너지에 이점이 있어도, 더 큰 AI 시스템의 전체 전력 사용이 자동으로 줄어드는 것은 아닙니다.[4]

AI 서버를 평가할 때는 HBM 세대나 용량만 볼 것이 아니라 가속기 전체의 대역폭, 연산 성능, GPU 간 연결, 소프트웨어 최적화까지 함께 확인해야 합니다. 제품 사양의 최대 대역폭과 실제 서비스에서 측정되는 유효 대역폭도 구분해야 합니 다.

자주 묻는 질문

Q. HBM은 D램과 다른 종류인가요?

A. HBM은 D램 기반 메모리입니다. 기존 D램과 비교할 때 적층 구조와 연결 방식, 사용 목적에 차이가 있습니다.

Q. 모든 AI 서버에 HBM이 필요한가요?

A. 아닙니다. 작은 모델이나 비용 중심의 서비스는 다른 메모리 구성으로도 운영할 수 있습니다. 필요한 성능과 작업 특 성이 선택 기준입니다.

Q. HBM만 좋으면 AI 서버가 빨라지나요?

A. 메모리 병목이 큰 작업에는 도움이 됩니다. 연산이나 통신이 병목이라면 다른 요소도 개선해야 합니다.

참고 자료 및 SEO 태그

[1] Micron, High-bandwidth memory (HBM)

https://www.micron.com/products/memory/hbm

[2] NVIDIA, GPU Performance Background User’s Guide

https://docs.nvidia.com/deeplearning/performance/dl-performance-gpu-background/index.html

[3] Micron, AI data center

https://www.micron.com/markets-industries/ai/ai-data-center

[4] Micron, Integrating and Operating HBM2E Memory

https://assets.micron.com/adobe/assets/urn%3Aaaid%3Aaem%3A275edf31-79e3-4b6c-8bbd-a233babe9281/renditions/original/as/micro n-hbm2e-memory-wp.pdf