HBM (High Bandwidth Memory) — Concept Primer

AI 연산의 메모리 병목을 해소한 수직 적층 DRAM 표준

1. 한줄 정의

HBM (High Bandwidth Memory, 고대역폭 메모리) 은 DRAM 메모리 칩 여러 장을 수직으로 쌓아 올리고, TSV(실리콘 관통 전극)로 연결하여, 기존 DRAM보다 한 자릿수 배 넓은 데이터 통로를 제공하는 특수 메모리다.

한 줄 비유: 일반 도로 대신 32차선 고속도로 — 같은 속도로 움직이는 차가 많아 시간당 통과 대수가 압도적
AI GPU(엔비디아 H100·B200·Rubin 등)는 초당 수 TB(테라바이트)의 데이터를 주고받으며, 기존 DRAM은 이 속도를 감당 못 함
2026년 현재 AI 서버 BOM(자재비) 에서 HBM이 차지하는 비중이 GPU 다이 자체에 근접
JEDEC (Joint Electron Device Engineering Council, 국제 반도체 표준 기구) 공식 규격

왜 투자자에게 중요한가

메모리 3사 이익 구조 재편: SK하이닉스의 2025년 DRAM 종합 매출 1위 탈환 근거
공급자 시장 (Supply-constrained): "2026년 물량 전량 매진" + "연 20% 가격 인상" + "장기 공급계약 + 선수금" 동시 성립
AI GPU 공급 상한과 직결: HBM 출하량이 엔비디아 매출 가이드를 규정
삼성 반격 드라마: HBM3에서 뒤처진 삼성이 HBM4에서 수직통합 우위로 재기할 수 있는가

2. 용어 전개 — 먼저 단어부터 풀어보기

2.1 DRAM (Dynamic Random-Access Memory)

DRAM = Dynamic Random-Access Memory = 동적 임의접근 메모리

Dynamic: 동적 — 전기 신호가 계속 새어나가 주기적으로 재충전(refresh) 필요
Random-Access: 임의 접근 — 데이터 위치에 관계없이 바로 접근 가능 (vs 테이프처럼 순차 접근)
Memory: CPU/GPU가 지금 당장 사용 중인 데이터를 담는 임시 저장소

PC의 "16GB 메모리", 스마트폰의 "8GB RAM"이 모두 DRAM. CPU가 연산을 수행하려면 데이터를 DRAM에서 읽어와야 하므로 메모리 속도가 연산 속도의 병목이 된다.

2.2 Bandwidth (대역폭)

Bandwidth는 단위 시간당 주고받을 수 있는 데이터 양.

단위: GB/s (gigabytes per second) 또는 TB/s (terabytes per second)
1 TB/s = 1초에 1,000 GB 이동

비유 — 파이프의 굵기와 물 속도의 곱:

Interface Width (인터페이스 폭) = 파이프 굵기 (비트 수)
Pin Speed (핀당 속도) = 물이 흐르는 속도
대역폭 = 폭 × 속도

2.3 HBM의 풀네임

HBM = High Bandwidth Memory = 고대역폭 메모리

High: 높은
Bandwidth: 대역폭 (위에서 정의)
Memory: 메모리 (DRAM)

즉 "DRAM인데 대역폭을 엄청 높인 특수 버전".

2.4 TSV (Through-Silicon Via)

TSV = Through-Silicon Via = 실리콘 관통 전극

Through: 관통
Silicon: 실리콘 (반도체 다이 재료)
Via: 배선 통로

얇은 실리콘 다이를 수직으로 뚫어 만든 구리 배선. 여러 장 DRAM을 위로 쌓을 때 각 층을 수직으로 연결하는 통로 역할을 한다.

비유: 다층 건물의 엘리베이터 — 각 층을 오가는 수직 통로

2.5 Stack (스택, 적층)

Stack은 "쌓다"라는 뜻. HBM에서는 DRAM 다이를 몇 장 쌓았는가를 의미.

4-Hi: 4층 쌓음
8-Hi: 8층
12-Hi: 12층 (HBM3e 주력, 2026)
16-Hi: 16층 (HBM4 도입)

2.6 Base Die (베이스 다이, 기반 다이)

DRAM 스택 맨 아래 위치하는 특수한 다이. 다음 역할:

외부 인터페이스: GPU와 통신
Refresh 제어: DRAM 재충전 타이밍 관리
ECC (Error-Correcting Code, 오류 정정 코드): 데이터 오류 감지·보정

중요 전환: HBM4부터 Base die를 파운드리 로직 공정 (TSMC N5/N3) 으로 제작. 이전엔 DRAM 공정으로 만들었음. 이 변화가 삼성의 수직통합 우위 논리의 출발점 (§5 참조).

2.7 Interposer (인터포저, 중간 기판)

HBM 스택과 GPU 다이는 일반 PCB(인쇄회로기판) 위에 놓이는 게 아니라, 얇은 실리콘 인터포저라는 특수 기판 위에 나란히 놓인다.

역할: GPU와 HBM 사이 초단거리 연결 제공 (수 mm)
재료: 얇은 실리콘 웨이퍼 (PCB의 100배 이상 dense한 배선 가능)
대표 기술: TSMC CoWoS (Chip-on-Wafer-on-Substrate) — CoWoS primer 참조

비유: 칩들의 공용 현관 — GPU와 메모리가 짧은 거리로 대화할 수 있는 플랫폼.

3. 역사적 배경 — HBM의 12년 역사

3.1 2013 — HBM1 표준화

SK하이닉스 (000660.KS) 가 AMD (AMD) 와 공동 개발
JEDEC 표준 JESD235 등재
당시 목표: "GDDR5 대역폭 한계 돌파"
AI는 고려 대상 아니었음 — 게이밍 GPU용으로 기획

3.2 2015 — AMD Fiji (Radeon R9 Fury X)

최초 상용 HBM 탑재 GPU
4-Hi × 4 스택 = 4GB 용량
상업적으로는 부진했으나 "인터포저 위 GPU + HBM" 패러다임 확정
이 레이아웃이 2024년 NVIDIA Blackwell까지 그대로 계승

3.3 2016 — NVIDIA P100 (HBM2)

데이터센터·HPC(High-Performance Computing) 진입 분수령
CUDA (NVIDIA GPU 프로그래밍 생태계) 와 결합
"AI/HPC 전용 고급 메모리" 위상 확립

3.4 2018 — HBM2E

핀당 속도 3.2 → 3.6 Gbps
Samsung (005930.KS) · SK하이닉스 · Micron (MU) 3파전 시작

3.5 2022 — HBM3

핀당 6.4 Gbps, 스택당 819 GB/s
SK하이닉스 세계 최초 양산 → NVIDIA H100 독점 공급
메모리 업계 권력 이동 분기점 — 삼성이 30년간 지킨 DRAM 1위 위치 흔들리기 시작

3.6 2024 — HBM3e

핀당 9.2-9.6 Gbps, 8/12-Hi 스택
NVIDIA H200·B200 주력 메모리
Micron 12-Hi 스택 양산으로 존재감 확보

3.7 2026 — HBM4

핀당 10-11 Gbps
인터페이스 폭 1024 → 2048 bit (2배 확장)
16-Hi 스택 도입
Base die를 파운드리 로직 공정으로 제작하는 첫 세대
NVIDIA Rubin (R100) 공급 2026-03 시작

3.8 시장 역전 (2022-2024)

Samsung이 30년+ 유지한 DRAM 1위 흔들림
SK하이닉스 2025년 DRAM 종합 매출 1위 — HBM 폭발적 성장 덕분

3.9 2024-2026 공급자 시장의 성립

다음 4가지 조건이 동시에 성립 — 반도체 역사상 드문 구조:

2026 CY 물량 전량 매진 공식화
연 20% 가격 인상 합의
장기 공급계약 (multi-year agreement)
선수금 (prepayment) 지급

이는 메모리 업계에서 전례 없는 "공급자 우위 (supply-constrained)" 시장이다.

4. 작동 원리 — 왜 HBM이 빠른가

4.1 좁고 깊은 파이프 vs 넓고 얕은 파이프

DDR5 (일반 PC 메모리)와 HBM의 근본 차이:

항목	DDR5	HBM3e
인터페이스 폭	64 bit	1024 bit (16배)
핀당 속도	빠름 (~6.4 Gbps)	낮음 (~9.6 Gbps)
구조	넓고 얕은 파이프	좁고 깊은 파이프
단위 면적당 대역폭	낮음	압도적으로 높음

비유:

DDR5 = "시속 100km로 달리는 1차선 도로" — 빠르지만 한 번에 한 대씩
HBM = "시속 80km로 달리는 16차선 고속도로" — 속도는 낮지만 동시 통과 차량 수가 월등

4.2 수직 적층 (3D Stack) — 공간 절약의 기적

HBM은 DRAM 다이를 4/8/12/16장 수직으로 쌓는다.

왜 쌓는가: 1장만 쓰면 용량이 작아 AI 데이터를 못 담음. 여러 장을 쌓으면 같은 면적에 용량 4-16배.

비유: 주차 타워 — 단층 주차장보다 같은 땅에 훨씬 많은 차를 주차할 수 있다.

2026 주력:

HBM3e: 12-Hi (12층)
HBM4: 16-Hi (16층) — 2026-02부터 양산

4.3 TSV — 수직 통로의 기적

다이를 쌓기만 하면 각 층을 어떻게 연결할까? → TSV (실리콘 관통 전극).

각 다이를 수직으로 뚫어 구리 배선을 통과시킴
옆면 와이어본딩 대비 지연(latency) 낮음
면적 거의 차지 안 함

중요: TSV 수율이 HBM 전체 수율을 결정한다. 16-Hi 스택에서 TSV 하나만 불량이어도 전체 스택 불량 → 왜 16-Hi가 어려운지의 핵심 이유.

4.4 Base Die — 스택의 두뇌

스택 맨 아래에 위치하는 "통제 센터".

I/O 인터페이스: GPU와 통신
Refresh 제어: DRAM은 수십 ms마다 재충전 필요 (전기 새어나감)
ECC: 오류 감지·보정

HBM4의 혁신: Base die를 DRAM 공정이 아닌 파운드리 로직 공정(TSMC N5/N3) 으로 제작.

왜 바꾸는가: 2048-bit 인터페이스는 DRAM 공정으로 만든 I/O 드라이버 밀도·열 효율로는 감당 불가
파급 효과: Samsung이 자사 파운드리(GAA 4nm)로 HBM4 Base die를 만들 수 있는 유일한 기업 — 수직통합 우위 재평가

4.5 인터페이스 폭 & 속도 진화

세대	인터페이스	핀당 속도	스택당 대역폭
HBM3	1024 bit	6.4 Gbps	819 GB/s
HBM3e	1024 bit	9.6 Gbps	~1.2 TB/s
HBM4	2048 bit	10-11 Gbps	~2.5 TB/s

HBM4의 스택당 2.5 TB/s 대역폭은 1초에 2.5조 개 바이트를 GPU와 주고받는 속도. 이 정도 속도가 있어야 GPU가 연산 중에 데이터를 기다리지 않는다.

4.6 실리콘 인터포저와 CoWoS

HBM 스택과 GPU는 일반 PCB가 아닌 실리콘 인터포저 위에 나란히 배치됨.

초단거리 연결 — 전기 신호 지연 최소화
TSMC CoWoS 가 사실상 표준
CoWoS 월 capacity가 HBM 공급의 실질적 상한을 결정 (CoWoS primer 참조)

4.7 HBM 스택 구조 시각화

Loading diagram

5. 투자자 관점 — 공급자 시장과 3사 전쟁

5.1 왜 HBM은 공급자 시장인가

HBM은 반도체 역사상 보기 드문 "3개 공급자 × 매진된 capa × 연 20%+ 가격 인상" 조합의 시장이다. 이유:

(1) 제조 난이도 극도로 높음

TSV 수율 문제로 12-Hi 이상에서 수율 50-70%
공정 미세화 + 스택 증가 동시 진행
신규 진입자 진입 불가 (SK하이닉스도 13년 누적)

(2) 수요 폭발

NVIDIA·AMD·Broadcom AI 가속기 전용 수요
하이퍼스케일러 CapEx 확대로 2027까지 수요 가속

(3) 공급 확장 제약

DRAM capa 늘려도 TSV 수율·CoWoS capa 병목
2026 HBM 출하 병목의 본질은 DRAM capa가 아닌 패키징

5.2 메모리 공급 3사 — 격차가 존재한다

SK하이닉스 (000660.KS) — HBM 시장 주도자

HBM 62% 점유 (2025 Q2 기준)
NVIDIA Rubin HBM4 ~70% 선점 (2026-01 보도)
CFO "2026 HBM 전량 매진" 공식화
HBM3 선도 이후 NVIDIA와 공동 설계 밀착 → Switching Cost화
Q4'25 영업이익률 58% (역사적 기록)

Micron (MU) — 2위로 부상

2024 3위 → 2025 Q3 이후 Samsung 추월해 2위 부상
연간 run-rate $8B
2026 CY sold out
HBM4 2026 Q2부터 본격 램프
강점: 미국 기업 → CHIPS Act $6.4B 수혜 (지정학 해자)

Samsung (005930.KS) — 반격 시도

HBM3에서 뒤처졌으나 HBM4에서 반격 시도
2026-02 HBM4 양산 개시
NVIDIA Rubin 세컨드 소스 확보
메모리 + 파운드리 수직통합 유일 — Base die 자체 파운드리 제작 가능
HBM4 스펙: 1c DRAM + 4nm 로직, 11.7 Gbps · 3.3 Tbps · 전력효율 +40%
공세: HBM3E 30% · HBM4 SK 대비 6-8% 낮은 가격

Counterpoint 2026 HBM4 점유율 전망:

SK하이닉스 54% (HBM3 73%에서 후퇴)
Samsung 28% (복귀)
Micron 18%

5.3 수요자 (AI 가속기) — HBM이 GPU 매출을 결정한다

NVIDIA (NVDA) — HBM 수요 절대 다수

H200·B200 (HBM3e) → Rubin (HBM4) 전환
2026 TSMC CoWoS 50%+ 선점
단일 GPU당 HBM 탑재량 384GB → 576GB (HBM4 16-Hi로 증가)

AMD (AMD) — HBM 공격 탑재

MI300X / MI325 / MI355 시리즈
NVIDIA 대비 HBM 용량 공격적 — 경쟁 차별화 요소

Broadcom (AVGO) — ASIC + HBM 우회

Google TPU · Meta MTIA · AWS Trainium 등 하이퍼스케일러 ASIC
이들도 HBM 탑재 → HBM 수요의 새로운 축

5.4 시장 구조 & 가격

시장 규모

2026 HBM 시장 (좁은 정의): ~$30B
2026 HBM 시장 (넓은 TAM, Goldman Sachs): ~$45B
2028: $100B 돌파 전망

가격 프리미엄

HBM3e ASP: 서버 DDR5 대비 4-5배 (2025)
2026 말: 1-2배로 축소 전망 (DDR5 단가 급등)
2026 HBM3e 연간 ~20% 가격 인상 합의
HBM4 12-Hi 개당 ~$500 (HBM3e ~$300 대비 67% 프리미엄)

마진 트리거

HBM 비중이 메모리 3사 매출의 30-40% 넘으면 전체 OP 마진이 사이클 피크를 초과하는 구조적 상승
2026 SK하이닉스 · Micron 도달 예상

5.5 진짜 병목 — 패키징이 문제다

CoWoS capa:

TSMC 2026 말까지 월 12-13만 장 확장 목표
그러나 다음 모두 제약:
- HBM TSV 수율
- 인터포저 수율
- 베이스 다이 로직 공정 capa
결론: HBM 출하량 병목 = 패키징 병목

수혜 확장

HBM 수혜는 메모리 3사만이 아니라:

TSMC — CoWoS 독점 (상세: CoWoS primer)
인터포저 공급사 — Shinko, Ibiden, Unimicron
Substrate 공급사 — ABF (Ajinomoto) 등
CoWoS 장비사 — Disco (다이싱), BESI (하이브리드 본더)

5.6 투자자 관점에서 보면

HBM은 현시점 반도체 산업에서 가장 순수한 공급자 우위 시장이다. 가격 결정력·수주 가시성·마진 확장 동시 성립 — 비슷한 조건은 2000년대 초반 DRAM 초과호황 이후 처음이다.

투자 포지셔닝 시나리오

SK하이닉스 — 시장 리더, HBM4 수익성 지속 시 프리미엄 정당화
Samsung — HBM4에서 복귀 시 턴어라운드 스토리, 수직통합 재평가 촉매
Micron — 미국 기업 프리미엄 + CHIPS Act 수혜
TSMC/장비사 — 병목 수혜 우회 경로

하방 리스크

AI CapEx 사이클 피크 우려 (2027-28)
중국 CXMT의 DDR5 저가 공세 — HBM 경쟁 압력 (장기)
HBM4 수율 이슈 (새 구조, 새 공정)

투자자가 기억할 것: HBM은 "메모리 사이클"의 규칙을 일부 우회하는 구조적 변화다. 단기 사이클 피크 시 기존 DRAM 대비 훨씬 완만한 하강이 예상되나, 완전히 면역은 아니다.

6. 다음으로 읽을 것

HBM4 심층: 주간 학습자료 AI 반도체 밸류체인 — GAA·HBM4 전환이 말하는 것 — TSV · 16-Hi · Rubin qualification · Base die 로직 공정 전환
이웃 Concept Primer:
- CoWoS — Concept Primer — HBM과 불가분의 패키징
- FinFET — Concept Primer — Base die 로직 공정 전환 이해
관련 IC 메모: /reports/005930-2026-04-16 — 삼성전자 (Samsung Electronics)

개념 사전

용어	풀네임	직관적 정의
HBM	High Bandwidth Memory	고대역폭 메모리 — DRAM을 수직 적층한 특수 메모리
DRAM	Dynamic Random-Access Memory	동적 임의접근 메모리 — CPU/GPU 작업 메모리
JEDEC	Joint Electron Device Engineering Council	국제 반도체 표준 기구
Bandwidth	Bandwidth	단위 시간당 주고받을 수 있는 데이터 양
Pin Speed	Pin Speed	핀당 전송 속도 (Gbps)
Interface Width	Interface Width	데이터 통로 폭 (bit)
TSV	Through-Silicon Via	실리콘 관통 전극 — 수직 층간 배선
Stack	Stack	쌓음. 4/8/12/16-Hi로 표기
4-Hi/8-Hi/12-Hi/16-Hi	—	4/8/12/16 층 적층
Base Die	Base Die	스택 최하단, I/O·Refresh·ECC 담당
Interposer	Silicon Interposer	얇은 실리콘 기판 — GPU와 HBM을 짧게 연결
CoWoS	Chip-on-Wafer-on-Substrate	TSMC 독점 2.5D 패키징 기술
DDR5	Double Data Rate 5th Gen	일반 PC/서버용 DRAM 표준
GDDR5	Graphics DDR 5	구형 그래픽 메모리 — HBM 이전 게이밍 GPU 표준
Refresh	Refresh	DRAM 데이터 재충전 (수십 ms마다 필요)
ECC	Error-Correcting Code	오류 정정 코드
CUDA	Compute Unified Device Architecture	NVIDIA GPU 프로그래밍 환경
HPC	High-Performance Computing	고성능 컴퓨팅 (슈퍼컴·데이터센터)
ASIC	Application-Specific Integrated Circuit	특정 용도 반도체 (예: 하이퍼스케일러 AI 가속기)
Switching Cost	Switching Cost	다른 공급자로 바꿀 때 드는 비용·시간·리스크

출처

문서 메타데이터

생성일: 2026-04-19 (재생성)
독자 가정: 투자 지식은 있으나 기술 배경 없는 비전공 투자자
적용 규칙: .claude/rules/reader-assumption.md
분량: ~340줄 (목표 200-300 범위 초과 허용 — 공급 구조 상세)
Mermaid: 1개 (HBM 스택 구조)