AI가 만들어낸 ‘메모리 장벽’, 그 해답을 찾아서
“GPU 연산 속도는 매년 폭발적으로 증가하는데, 데이터를 공급하는 메모리는 그 속도를 따라가지 못하고 있다.” — Alper Ilkbahar, Sandisk CTO (FMS 2025 기조연설)
ChatGPT, Gemini, Claude와 같은 대형 언어 모델(LLM)이 일상에 스며들면서, AI 서비스 기업들은 공통된 딜레마에 직면했습니다.
연산 능력(GPU)은 충분한데, 데이터를 공급할 메모리가 병목(bottleneck)이 된다는 것입니다.
현재 AI 서버의 표준 메모리는 HBM(High Bandwidth Memory)입니다. 초고속 대역폭을 제공하지만, 용량이 제한적이고 단가가 매우 높습니다. 반면 NVMe SSD는 용량은 넉넉하지만, 속도가 HBM에 비해 수십 배 느립니다.
바로 이 둘 사이의 공백을 메우기 위해 등장한 것이 HBF(High Bandwidth Flash, 고대역폭 플래시)입니다.
1. HBF란 무엇인가? — 개념과 탄생 배경
HBF의 정의
HBF(High Bandwidth Flash)는 NAND 플래시 메모리를 기반으로 하되, 기존 SSD처럼 저장 장치가 아니라 HBM에 준하는 대역폭을 제공하는 메모리 계층으로 설계된 신규 메모리 기술입니다.
쉽게 말하면:
- HBM처럼 빠른 데이터 공급이 가능하고
- NAND 기반이라 HBM 대비 8~16배의 용량을 같은 비용에 제공합니다
왜 지금인가? — AI의 메모리 수요 폭증
LLM 추론 시, 모델은 모든 파라미터와 KV(Key-Value) 캐시를 메모리에 올려놓아야 합니다.
- Meta의 Llama 4 모델은 최대 1,000만 토큰의 시퀀스를 지원하며
- 이를 처리하려면 최대 5.4TB의 KV 캐시가 필요합니다 (출처: SK하이닉스 IEEE H³ 논문)
현재의 HBM으로는 GPU 한 대당 수십~수백 GB 수준밖에 수용하지 못하므로, 수십 대의 GPU를 병렬로 연결해야 합니다. 이 문제를 근본적으로 해결하는 것이 HBF의 존재 이유입니다.
2. HBF 핵심 기술 스펙 — Sandisk BiCS & CBA 기술
Sandisk는 BiCS(Bit Cost Scalable) NAND와 독자 패키징 기술인 CBA(CMOS directly Bonded to Array)를 결합해 HBF를 구현했습니다.
<Sandisk HBF Gen1 — BiCS NAND + CBA 아키텍처>
출처: Sandisk HBF Fact Sheet (2025) · Tom’s Hardware · Blocks & Files
| 세대 | 읽기 대역폭 | 스택 용량 | 에너지 효율 (Gen1 대비) | 예상 출시 |
|---|---|---|---|---|
| Gen 1 | 1.6 TB/s | 512 GB (16 die) | 기준 | 2026년 하반기 샘플 |
| Gen 2 | 2 TB/s 이상 | 최대 1 TB | 0.8× (20% 절감) | 2027년 이후 |
| Gen 3 | 3.2 TB/s 이상 | 최대 1.5 TB | 0.64× (36% 절감) | 미정 |
출처: Sandisk HBF Fact Sheet (2025), Sandisk FMS 2025 발표
핵심 아키텍처 원리
기존 NAND는 용량과 비용을 최적화하기 위해 설계됐습니다. HBF는 이 설계 철학을 전환해, NAND 어레이를 수많은 미니 어레이로 분할하고 이를 병렬로 동시에 액세스하는 방식으로 HBM급 대역폭을 구현합니다. (출처: eeNews Europe, Sandisk 발표 내용)
3. HBM · HBF · SSD 비교 — 무엇이 어떻게 다른가
HBF 세대별 스펙 비교 (Sandisk 발표 기준)
| 항목 | HBM (DRAM 기반) | HBF (NAND 기반) | NVMe SSD |
|---|---|---|---|
| 기술 기반 | DRAM | NAND Flash | NAND Flash |
| 대역폭 | ~1~4 TB/s (HBM3e) | ~1.6 TB/s (Gen1) | ~14 GB/s |
| 용량 (스택당) | 32~96 GB | 512 GB (Gen1) | 수 TB |
| 지연 시간 | 나노초(ns) | 마이크로초(μs) | 수십~수백 μs |
| 단위 비용 | 매우 높음 | HBM과 유사 | 낮음 |
| 쓰기 내구성 | 높음 | 제한적 | 보통 |
| AI 추론 적합성 | ◎ (빠르나 용량 부족) | ◎ (용량+속도 균형) | △ (속도 부족) |
자체 구성 (공개 기술 자료 기반)
4. SK하이닉스의 접근법 — H³ 하이브리드 아키텍처
SK하이닉스는 IEEE 논문에서 HBM과 HBF를 동일 인터포저 위에 결합한 H³(HBM + HBF Hybrid) 아키텍처를 제안했습니다.
H³의 핵심 원리
- HBF: 모델 가중치(read-only)와 사전 계산된 KV 캐시를 저장
- HBM: 동적으로 생성되는 KV 캐시와 연산 중 데이터 처리
- LHB(Latency Hiding Buffer): HBM 베이스 다이에 내장된 프리페치 버퍼로 NAND의 지연 시간 보완
이 구조는 GPU가 HBM만 장착한 시스템 대비, 동일 GPU 수로 더 많은 동시 요청을 처리할 수 있게 합니다. (출처: SK하이닉스 IEEE H³ 논문, Blocks & Files 2026.02)
KV 캐시 문제와 HBF의 역할
Nvidia는 현재 ICMSP 소프트웨어로 KV 캐시를 로컬 NVMe SSD로 확장하는 방식을 쓰고 있습니다. HBF는 여기서 한 단계 더 나아가, SSD보다 훨씬 빠른 속도로 GPU 가까이에 대용량 캐시를 두는 것을 가능하게 합니다.
5. 상용화 로드맵 — 언제, 어디서 쓰일까
산업 협력 현황
| 시점 | 내용 |
|---|---|
| 2025년 2월 | Sandisk 분사 직후 Investor Day에서 HBF 최초 공개 |
| 2025년 7월 | HBF 기술자문위원회(TAB) 설립 (Prof. David Patterson, Raja Koduri 참여) |
| 2025년 8월 | Sandisk–SK하이닉스 MOU 체결 — 공동 표준화 협력 |
| 2025년 8월 | FMS 2025 ‘Best of Show, Most Innovative Technology’ 수상 |
| 2025년 10월 | SK하이닉스, OCP Global Summit에서 AIN B 시리즈(HBF 기반) 공개 |
| 2025년 하반기 | 삼성전자, HBF 초기 개념 설계 착수 보도 |
| 2026년 하반기 | HBF 모듈 첫 샘플 출하 목표 (Sandisk) |
| 2027년 초 | HBF 탑재 AI 추론 서버 첫 등장 예상 |
6. HBF의 강점과 한계 — 균형 잡힌 시각
✅ 강점
- 압도적 용량: HBM 대비 8~16배 용량, AI 대규모 모델 처리에 유리
- 낮은 단가: HBM과 유사한 비용으로 훨씬 큰 메모리 공간 확보
- 높은 읽기 대역폭: Gen 1 기준 1.6 TB/s, AI 추론의 읽기 집중 특성에 최적
- 낮은 정적 전력 소비: DRAM과 달리 상시 리프레시가 불필요
- 스케일러빌리티: BiCS NAND 기반으로 세대별 용량·대역폭 로드맵 명확
⚠️ 한계 (현 시점)
- 쓰기 속도 및 내구성: NAND 특성상 쓰기 속도가 느리고 소거·쓰기 반복 횟수(P/E 사이클) 제한
- 지연 시간: HBM의 나노초(ns) 수준 대비 마이크로초(μs) 수준 → 극도의 저지연 요구 환경에는 부적합
- 표준화 진행 중: Sandisk·SK하이닉스 MOU 단계로, 업계 전체 표준 확정까지 시간 필요
- AI 학습 부적합: 잦은 데이터 쓰기가 필요한 훈련(Training) 워크로드에는 맞지 않음
🔑 결론: HBF는 AI 추론(Inference) 에 특화된 기술입니다. 학습(Training) 에는 여전히 HBM이 주력입니다.
7. 미래 메모리 계층 구조 — ‘AI 도서관’ 비유
KAIST 김정호 교수(HBM의 아버지로 불리는 인물)는 미래 AI 메모리 구조를 다음과 같이 설명했습니다. (출처: TrendForce, 2025.11)
| 메모리 계층 | 역할 비유 | 특성 |
|---|---|---|
| GPU 내부 SRAM | 책상 위 메모장 | 가장 빠름, 가장 작음 |
| HBM | 바로 옆 책장 | 고속 연산 데이터 |
| HBF | 지하 아카이브 | 대용량, 준고속 |
| 클라우드 스토리지 | 공공 도서관 | 최대 용량, 최저속 |
이 구조에서 HBF는 GPU가 필요로 하는 모델 지식의 ‘깊은 저장소’로 기능하며, HBM에 지속적으로 데이터를 공급하는 역할을 맡게 됩니다.
8. 기술·산업 시사점 — 왜 지금 주목해야 하는가
첫째, AI 추론 시장의 폭발적 성장 추론 비용은 AI 서비스 기업의 주요 원가 항목입니다. HBF가 HBM 병목을 해소하면 동일 GPU로 더 많은 요청을 처리할 수 있어 단위 추론 비용이 낮아집니다.
둘째, 메모리 반도체 지형의 재편 Sandisk(NAND 전문)와 SK하이닉스(HBM 주력)의 협력은 기존 DRAM·NAND 진영의 경계를 허물고 있습니다. 삼성전자도 조기 설계에 착수한 만큼 3사 경쟁 구도가 형성될 전망입니다.
셋째, 엣지 AI 인프라 확대 대형 데이터센터 외에도 소규모 기업·엣지 서버용으로도 설계된 HBF는, AI를 클라우드에 의존하지 않고 현장에서 처리하는 시대를 앞당길 수 있습니다.
⚠️ 투자 주의사항: 이 글은 특정 종목의 매수·매도를 권고하지 않습니다. 기술 분석 정보를 참고하되, 투자 결정은 반드시 공인 금융 전문가와 상담 후 진행하시기 바랍니다.
HBF, AI 인프라의 다음 표준이 될 수 있을까
HBF는 단순한 신제품이 아닙니다. AI 추론의 메모리 병목이라는 구조적 문제에 대한 기술적 해답입니다.
- HBM의 대역폭은 유지하면서 용량을 8~16배 확장
- NAND 기반으로 비용 효율성 확보
- Sandisk, SK하이닉스, 삼성전자가 모두 뛰어드는 차세대 경쟁 무대
2026년 하반기 첫 샘플 출하, 2027년 초 상용 서버 등장이 목표인 만큼, 앞으로 1~2년 내 AI 메모리 시장의 판도를 바꿀 기술로 주목할 가치가 충분합니다.
🔔 AI 반도체·메모리 기술 최신 동향을 놓치지 마세요! 이 블로그를 북마크하거나 뉴스레터를 구독하면, HBF 상용화 업데이트를 가장 먼저 받아볼 수 있습니다.
란? Sandisk·SK하이닉스가 공동 개발 중인 AI 추론 전용 플래시 메모리의 원리·성능·상용화 일정을 데이터 기반으로 분석합니다.){kind=link}