공유 심층 분석

AI 메모리의 미래: HBM 이후의 전장

마지막 업데이트: 2026-05-11

고속도로를 넓히는 것만으로는 부족한 시점

고속도로를 상상해 보세요. 차선을 2배로 넓혔더니 교통체증이 풀렸습니다. 그래서 다시 2배로 넓혔습니다. 또 풀렸습니다. 그런데 문제가 생깁니다. 차선을 넓히는 속도보다, 도로 위에 쏟아지는 차량이 늘어나는 속도가 더 빠릅니다. 어느 순간부터는 "도로를 넓히는 것"만으로는 영원히 교통체증을 풀 수 없습니다.

이것이 지금 AI 메모리에서 벌어지는 일입니다. HBM은 메모리 고속도로를 1,024차선으로 넓힌 혁명적 기술이었습니다. 하지만 GPU의 연산 속도는 2년마다 3배씩 빨라지고, 메모리 대역폭은 2년마다 1.6배에 그칩니다. 이 격차는 해가 갈수록 벌어집니다.

HBM 아키텍처 완전 분석: TSV부터 패키징까지

이 글은 "HBM 이후에 무엇이 오는가"를 다룹니다. 4개의 기술이 각각 다른 방식으로 Memory Wall에 도전하고 있습니다. 어떤 것은 이미 수주가 확정되었고, 어떤 것은 아직 시연 단계입니다. 어떤 것은 NVIDIA가 거부했고, 어떤 것은 Google만 채택했습니다. 투자자가 알아야 할 것은 "어떤 기술이 좋은가"가 아니라, "어떤 기술이 언제, 얼마만큼의 매출로 전환되는가"입니다.

1. Memory Wall: 왜 HBM만으로는 부족한가

Memory Wall이라는 용어는 1994년에 처음 등장했습니다. 프로세서는 빨라지는데 메모리가 따라가지 못하는 구조적 병목. 30년이 지난 지금, AI 시대에 이 문제는 오히려 심화되고 있습니다.

출처: arxiv 2403.14123. GPU FLOPS는 DRAM 대역폭보다 1.9배 빠르게 확대

숫자로 보면 명확합니다. GPU 연산 능력은 2년마다 3배로 증가합니다. 반면 DRAM 대역폭은 2년마다 1.6배에 그칩니다. 그리고 AI 모델의 크기는 2년마다 410배씩 폭증합니다. HBM 용량이 2년마다 2배로 늘어도, 모델 크기 성장을 따라갈 수 없는 구조입니다.

이것이 왜 문제인가? LLM 추론의 80%는 memory-bound입니다. GPU가 아무리 빨라도, 메모리에서 데이터를 읽어오는 속도가 병목이면 GPU는 놀게 됩니다. 더 심각한 것은 에너지입니다. 7nm 칩에서 전체 전력의 63.7%가 연산이 아니라 데이터 이동에 소비됩니다.

출처: SK하이닉스 CES 2024 기조연설, Semiengineering (memory-bound 80%), IBM Research (에너지 63.7%)

HBM이 이 문제를 완화했지만, 해결하지는 못합니다. 차선을 계속 넓히는 것은 한계가 있습니다. 그래서 4개의 근본적으로 다른 접근이 동시에 개발되고 있습니다.

2. 4개의 해법, 4개의 현실

4개의 기술은 각각 Memory Wall의 다른 측면을 공격합니다. 비유로 먼저 이해해 봅시다.

개념적 시각화. 4개 기술이 각각 "고속도로(메모리 대역폭) 문제"를 다른 각도에서 풀고 있음

핵심은 이것입니다. 이 4개의 기술은 경쟁이 아니라 보완 관계입니다. Custom HBM은 "학습"의 핵심축이고, PIM은 "추론 효율"의 궁극이며, CXL은 "용량 확장"의 도구이고, HBF는 "용량의 벽"을 깨는 무기입니다. 모든 기술이 동시에 한 시스템 안에 공존할 수 있습니다.

출처: TrendForce, SK하이닉스, JEDEC, Yole Group 종합

이제 각 기술을 하나씩 해부하겠습니다. 가장 즉각적인 매출 임팩트가 있는 Custom HBM부터 시작합니다.

3. Custom HBM: 범용 메모리가 죽는다

이게 뭐야?

HBM 스택의 최하단에 있는 Base Die(로직 다이)를 고객별로 맞춤 설계하는 것입니다. 지금까지 HBM은 "하나의 규격"으로 모든 고객에게 납품되었습니다. Custom HBM은 NVIDIA용, Microsoft용, Broadcom용을 각각 다르게 설계합니다.

개념적 시각화. SK하이닉스가 프라임 벤더로 고객 발주를 받고, TSMC에 Base Die를 위탁하는 구조

왜 필요해?

HBM4부터 최하단에 TSMC가 만든 Logic Base Die가 들어갑니다. 이 로직 다이에 ECC, PHY, 전력 관리, 보안 회로가 탑재됩니다. 고객마다 요구 사항이 다릅니다. NVIDIA는 NVLink 최적화를 원하고, Microsoft는 자사 AI 칩 Maia에 맞는 인터페이스를 원합니다.

출처: SK하이닉스, TrendForce. 용량/전력 수치는 Custom Base Die 적용 시 개선 효과

그렇다면 "TSMC가 Base Die를 만든다"는데, SK하이닉스는 뭘 하는 걸까요? 건축에 비유하면 이렇습니다. 건축주(NVIDIA)가 건설사(SK하이닉스)에 "우리 GPU에 맞는 Custom HBM을 만들어줘"라고 발주합니다. 건설사가 특수 기초공사(Base Die 제조)는 전문업체(TSMC)에 위탁하지만, 전체를 총괄하고, 전문업체와 공동 설계하고, 최종 건물을 완성해서 납품하는 것은 건설사입니다.

SK하이닉스가 기여하는 것은 많습니다. 첫째, DRAM 스택 전체(8~12층)를 설계하고 생산하는 본업. 둘째, Base Die 공동 설계. DRAM과 Base Die 사이 인터페이스를 최적화하려면 메모리 전문 지식이 필수이고, 이건 TSMC 혼자 할 수 없습니다. 셋째, DRAM + Base Die를 하나의 스택으로 조립하는 최종 패키징. 넷째, NVIDIA의 요구사항을 받아서 설계에 반영하는 총괄 창구 역할. SK하이닉스가 프라임 벤더(총괄 계약자)이고, TSMC는 그중 한 공정을 담당하는 파트너입니다.

누가 앞서?

SK하이닉스가 명확히 선행합니다. NVIDIA, Microsoft, Broadcom 3대 고객의 수주를 확정했습니다. 삼성은 cHBM이라는 이름으로 독자 개발 중이지만, 확정된 고객 수주가 공개되지 않았습니다.

현실 체크

그러나 이것이 현실화되더라도 시간이 걸립니다. Base Die 설계는 메모리 인터페이스에 대한 깊은 이해가 필요하며, SK하이닉스-TSMC "원팀" 체제가 수년간 축적한 공동 최적화 경험은 단기간에 복제하기 어렵습니다.

투자 임팩트

Custom HBM은 4개 기술 중 가장 즉각적인 매출 임팩트를 가집니다.

투자자에게 핵심은 두 가지입니다.

첫째, ASP 상승. Custom Base Die는 설계 비용이 높으므로 스택당 단가가 올라갑니다. HBM 시장이 2026년 +77%, 2027년 +68% 성장하는 데 Custom ASP 프리미엄이 기여합니다.

둘째, 고객 락인. 전환비용이 설계 10개월 이상이며, 드롭인 교체가 불가능합니다. 한번 SK하이닉스의 Custom HBM을 채택한 고객은 쉽게 삼성이나 Micron으로 바꿀 수 없습니다. 이것은 메모리 산업 역사상 처음으로 "전환비용"이라는 해자가 만들어지는 것입니다.

Custom HBM이 📈000660SK하이닉스의 밸류에이션에 미치는 영향은 종목 분석에서 상세히 다룹니다.

4. PIM: 데이터 이동을 없앤다

이게 뭐야?

PIM(Processing-In-Memory)은 메모리 칩 내부에 연산 유닛을 넣는 기술입니다. 데이터를 GPU로 옮겨서 계산하는 대신, 데이터가 있는 곳에서 바로 계산합니다. 고속도로 비유로 돌아가면, 도로 위 휴게소에서 바로 가공하는 것입니다. 물건을 목적지까지 옮기지 않고 중간에서 처리하면, 도로를 쓸 필요 자체가 줄어듭니다.

개념적 시각화. PIM은 HBM 내부에 연산 유닛을 넣어 데이터 이동 자체를 줄인다

왜 필요해?

Memory Wall의 근본 원인은 "데이터 이동"입니다. 전력의 63.7%가 연산이 아니라 데이터를 옮기는 데 소비됩니다. PIM은 이 이동 자체를 제거합니다. LLM 추론에서 어텐션 연산처럼 메모리 집약적인 작업을 HBM 내부에서 처리하면, GPU는 복잡한 연산에만 집중할 수 있습니다.

누가 앞서?

누가 앞서는가는 기준에 따라 다릅니다. 성능 시연에서는 SK하이닉스의 AiMX가 앞섭니다(Meta Llama 3 70B 구동, GPU 대비 10배 속도). 실제 제품 출시에서는 삼성의 Aquabolt-XL이 먼저였습니다(1세대 HBM-PIM 양산 이력). 그리고 2025년 7월에는 양사가 JEDEC에서 LPDDR6-PIM 공동 표준을 만들기로 합의했습니다. 경쟁과 협력이 동시에 진행됩니다.

솔직히 말하면, PIM에서 확실한 승자는 아직 없습니다. 양쪽 다 시연이나 1세대 제품 수준이고, 상용화(실제 매출)는 2027~28년 이후입니다. 공동 표준을 만들고 있다는 것 자체가 시사점입니다. 시장이 충분히 크다면 경쟁하겠지만, 아직은 "시장을 같이 키우자"는 단계라는 뜻이기도 합니다. 투자 관점에서 PIM의 승자가 갈리는 시점은 2028년 이후입니다.

현실 체크

투자 임팩트

PIM 시장은 2025년 $2~3.5B에서 2033년 $15B로 성장 전망(CAGR 25%)입니다. 그러나 이것은 순수 PIM 칩 시장 전체이며, SK하이닉스와 삼성의 매출에 유의미하게 기여하는 시점은 2028년 이후로 봐야 합니다.

HBM과의 관계는 "보완"입니다. PIM이 HBM을 대체하는 것이 아니라, HBM 스택 위에 PIM 기능이 추가되는 구조입니다. 장기적으로는 "HBM+PIM" 하이브리드가 표준이 될 가능성이 높습니다. 투자 관점에서 PIM은 "지금 사는 이유"가 아니라 "장기 보유 근거"입니다.

5. CXL: 기대와 현실의 괴리

이게 뭐야?

CXL(Compute Express Link)은 여러 서버가 하나의 메모리 풀을 공유하는 기술입니다. 지금은 각 서버가 자기 메모리만 씁니다. 서버 A가 바쁠 때 서버 B의 메모리는 놀고 있어도 빌려 쓸 수 없습니다. CXL은 이 벽을 허물어, 데이터센터 전체의 메모리를 하나의 풀로 만듭니다.

개념적 시각화. CXL은 AI 학습(실시간 동기화)에는 부적합하지만, 추론과 데이터센터 효율화에는 유효

왜 필요해?

데이터센터에서 서버 메모리의 평균 활용률은 50~60%에 불과합니다. 나머지는 "혹시 필요할까 봐" 꽂아둔 채 놀고 있습니다. CXL Memory Pooling을 쓰면 필요한 서버가 필요한 만큼만 가져다 쓸 수 있어, TCO(Total Cost of Ownership)를 15~25% 절감할 수 있습니다.

누가 앞서?

CXL에서는 삼성이 선행합니다. CMM-D를 이미 양산 중이며, CXL 3.1 기반 1TB 제품의 Design-in까지 진행하고 있습니다. SK하이닉스는 CXL 2.0 단계에서 고객 검증을 마쳤습니다.

현실 체크

출처: SemiAnalysis, 업계 측정치. CXL은 DDR5 대비 2~5배 레이턴시 열위

왜 AI 학습에서는 치명적일까요? AI 학습은 수천 개의 GPU가 동시에 같은 데이터를 읽고 씁니다. 한 GPU가 "이 파라미터를 업데이트했어"라고 하면, 나머지 GPU들이 즉시 그 값을 봐야 합니다. 여기서 0.001초만 늦어도 전체가 멈추고 기다려야 합니다. CXL의 2~5배 레이턴시는 이 실시간 동기화를 견디지 못합니다.

반면 AI 추론은 다릅니다. 추론은 "질문 하나 받고 답 하나 내보내기"입니다. 학습처럼 수천 GPU가 실시간으로 동기화할 필요가 없습니다. 대신 큰 모델을 메모리에 올려놓는 용량이 더 중요합니다. 약간 느려도 용량이 넉넉하면 되는 것이죠. CXL이 딱 이 용도입니다. "일반 데이터센터 용량 확장"에서도 마찬가지로, 실시간 동기화보다 메모리 풀 크기가 중요합니다.

투자 임팩트

CXL 시장 전망은 2024~25년 $1.3~1.9B에서 2030년 $12~20B(CAGR 28~32%)입니다. 2028년에는 서버 DRAM 중 CXL 비중이 31%에 달한다는 전망도 있습니다.

그러나 투자자는 두 가지를 구분해야 합니다. CXL의 성장은 "AI 학습 시장"이 아니라 "일반 데이터센터 효율화 시장"에서 옵니다. NVIDIA GPU 학습 클러스터에서는 CXL이 쓰이지 않습니다. 따라서 CXL 성장이 HBM 수요를 잠식하지 않습니다. 둘은 서로 다른 시장을 겨냥합니다.

왜 CXL에서는 SK하이닉스가 뒤쳐졌을까요? SK하이닉스는 HBM에 올인했습니다. HBM이 당장 돈이 되는 AI 학습 시장의 핵심이니까요. CXL은 시장이 아직 작고($1.3~1.9B), 본격 성장은 2028년 이후입니다. SK하이닉스 입장에서는 "지금 HBM으로 돈 벌고, CXL은 나중에 따라가도 된다"는 판단입니다.

삼성은 정반대입니다. HBM에서 밀리니까 CXL에 먼저 투자한 것입니다. 앞으로 AI 추론 시장이 학습보다 커질수록, CXL이 쓰이는 시장도 커지고, 그 시장에서 삼성이 선행합니다. CXL에서의 삼성 선행은 "HBM 열위를 다른 축으로 보완하는" 전략의 일부로 읽어야 합니다.

6. HBF: 용량의 벽을 깬다, 그러나

이게 뭐야?

HBF(High Bandwidth Flash)는 NAND 플래시를 HBM처럼 고속으로 만든 기술입니다. 고속도로 비유로 돌아가면, 고속도로 옆에 화물열차 철로를 추가로 까는 것입니다. 고속도로(HBM)보다 느리지만, 한 번에 실을 수 있는 화물량이 압도적입니다. HBM 스택 1개가 최대 48GB라면, HBF 스택 1개는 512GB(미래 4TB)입니다.

개념적 시각화. HBF는 HBM과 드롭인 호환으로 계층형 메모리를 구성. NVIDIA와 Google의 입장이 갈리는 이유는 사업 모델 차이

왜 필요해?

LLM이 커지면서 KV 캐시(모델이 대화 맥락을 기억하는 공간)가 폭발적으로 증가합니다. 1,000만 토큰 컨텍스트의 KV 캐시를 HBM에만 담으려면 GPU 32대가 필요합니다. HBF를 쓰면 2대로 줄어듭니다. GPU 94% 절감. 이것이 HBF의 핵심 가치입니다.

어떻게 가능할까요? HBM은 빠르지만 용량이 작습니다(스택당 최대 48GB). NAND 플래시는 느리지만 용량이 압도적입니다(512GB, 미래 4TB). HBF는 이 NAND를 HBM 인터페이스와 호환되게 만들어서, "자주 쓰는 데이터(활성 KV 캐시)는 HBM에, 덜 쓰는 데이터(오래된 대화 맥락)는 HBF에" 나눠 담는 것입니다. GPU 입장에서는 HBM이든 HBF든 같은 방식으로 접근할 수 있습니다(드롭인 호환). 고속도로 비유로 돌아가면, 급한 화물은 고속도로(HBM)로 보내고, 대량 화물은 옆에 깔아둔 철로(HBF)로 보내되, 둘 다 같은 물류 시스템에서 관리하는 구조입니다.

출처: SK하이닉스 H3 아키텍처 발표 (2026.02). 10M 토큰 KV 캐시 처리 기준

누가 앞서?

SK하이닉스가 SanDisk(Western Digital)과 공동으로 2026년 2월에 발표했습니다. 읽기 대역폭 1.6 TB/s(최대 3.2 TB/s), 성능/와트 +2.69배 개선. HBM4와 핀/전력 호환으로 드롭인 확장이 가능합니다.

삼성도 참여를 확인했으며 2027년 상용화를 목표로 합니다. OCP(Open Compute Project)에서 표준화가 진행 중이며, 주목할 점은 JEDEC이 아니라 OCP라는 것입니다. 이는 특정 하이퍼스케일러들이 주도하는 표준임을 의미합니다.

현실 체크

왜 NVIDIA는 쓰지 않겠다는 걸까요? 두 가지 이유가 있습니다.

첫째, 기술적 판단입니다. NVIDIA는 이미 GPUDirect Storage라는 기술로 고성능 SSD를 GPU에 직접 연결하는 방식을 가지고 있습니다. 젠슨 황이 "enterprise SSDs로 충분하다"고 한 것은, 새로운 메모리 규격(HBF)을 도입하지 않아도 기존 방식으로 해결할 수 있다는 판단입니다.

둘째, 사업 모델 충돌입니다. HBF가 GPU 수를 94% 줄여준다면, NVIDIA 입장에서는 GPU를 덜 파는 것입니다. GPU를 많이 파는 게 이익인 NVIDIA가, GPU를 절약하게 해주는 기술을 적극적으로 밀 이유가 없습니다. 반면 Google이 채택한 이유는 명확합니다. Google은 자체 TPU를 만들고 자체 데이터센터를 운영합니다. NVIDIA에게 GPU를 사는 입장이 아니라 직접 만드는 입장이니, "인프라 절약 = 직접적 비용 절감"입니다.

추가 한계도 있습니다. NAND는 쓰기 내구성(endurance)이 제한적입니다. AI 학습처럼 데이터를 반복 쓰는 워크로드에는 부적합합니다. 따라서 HBF는 "추론 전용" 기술입니다. 학습에서는 쓸 수 없습니다.

투자 임팩트

HBF가 HBM을 추월하는 시점은 2038년(TrendForce 전망)입니다. 12년 뒤입니다. 지금 당장의 매출 기여는 0이며, 2027년 첫 상용화 이후에도 Google 등 소수 고객 전용일 가능성이 높습니다.

투자 관점에서 HBF는 "리스크 분산"입니다. AI 추론 시장이 학습 시장보다 커지는 장기 시나리오에서, HBF를 보유한 기업은 추가 성장 옵션을 가집니다. 하지만 2026~2028년 투자 판단에서는 핵심 변수가 아닙니다.

7. 투자자를 위한 정리

SK하이닉스 vs 삼성전자: 기술별 선행자 비교

핵심 판단: "풀스택 = 보험"

📈005930삼성전자를 포함한 경쟁사 대비 SK하이닉스의 차별점은 "풀스택" 전략입니다. 곽노정 CEO는 자사를 "Full Stack AI Memory Provider"라고 포지셔닝합니다. 이것은 마케팅이 아니라 투자 논리입니다. 4개 기술 모두에서 포지션을 가진 기업은, 어떤 기술이 주류가 되든 수혜를 받습니다.

삼성의 전략은 다릅니다. HBM에서의 열위를 CXL 선행으로 보완하고, Custom HBM을 빠르게 추격하며, PIM에서 공동 표준을 통해 격차를 줄이는 구도입니다. "풀스택"이라는 동일한 단어를 쓰지만, SK는 공격적 선점이고 삼성은 방어적 보완입니다.