GPU, 새로운 저장 장치 기반 메모리 기술로 수십 TB까지 확장될 수 있을까

(theregister.com)

Sandisk와 SK하이닉스가 개발 중인 고대역폭 플래시(HBF) 기술은 NAND의 대용량과 HBM급 속도를 결합해 GPU 메모리 용량을 테라바이트 단위로 확장함으로써 AI 추론 비용을 혁신적으로 낮출 수 있는 게임 체인저가 될 전망입니다.

이 글의 핵심 포인트

1Sandisk와 SK하이닉스가 HBM급 속도와 SSD급 용량을 갖춘 '고대역폭 플래시(HBF)' 기술을 개발 중임
21세대 HBF 모듈은 최대 1.6 TB/s의 읽기 대역폭과 512GB의 대용량을 제공할 수 있음
3HBM의 쓰기 집약적인 'prefill' 단계와 HBF의 읽기 중심적인 'decode' 단계를 결합한 하이브리드 구조를 제안함
4TSMC의 CoWoS나 Intel의 EMIB 같은 첨단 패키징 기술을 통해 GPU 다이에 직접 통합될 예정임
5NAND 특유의 낮은 쓰기 내구성과 높은 지연 시간 문제를 해결하기 위해 HBM과 상호 보완적인 역할로 설계됨

이 글에 대한 공공지능 분석

왜 중요한가?

기존 HBM은 대역폭은 뛰어나지만 용량 한계로 인해 거대 모델을 여러 GPU에 분산해야 하는 비용 문제가 발생하는데, HBF는 이를 단일 GPU 내 테라바이트급 용량으로 해결할 수 있기 때문입니다.

어떤 배경과 맥락이 있나?

AI 모델 규모가 급격히 커지면서 메모리 대역폭과 용량 부족이 병목 현상을 일으키고 있으며, 이를 극복하기 위해 DRAM 기반의 HBM을 넘어 NAND 기술을 고성능 패키징에 접목하려는 시도가 이어지고 있습니다.

업계에 어떤 영향을 주나?

AI 인프라 구축 비용(TCO)을 획기적으로 낮출 수 있어, 대규모 언어 모델(LLM)을 서비스하는 기업들에게는 하드웨어 효율성을 극대화할 수 있는 강력한 기회가 됩니다.

한국 시장에 어떤 시사점이 있나?

SK하이닉스와 Sandisk의 협력은 한국 반도체 생태계가 단순 메모리 제조를 넘어 차세대 AI 가속기 아키텍처 설계의 핵심 주도권을 쥐게 될 중요한 변곡점이 될 것입니다.

이 글에 대한 큐레이터 의견

HBF 기술은 '용량'과 '비용'이라는 두 마리 토끼를 잡으려는 매우 영리한 전략입니다. 특히 모델 가중치를 읽기 전용처럼 활용하는 'Write-once, Read-many' 방식의 접근은 NAND의 치명적 약점인 쓰기 내구성을 우회하면서도 추론 성능을 높일 수 있는 실질적인 해법입니다. 이는 AI 서비스 스타트업들에게 하드웨어 제약 없이 더 큰 모델을 더 저록하게 운영할 수 있는 인프라적 토대를 제공할 것입니다.

다만, 기술적 낙관론만 경계해야 합니다. HBF가 아무리 빨라도 DRAM(HBM)의 나노초 단위 지연 시간을 마이크로초 단위로 완전히 대체할 수는 없으므로, 소프트웨어 스택 레벨에서의 정교한 데이터 배치 최적화가 선행되지 않는다면 하이브리드 구조의 이점을 온전히 누리기 어려울 수 있습니다. 따라서 개발자들은 향후 등장할 하이브리드 메모리 아키텍처에 맞춰 모델 가중치와 KV 캐시를 어떻게 효율적으로 분산 관리할지에 대한 알고리즘적 준비가 필요합니다.

원문 보기 →