NVIDIA GB300 NVL72에서 MoE 사전 훈련 세계 최고 기록 달성
(developer.nvidia.com)
NVIDIA GB30록 NVL72가 DeepSeek-V3 671B 사전 학습에서 GPU당 1,648 TFLOPs라는 세계 기록을 달성하며, 하드웨어와 소프트웨어가 통합된 랙 스케일 인프라가 MoE 모델의 효율적 확장을 결정짓는 핵심임을 증명했습니다.
이 글의 핵심 포인트
- 1NVIDIA GB300 NVL72, DeepSeek-V3 671B 사전 학습에서 GPU당 1,648 TFLOPs 세계 기록 달성
- 25세대 NVLink를 통해 GPU당 1.8 TB/s 및 랙 전체 130 TB/s의 비차단(non-blocking) all-to-all 대역폭 제공
- 3MoE 아키텍처의 핵심 과제인 'all-to-all' 통신 병목 현상을 하드웨어와 소프트웨어의 공동 설계로 해결
- 4NVIDIA Megatron Core, TorchTitan, JAX 등 소프트웨어 혁신을 통해 이전 세대 대비 3~10배 성능 향상 달성
- 5256개에서 1,024개 GPU로 확장 시에도 GPU당 처리량(throughput) 97% 이상 유지 확인
이 글에 대한 공공지능 분석
왜 중요한가?
AI 모델이 MoE(Mixture of Experts) 구조로 전환됨에 따라 연산량보다 GPU 간 데이터 전송(통신) 효율이 학습 성능의 결정적 변수가 되었음을 보여줍니다. 이는 단순한 칩 성능 경쟁을 넘어 네트워크와 소프트웨어가 통합된 '시스템 단위'의 설계가 AI 경쟁력을 좌우하게 되었음을 의미합니다.
어떤 배경과 맥락이 있나?
최근 DeepSeek-V3와 같은 대규모 MoE 모델은 파라밀터 수는 방대하지만 토큰당 연산량은 적어 효율적이지만, 전문가(Expert) 간 데이터 교환을 위한 'all-to-all' 통신 부하가 매우 큽니다. 이를 해결하기 위해 NVIDIA는 NVLink를 통한 랙 단위의 고대역폭 네트워크 솔루션을 강화해 왔습니다.
업계에 어떤 영향을 주나?
AI 인프라 시장의 중심이 개별 GPU 구매에서 랙 스케일(Rack-scale) 통합 시스템 구축으로 이동할 것입니다. 이는 대규모 컴퓨팅 자원을 확보하려는 기업들에게 더 높은 진입 장벽과 비용 부담을 안겨주는 동시에, 효율적인 인프라 설계 능력이 핵심 경쟁 우위가 될 것임을 시사합니다.
한국 시장에 어떤 시사점이 있나?
고가의 통합 랙 시스템 도입이 어려운 국내 스타트업들은 하드웨어 종속성을 탈피하기 위해 MoE 모델의 추론 최적화나 경량화 기술, 혹은 주어진 대역폭 내에서 최대 성능을 뽑아내는 분산 학습 소프트웨어 스택 개발에 집중하여 차별화된 경쟁력을 확보해야 합니다.
이 글에 대한 큐레이터 의견
NVIDIA의 이번 성과는 AI 인프라가 더 이상 '칩의 집합'이 아닌 하나의 거대한 '단일 컴퓨터(Single Computer)'로 진화하고 있음을 보여주는 결정적 사례입니다. 하드웨어, 네트워크, 소프트웨어를 수직 계열화하여 통신 병목 현상을 물리적으로 해결하는 전략은 모델 규모를 키우려는 기업들에게 강력한 인프라 가이드를 제공합니다.
하지만 이러한 기술적 진보는 스타트업에게 양날의 검입니다. NVIDIA의 생태계가 더욱 견고해짐에 따라, 독자적인 하드웨어 아키텍처를 구축하려는 시도는 막대한 비용과 기술적 난관에 봉착할 수 있습니다. 특히 인프라 비용의 급격한 상승은 자본력이 부족한 스타트업의 대규모 모델 학습 실험 기회를 제한하는 위협 요소가 될 수 있습니다.
따라서 창업자들은 NVIDIA의 강력한 랙 스케일 인프라를 활용하되, 그 안에서 작동하는 '효율적인 알고리즘'과 '통신 최적화 소프트웨어'에 집중해야 합니다. 하드웨어를 따라잡으려 하기보다, 주어진 통신 대목 내에서 최대의 성능을 뽑아낼 수 있는 MoE 구조의 효율적 운용 기술이나 특정 도메인에 특화된 경량 모델링 전략이 실질적인 생존 전략이 될 것입니다.
댓글
아직 댓글이 없습니다. 첫 댓글을 남겨보세요.