AMD MI355X에서 Kimi K3를 실행해 B300보다 높은 달러당 성능 달성

(news.hada.io)

AMD MI355X가 대규모 언어 모델 Kimi K3 실행 시 높은 VRAM 용량과 저렴한 비용을 바탕으로 NVIDIA B300 대비 뛰어난 달러당 성능을 기록하며 AI 추론 시장의 새로운 경제적 대안으로 부상하고 있습니다.

이 글의 핵심 포인트

1AMD MI355X는 Kimi K3 실행 시 48 tok/s/$의 달러당 처리량을 기록하여 NVIDIA B300(33 tok/s/$)을 앞섬
2MI355X의 288GB VRAM 덕분에 2.8T 모델을 단일 노드에서 실행 가능하며, 이는 두 노드가 필요한 B200 대비 통신 비용 절감 효과를 가져옴
3추측 디코딩(Speculative Decoding) 최적화를 통해 단일 스트림 성능을 약 2.2배 향상시킴
4ROCm 환경의 커널 부재 문제를 새로운 사용자 정의 커널 대신 PyTorch 함수와 형상 보정(Zero-padding)으로 해결함
5NVIDIA B300 대비 GPU 시간당 가격이 약 2.4배 저렴하여 경제적 우위를 점함

이 글에 대한 공공지능 분석

왜 중요한가?

NVIDIA 독점 체제에서 AMD의 하드웨어 경쟁력이 단순 연산 속도가 아닌 '메모리 용량'과 '비용 대비 성능'이라는 실질적 경제성 측면에서 증명되었기 때문입니다. 이는 대규모 모델 서빙 비용을 고민하는 기업들에게 중요한 전환점이 됩니다.

어떤 배경과 맥락이 있나?

최근 DeepSeek, Kimi 등 초거대 오픈소스 모델이 등장하며 수조 단위의 매개변수를 처리하기 위한 고용량 VRAM 수요가 급증하고 있습니다. NVIDIA B200/B300 대비 AMD MI355X는 더 높은 GPU당 메모리를 제공하여 노드 간 통신 비용을 줄이는 구조적 이점을 가집니다.

업계에 어떤 영향을 주나?

AI 인프라 구축 시 무조건적인 NVIDIA 선호에서 벗어나, 모델의 크기와 워크로드 특성에 따라 AMD와 같은 대감형 하드웨어를 선택하는 '하드웨어 다변화' 전략이 본격화될 것입니다. 이는 GPU 클라우드 서비스 제공업체들의 비용 구조 개선으로 이어질 수 있습니다.

한국 시장에 어떤 시사점이 있나?

고비용 NVIDIA 인프라에 의존적인 국내 AI 스타트업들에게 AMD 기반의 저비용·고효용 추론 환경은 모델 상용화의 수익성을 높일 수 있는 핵심 기회입니다. 다만, ROCm 등 소프트웨어 생태계 적응을 위한 엔지니어링 역량 확보가 필수적입니다.

이 글에 대한 큐레이터 의견

AMD MI355X의 사례는 AI 인프라 전략이 '최고 성능'에서 '최적 비용 대비 성능(Price-Performance)'으로 이동하고 있음을 보여주는 결정적인 지표입니다. 특히 2.8조 매개변수와 같은 초거대 모델 시대에는 연산력만큼이나 VRAM 용량이 병목을 해결하는 핵심 요소가 되며, AMD의 높은 메모리 밀도는 NVIDIA의 고가 정책에 대응할 강력한 무기가 될 수 있습니다.

하지만 주의해야 할 리스크는 소프트웨어 생태계의 성숙도와 벤치마크의 신뢰성입니다. 기사에서 언급된 것처럼 ROCm 환경에서의 커널 오류나 최적화 작업은 개발자에게 추가적인 엔지니어링 비용을 발생시키며, 이는 하드웨어 절감액을 상쇄할 수 있습니다. 또한, 논란이 된 저렴한 GPU 대여 가격의 실효성을 면밀히 검토하여 실제 운영 환경에서의 TCO(총 소유 비용)를 계산하는 신중함이 필요합니다. 스타트업 창업자라면 하드웨어의 스펙뿐만 아니라, 해당 인프라를 운용하기 위한 소프트웨어 최적화 난이도와 실제 가용성을 반드시 교차 검증해야 합니다.

원문 보기 →