엔비디아와 세레브라스는 고객이 (아마) 결코 보지 못할 성능을 판매하고 있다

(theregister.com)

The Register2026년 8월 27일AI 모델

엔비디아와 세레브라스는 고객이 (아마) 결코 보지 못할 성능을 판매하고 있다

엔비디아와 세레브라스가 선보인 압도적인 초고속 토큰 생성 성능은 배치 사이즈 1이라는 극단적 조건에서의 수치로, 실제 대규모 사용자 서비스를 운영해야 하는 AI 인프라 기업들에게는 실질적인 경제성과 확장성 측면에서 한계가 명확하다는 분석이다.

이 글의 핵심 포인트

1엔비디아의 새로운 LPX 랙은 Gemma 4 31B 모델에서 초당 3,400개의 토큰을 생성하며 세레브라스보다 4배 빠른 성능을 과시함.
2엔비디아와 세레브라스의 압도적인 성능 수치는 배치 사이즈 1(single concurrent request)을 전제로 한 마케팅적 성격이 강함.
3100,000 토큰의 긴 입력 시퀀스를 처리할 때 발생하는 KV 캐시 메모리 요구량이 하드웨어의 배치 사이즈 확장을 제한하는 핵심 병목임.
4엔비디아 LPX 랙(256개 LPU)의 경우, 100k 토큰 입력 시 최대 배치 사이즈는 약 12에 불과함.
5세레브라스 CS-4 역시 대규모 메모리 용량을 갖췄음에도 불구하고, 긴 컨텍스트 처리 시 배치 사이즈 확장이 제한적이라는 결론은 동일함.

이 글에 대한 공공지능 분석

왜 중요한가?

AI 추론(Inference) 시장의 핵심 경쟁력이 단순한 '속도'가 아닌 '비엇 효율적인 확장성'으로 이동하고 있음을 시사하기 때문이다. 마케팅 수치에 가려진 실제 운영 가능한 배치 사이즈의 한계를 이해하는 것은 인프라 비용 예측과 서비스 설계의 핵심이다.

어떤 배경과 맥락이 있나?

엔비디아의 Groq-3 기반 LPX와 세레브라스의 CS-4는 SRAM 중심의 아키텍처를 통해 초저지연 성능을 강조한다. 그러나 긴 컨텍스트(Long-context) 처리를 위한 KV 캐시 메모리 요구량이 급증하면서, 하드웨어의 연산 능력보다 메모리 용량이 병목이 되는 상황이다.

업계에 어떤 영향을 주나?

추론 서비스 제공업체(Inference-as-a-Service)들은 단순 지연 시간(Latency) 감소를 넘어, 높은 처리량(Throughput)을 유지하면서도 메모리 효율을 극대화할 수 있는 최적화 기술(예: KV 캐시 압축, PagedAttention)에 더욱 집중하게 될 것이다.

한국 시장에 어떤 시사점이 있나?

LLM 서비스를 개발하는 국내 스타트업들은 하드웨어의 벤치마크 수치에 현혹되기보다, 실제 서비스 규모(Batch size)와 컨텍스트 길이에 따른 인프라 비용(TCO)을 정밀하게 계산하여 아키텍처를 설계해야 한다.

이 글에 대한 큐레이터 의견

하드웨어 제조사들의 '초고속' 마케팅은 양날의 검이다. 기술적 한계를 돌파하려는 시도는 고무적이지만, 실제 비즈니스 모델을 설계하는 창키업 창업자들에게는 왜곡된 인프라 비용 예측을 초래할 위험이 있다. 배치 사이즈 1에서의 성능은 '초저지연'이 필요한 특수 목적용(예: 실시간 에이전트)에는 유효할 수 있으나, 대중적인 챗봇 서비스를 운영하기에는 경제성이 전무하다.

따라서 스타트업은 '최대 속도'가 아닌 '최대 처리량 대비 비용'이라는 관점에서 접근해야 한다. GPU 기반의 고처리량(High-throughput) 전략과 LPU/WSE 기반의 저지연(Low-latency) 전략 사이의 트레이드오프를 명확히 이해하고, 자사 서비스의 사용자 패턴(짧은 대화 vs 긴 문서 분석)에 최적화된 인프라를 선택하는 실행력이 생존을 결정할 것이다.

원문 보기 →