리벨리온 NPU, SKT 4대 상용 AI 서비스에 채택…'하루 40억 토큰' 처리
(zdnet.co.kr)
리벨리온의 NPU가 SK텔레콤의 에이닷, AICC 등 4대 주요 AI 서비스에 전면 도입되어 일일 40억 토큰을 처리하며, 국산 AI 반도체가 대규모 상용 인프라로서의 기술적 신뢰성과 운영 효율성을 입증했습니다.
이 글의 핵심 포인트
- 1리벨리온의 NPU가 SKT의 에이닷, AICC, 스캠뱅가드 등 4대 주요 AI 서비스에 확대 적용됨
- 2리벨리온 인프라를 통해 하루 약 1,400만 건의 트래픽과 40억 개 이상의 토큰을 처리 중
- 3SKT는 NPU와 GPU를 유연하게 재배치하여 자원을 공유하는 'NPU 팜(Farm)' 구축
- 4저지연 연산 능력을 통해 에이닷 스트리밍 TTS 등 실시간성이 중요한 서비스의 품질 향상
- 5리벨리온은 이번 상용 운영 실적을 바탕으로 금융, 통신, 공공 등 국내외 시장 공략 가속화
이 글에 대한 공공지능 분석
왜 중요한가?
국산 NPU가 단순한 기술 실증(PoC) 단계를 넘어, 실제 대규모 트래픽을 감당하는 상용 서비스의 핵심 엔진으로 자리 잡았음을 증명했기 때문입니다. 이는 글로벌 빅테크의 GPU 독점 구조 속에서 국산 AI 반도체가 실질적인 대안이 될 수 있음을 보여주는 강력한 사례입니다.
어떤 배경과 맥락이 있나?
엔비디아 GPU의 높은 비용과 공급 부족 문제는 AI 서비스 운영 비용(OPEX)을 급격히 상승시키는 병목 요인입니다. 이에 따라 특정 추론 작업에 최적화된 저전력·고성능 NPU를 도입하여 인프라 비용을 절감하고 서비스 지연 시간을 줄이려는 기술적 전환이 가속화되고 있습니다.
업계에 어떤 영향을 주나?
AI 반도체 스타트업에게는 대규모 상용 레퍼런스 확보라는 강력한 성장 동력을 제공하며, AI 서비스 기업들에게는 모델의 특성에 맞춰 GPU와 NPU를 선택적으로 활용할 수 있는 인프라 설계의 유연성을 제공합니다.
한국 시장에 어떤 시사점이 있나?
국내 AI 생태계가 하드웨어(NPU)와 소프트웨어(AI 서비스) 간의 수직적 결합을 통해 'K-AI' 인프라의 자생력을 키울 수 있는 중요한 기회입니다. 이는 향후 글로벌 시장 진출 시 하드웨어와 서비스가 결합된 통합 솔루션으로서의 경쟁력을 확보하는 밑거름이 될 것입니다.
이 글에 대한 큐레이터 의견
이번 사례는 AI 반도체 스타트업이 나아가야 할 '상용화 레퍼런스 확보'의 정석을 보여줍니다. 단순히 칩의 연산 성능을 자랑하는 데 그치지 않고, 실제 대규모 트래픽(일 40억 토큰)을 처리하며 서비스의 지연 시간을 줄이고 비용을 절감했다는 실질적인 가치를 입증한 것이 핵심입니다. 이는 하드웨어 기술력이 소프트웨어 서비스의 사용자 경험(UX) 및 수익성(Unit Economics)과 직접적으로 연결될 수 있음을 시사합니다.
다만, NPU 도입이 모든 AI 워크로드의 만능 해결책은 아닙니다. 모델의 구조가 급격히 변하거나 범용성이 요구되는 대규모 학습(Training) 단계에서는 여전히 엔비디아 GPU의 생태계 장악력이 압도적입니다. NPU는 특정 추론(Inference) 작업에 최적화된 '특수 목적용' 성격이 강하므로, 서비스 개발자들은 GPU와 NPU를 혼합 사용하는 하이브리드 전략을 설계해야 하는 운영 복잡성이라는 리스크를 안게 됩니다.
따라서 AI 스타트업 창업자들은 모델 개발 단계부터 '추론 효율성'을 고려한 아키텍처 설계를 고민해야 합니다. 하드웨어의 제약을 극복하는 최적화 기술이 곧 서비스의 비용 경쟁력과 직결되는 시대가 오고 있기 때문입니다.
관련 뉴스
댓글
아직 댓글이 없습니다. 첫 댓글을 남겨보세요.