NVIDIA 뉴스
AI 반도체 시장을 주도하는 NVIDIA의 GPU, CUDA, 데이터센터 소식을 전합니다.
총 1,046건·최신 업데이트
- 486
엔비디아, 치솟는 기업용 AI 비용 해결책은… 라우터?
엔비디아가 프롬프트 요청을 적절한 모델로 자동 배분하여 비용과 성능을 최적화하는 소프트웨어 플랫폼 'NeMo Switchyard'를 공개했습니다. 이 기술은 단순 작업은 저렴한 소형 모델에, 복잡한 작업은 고성능 모델에 할당함으로써 대규모 언어 모델(LLM) 사용 시 발생하는 막대한 추론 비용을 최대 74%까지 절감할 수 있습니다.
Nvidia's latest solution to soaring enterprise AI costs is...a router?↗theregister.com
- 487
NVIDIA GB300 NVL72에서 조정 가능한 추론 기능을 갖춘 2.4T 파라미터 모델 Qwen3.8-2.4T-A95B 서비스
알리바바가 공개한 2규모의 오픈 웨이트 모델 Qwen3.8-2.4T-A95B가 엔비디아 블랙웰 기반 GB300 NVL72에서 압도적인 추론 성능을 구현했습니다. 이 모델은 MoE 구조와 하이브리드 어텐션 기술을 통해 최대 100만 토큰의 긴 컨텍스트를 효율적으로 처리하며, 사용자가 작업에 따라 추론 깊이를 조절할 수 있는 기능을 제공합니다.
Serve Qwen3.8-2.4T-A95B, a 2.4T-Parameter Model, with Configurable Reasoning on NVIDIA GB300 NVL72↗developer.nvidia.com
- 490
HPE와 NVIDIA, 규제 산업 분야의 혁신을 지원하는 Sovereign AI의 복잡성 극복 강조
HPE와 NVIDIA는 데이터 및 인프라에 대한 완전한 통제권을 요구하는 규제 산업과 정부 기관을 위해 '소버린 AI' 전략을 추진합니다. 이들은 보안, 컴플라이언스, 프라이버시를 보장하는 맞춤형 AI 팩토리 솔루션을 통해 민감한 데이터를 현지 법규 내에서 안전하게 관리하며 혁신을 가속화할 수 있는 기반을 제공하고자 합니다.
Sovereign AI overcomes compliance challenges and feeds innovation in public sector and other regulated industries, say HPE and NVIDIA↗theregister.com

![[카&테크] '공간·안전·SDV' 다 잡은 전기차 뼈대 'SPA2'](https://startupschool.cc/og/카테크-공간안전sdv-다-잡은-전기차-뼈대-spa2-6797e6.jpg)











![[AI 고속도로] 슈퍼마이크로, AI 인프라 호황에 매출 92%↑…내년 연매출 100조원 전망](https://startupschool.cc/og/ai-고속도로-슈퍼마이크로-ai-인프라-호황에-매출-92내년-연매출-100조원-전망-7bdfeb.jpg)


