NVIDIA Developer Blog

NVIDIA Cluster Readiness Engine(NVCRE)은 실제 분산 워크로드를 통해 GPU 클러스터의 준비 상태를 검증하는 오픈소스 쿠버ティング 컨트롤러입니다. 이 도구는 단순한 헬스 체크를 넘어, 실제 학습 작업 중 발생할 수 있는 하드웨어 결함이나 네트워크 병목을 사전에 찾아내어 클러스터의 신뢰성을 보장합니다.

NodeWright는 Kubernetes 환경에서 노드 운영체제의 설정과 패키지 업데이트를 워크로드 중단 없이 수행하는 오픈소스 도구입니다. 기존 Ansible 방식과 달리 PodDisruptionBudgets를 준수하며, 점진적 롤아웃 전략을 통해 대규모 GPU 클러스터의 안정적인 유지보수를 지원합니다.

SGLang 팀과 함께 개발된 SWE-Serve는 AI 코딩 에이전트의 추론 엔진 엔지니어링 능력을 평가하는 새로운 벤치마크입니다. 이 연구는 에이전트가 작성한 패치가 로컬 테스트는 통과해도 실제 서빙 경로를 거치면 실패하는 '격차'를 수치로 증명하며, 복합적인 런타임 도메인에서의 성능 저하를 지적합니다.

NVIDIA는 Blackwell GPU를 활용한 컨피덴셜 컴퓨팅(CC) 환경에서도 TensorRT LLM 최적화를 통해 AI 추론 성능 저하를 극도로 낮출 수 있음을 입증했습니다. 실험 결과, 보안 기능 활성화 시에도 처리량(Throughput)은 96% 이상 유지되었으며, 토큰당 지연 시간(TPOT) 증가도 4.3% 이내로 억제되었습니다.

NVIDIA Topograph는 클러스터의 하드웨어 연결 구조를 실시간으로 파악하여 Kubernetes나 Slurm 같은 워크로드 매니저에 최적화된 배치 정보를 제공합니다. 이를 통해 GPU 간 통신 지연을 줄이고 AI 학습 및 추론의 성능과 비용 효율성을 동시에 높일 수 있습니다.

NVIDIA는 게임 엔진의 데이터를 기반으로 사실적인 조명과 질감을 더하는 DLSS 5의 3D 가이드 신경망 렌더링 기술과 저지연 음성 인식을 지원하는 ACE 업데이트를 공개했습니다. 또한, RTX Mega Geometry 2.0과 로컬 AI 모델 배포를 위한 새로운 SDK를 통해 고밀도 메쉬 렌더링과 게임 내 실시간 AI 추론 환경을 강화했습니다.

NVIDIA Isaac ROS 5.0은 `rosidl::Buffer`와 CUDA 버퍼 백엔드를 통해 GPU 메모리 내 데이터를 복사 없이 전달하는 제로 카피(Zero-copy) 전송을 지원합니다. 또한, AI 코딩 에이전트를 활용해 기존 ROS 2 노드를 이 새로운 가속화 구조로 손쉽게 마이그레이션하고 검증할 수 있는 워크플로우를 제시합니다.

NVIDIA Dynamo-Triton의 최신 업데이트는 단일 TensorRT 네트워크를 여러 GPU에서 실행할 수 있는 기능을 제공하여, 개발자가 복점한 분산 환경을 직접 관리하지 않고도 단일 엔드포인트로 고성능 추론을 수행할 수 있게 합니다. 특히 비디오 생성과 같은 대규모 워크로드에서 8개 GPU 사용 시 추론 시간을 약 78% 단축하는 압도적인 성능 향상을 입증했습니다.

AI 에이전트 평가는 개별 툴 호출의 정확성을 측정하던 기존 방식에서 벗어나, 실행 환경의 최종 상태를 확인하는 엔드투엔드(E2E) 방식으로 전환되고 있습니다. 이를 위해 프로세스 단계별 점수와 최종 결과 점수를 결합한 다층적 평가 체계와 실행 가능한 벤치마크 환경 구축이 필수적입니다.

NVIDIA Earth-2는 자체 또는 외부 관측 데이터를 AI 모델에 통합하여 실기상 예측의 정확도와 빈도를 높이는 데이터 동화(Data Assimilation) 도구를 제공합니다. 특히 SDA 기술은 확산 모델의 예측 오차를 대폭 줄이며, HealDA는 전 지구적 대기 상태를 단 몇 초 만에 추정할 수 있게 합니다.

NVIDIA AIPerf는 기존 GenAI-Perf의 한계를 극복하기 위해 설계된 차세대 LLM 추론 벤치마킹 도구로, 멀티프로세스 구조를 통해 클라이언트 병목 없이 대규모 부하를 생성합니다. 다양한 데이터셋과 정교한 트래픽 패턴 설정을 지원하여 실제 서비스 환경과 유사한 정밀한 성능 지표를 제공합니다.

로보틱스 시뮬레이션 준비 과정의 번거로움을 해결하기 위해 AI 에이전트가 Blender 3D 장면을 분석하고 물리 속성, 센서, 레이블 등을 자동으로 설정하는 워크플로우를 제안합니다. NVIDIA Omniverse와 NemoClaw를 활용한 이 방식은 복잡한 3D 에셋을 'SimReady' 상태로 변환하여 Isaac Sim 등에서의 효율적인 로봇 학습을 지원합니다.

NVIDIA의 TensorRT Edge-LLM이 Jetson AGX Thor 환경에서 Qwen3.6-27B 모델을 사용하여 MLPerf Edge Agentic 벤치마크를 llama.cpp보다 6.4배 빠르게 완료했습니다. NVFP4 양자화와 KV 캐시 재사용 등 혁신적인 최적화 기술을 통해 에지 디바이스에서도 복잡한 에이전틱 워크로드를 효율적으로 처리할 수 있음을 입증했습니다.

NVIDIA는 AI 에이전트를 활용해 Python 및 Triton-TileIR 커널을 Rust 기반의 cuTile Rust로 번역하는 기술을 공개했습니다. 이 기술은 24개의 연산자를 성공적으로 이식했으며, 기존 Python 구현 대비 평균 99.5%의 성능을 달성하며 안전한 GPU 프로그래밍 환경을 구축했습니다.

MoE(Mixture-of-Experts) 모델은 전체 파라미터 중 일부 전문가(Expert)만 활성화하여 연산 비용을 줄이면서도 대규모 모델의 성능을 유지하는 구조를 가집니다. 이 방식은 메모리 점유량과 연산량의 분리를 가능케 하여 높은 처리량을 제공하지만, 배포 시 VRAM 용량과 동시성 문제를 고려해야 합니다.

NVIDIA Vera Rubin 플랫폼은 AI 팩토리의 핵심 가치로 '전력 대비 성능'을 내세우며, 소프트웨어와 하드웨어의 통합 관리를 통해 전력 효율을 극대화합니다. 특히 Groq 3 LPX의 결정적 실행 모델을 활용해 전력 수요를 예측하고 관리함으로써, 대규모 모델의 고상호작용 추론 성능을 전력 대비 최대 35배 향상시키는 성과를 달성했습니다.

NVIDIA NVLink 6는 물리적 오류 수정부터 소프트웨어 기반의 빠른 복구까지 포함하는 다층적 복원력 프레임워크를 통해 AI 팩토리의 무손실 네트워크 환경을 구축합니다. 이를 통해 대규모 GPU 클러스터 내의 데이터 손실을 방지하고, 장애 발생 시에도 서비스 중단 없이 신속하게 시스템을 복구하여 AI 연산의 연속성을 보장합니다.

NVIDIA FLARE는 연합 학습의 조정 서비스와 실제 작업 실행을 분리하는 2계층 아키텍처를 통해, 각 참여 기관이 Docker, Kubernetes, Slurm 등 고유의 인프라를 유지하면서도 학습에 참여할 수 있게 합니다. 이를 통해 데이터 주권과 컴퓨ting 자원 관리의 효율성을 동시에 확보하며 대규모 연합 학습 운영을 가능하게 합니다.

NVIDIA Transformer Engine을 활용해 JAX 환경에서 MoE(Mixture of Experts) 학습 처리량을 10.4배 개선하여 DeepSeek-V3의 성능을 비약적으로 높였습니다. 이 기술은 토큰을 버리지 않는 'Dropless MoE' 방식을 지원하며, 불규칙한 데이터 구조(Ragged Tensors)를 효율적으로 처리하는 최적화된 커널을 제공합니다.

NVIDIA의 새로운 NIM 2.0.12는 커널 최적화, 텐서 병렬화, 프리픽스 재사용 등 다양한 기술을 결합하여 Nemotron 3 Ultra 모델의 추론 처리량을 기존 대비 2.5배 향상시켰습니다. 이를 통해 동일한 GPU 자원에서 더 많은 동시 사용자를 수용하면서도 응답 지연 시간을 최소화하는 고성능 에이전틱 AI 서비스 구축이 가능해졌습니다.

NVIDIA의 BioNeMo Inference Runtime(BioIR)은 GPU 가속 및 파이프라인 최적화를 통해 생체 분자 구조 예측 모델의 처리량을 획기적으로 높인 기술입니다. 이를 통해 Boltz-2와 같은 모델의 예측 성능을 2.9배 향상시켰으며, 에너지 소비량 또한 대폭 절감하여 대규모 단백질 구조 분석을 가능하게 합니다.

NVIDIA는 Palantir Foundry를 활용해 공급망 가시성을 확보하고, cuOpt와 Nemotron 3.5 Lightning을 통해 최적의 자원 할당 시스템을 구축했습니다. 특히 인간 전문가의 정성적 판단과 근거를 AI 모델에 학습시켜, 정량적 최적화 모델이 놓치는 변수까지 반영한 고정밀 의사결정 체계를 완성했습니다.

NVIDIA Dynamo는 멀티모달 모델 추론 시 비전 인코딩, 프리필, 디코딩 단계를 분리하는 EPD(Encode-Prefill-Decode) 기술을 통해 TTFT를 최대 5배 단축합니다. 이 방식은 이미지나 비디오 비중이 높은 요청에 특히 효과적이며, 인코더 워커를 별도의 저비용 GPU 티어로 분리하여 효율적인 확장이 가능합니다.

CUDA Toolkit 13.4는 Windows on Arm 지원을 통해 개발 플랫폼을 확장하고, 차세대 Rubin GPU 아키텍처에 대한 사전 개발 환경을 제공합니다. 또한 MPS V3와 Compute Fabric Transport 도입으로 GPU 자원의 정밀한 제어와 대규모 멀티 GPU 시스템에서의 데이터 전송 효율성을 극대화했습니다.