NVIDIA Developer Blog

NVIDIA가 Rust 언어를 활용해 GPU 커널을 직접 작성할 수 있는 두 가지 새로운 트랙인 cuda-oxide와 cutile-rs를 공개했습니다. 이 기술은 Rust의 강력한 메모리 안전성을 GPU 연산 레이어까지 확장하면서도, 기존 CUDA C++ 및 Python 생태계와의 상호 운용성을 유지하여 개발 효율성을 극대화하는 것을 목표로 합니다.

NVIDIA NemoClaw를 이용해 기업용 'Chief of Staff' 에이전트를 구축하는 방법론을 소개하며, Markdown 기반의 지식 저장과 SQLite 기반의 실행 기록을 분리하는 구조를 제안합니다. 이를 통해 에이전트의 정확도를 90.9%까지 높이고, 보안을 위해 NVIDIA OpenShell을 통한 샌드박스 환경에서의 통제된 실행을 구현했습니다.

최신 경량화 모델인 Nemotron 3.5 Lightning와 Qerv3.8-27B는 NVFP4 양자화와 투기적 디코딩 기술을 통해 NVIDIA Jetson에서 높은 추론 성능을 발휘합니다. 이를 통해 개발자는 네트워크 연결 없이도 로컬 환경에서 강력한 추론 및 에이전트 기능을 구현할 수 있습니다.

현대의 AI 플랫폼은 중앙 포털과 데이터셋, 노트북 등 다양한 서비스가 연결된 연합형 구조로 진화하고 있습니다. 이 글은 이러한 분산된 환경에서 사용자 ID를 일관되게 전달하여 보안과 감사 기능을 유지하는 기술적 메커니즘을 다룹니다.

NVIDIA PAIR는 로컬 네트워크에 연결된 여러 컴퓨팅 노드를 하나의 가상 추론 라우터로 묶어 AI 추론 요청을 분산 처리하는 기술입니다. 기존의 Ollama나 LM Studio 인터페이스를 그대로 활용하면서도, 네트워크 내 가용 자원을 활용해 멀티 에이전트 작업의 처리 속도를 대폭 향상시킵니다.

본 기사는 NVIDIA CCCL, CUB, Compute Sanitizer 등 현대적 CUDA 툴체인을 활용해 GPU 연산 성능을 극대화하는 단계별 가이드를 제공합니다. 커스텀 커널을 라이브러리 프리미티브로 교체하고, 메모리 풀링 및 비동기 데이터 전송을 적용함으로써 연산 속도와 메모리 효율을 획기적으로 개선하는 기술적 방법론을 다룹니다.

스페큘레이티브 디코딩은 소형 드래프트 모델이 여러 토큰을 먼저 제안하고 대형 타겟 모델이 이를 한 번에 검증하여 LLM의 추론 속도를 가속화하는 기술입니다. 본 기사는 최적의 드래프트 길이와 메커니즘을 선택하기 위한 5가지 가이드라인을 제시하며, NVIDIA의 최적화 도구와 벤치마크 활용법을 다룹니다.

NVIDIA와 CrowdStrike는 Nemotron 모델을 기반으로 공격(Red)과 방어(Blue) 에이전트가 기계 속도로 상호작용하며 보안 취약점을 스스로 찾아내고 보완하는 폐쇄 루프(Closed-loop) 시스템을 개발했습니다. 이 시스템은 최신 프론티어 모델 대비 훨씬 낮은 비용으로도 더 높은 탐지율과 일반화 성능을 보여주며, 강화학점 기반의 지속적인 보안 자동화 가능성을 제시했습니다.

AI 추론 비용 최적화를 위해 챗봇, 에이전트 등 사용 사례별 토큰 패턴을 파악하고, 모델 선택부터 동시 접속자 수까지 고려한 데이터 기반의 GPU 산정 프레임워크를 제안합니다. 또한, 핵심 트래픽은 예약 인스턴스로, 변동 트래픽은 스팟 인스턴스로 처리하는 'Core-and-flex' 모델과 양자화 등의 모델 최적화 기술을 통한 비용 절감 방안을 다룹니다.

NVIDIA의 BioNeMo Agent Toolkit이 Anthropic의 Claude Science와 통합되어, AI 에이전트가 단백질 구조 예측과 같은 전문적인 생명과학 워크플로우를 직접 실행할 수 있게 되었습니다. 이를 통해 AI 에이전트는 단순한 텍스트 생성을 넘어 MSA(다중 서열 정렬) 기반의 정밀한 모델 호출과 실험 설계를 수행하며 연구 효율성을 극대화합니다.

NVIDIA Omniverse NuRec은 3D 가우시안 스플래팅을 통해 실제 주행 장면을 재구성하고, 이를 새로운 차량의 센서 배치에 맞춰 렌더링하여 자율주행 인지 모델을 효율적으로 학습시키는 기술입니다. 이를 통해 새로운 차량 플랫폼을 위한 대규모 실데이터 수집 없이도 기존 데이터를 재활용하여 인지 성능을 높일 수 있습니다.

NVIDIA TensorRT Model Connect는 오픈 모델을 TensorRT 기반의 C++ 애플리케이션으로 손쉽게 전환하는 참조 구현 모음입니다. 파이썬 CLI로 모델 번들을 생성한 뒤, C++에서 별도의 파이썬 인터프리터 없이 즉시 추론이 가능하며, 커스텀 커널 통합 및 두 가지 수준의 API를 통해 유연한 확장을 지원합니다.

NVIDIA는 하이퍼스케일러와 AI 기업들이 자체 개발한 XPU를 NVIDIA 인프라에 쉽게 통합할 수 있도록 돕는 'NVLink Fusion'과 고성능 메모리 기술인 'NVHBM'을 공개했습니다. 이 기술들은 메모리 대역폭을 30% 향상시키고 전력 소모를 15% 줄여, 대규모 AI 모델의 학습 및 추론 성능을 획기적으로 높이는 것을 목표로 합니다.

NVIDIA는 로봇의 형태나 환경 변화에 따른 재학습 비용을 획기적으로 줄이기 위해 AI 에이전트 기반의 COMPASS 프레임워크를 선보였습니다. 이 방식은 사전 학습된 정책을 바탕으로 잔차 강화학습(Residual RL)을 적용하여 새로운 로봇과 환경에 최적화된 내비게이션 성능을 빠르게 구현합니다.

Qwen3.8-Flash-Next는 GDN과 QSA 아키텍처를 결합하여 최대 100만 토큰의 긴 문맥을 효율적으로 처리하는 MoE 모델입니다. NVIDIA의 최신 Blackwell 기반 GB300 NVL72에서 구동 시 초당 16,000개 이상의 토큰을 생성할 수 있어, 고성능 AI 에이전트 구현에 최적화되어 있습니다.

Alibaba가 공개한 Qwen3.8-Flash-Next는 GDN과 QSA 기술을 결합하여 초장문 컨텍스트 처리 시 발생하는 연산 병목을 혁신적으로 해결한 MoE 모델입니다. NVIDIA Blackwell 기반 인프라에서 초당 1나노 이상의 압도적인 처리량을 보여주며, 에이전틱 코딩 및 대규모 문서 처리 분야의 효율성을 극대화합니다.

NVIDIA Dynamo의 새로운 기능인 Shadow Engine Recovery는 엔진 프로세스 장애 시에도 GPU 메모리에 가중치를 유지하여 LLM 추론 복구 시간을 초 단위로 줄여줍니다. 이는 GPU 메모리 서비스(GMS)를 통해 가중치 생명주기를 프로세스와 분리함으로써 가능해졌으며, 서비스 중단 시 발생하는 성능 저하를 최소화합니다.

NVIDIA는 CUDA Python 1.0을 통해 파이썬을 CUDA 플랫폼의 공식적인 1급 시민으로 격상시키며, 안정적인 API와 통합된 라이브러리 생태계를 구축했습니다. 이를 통해 파이썬 개발자는 C++ 지식 없이도 GPU 자원을 효율적으로 관리하고 서로 다른 GPU 라이브러리 간의 데이터 호환성 문제를 해결할 수 있게 되었습니다.

NVIDIA가 발표한 Spectrum-X 이더넷은 대규모 AI 워크로드에서 발생하는 네트워크 정체와 패킷 손실 문제를 해결하기 위해 설계된 차세대 네트워크 아키텍처입니다. 하드웨어 가속 기반의 적응형 라우팅과 멀티플레인 기술을 통해, 다중 테넌트 환경에서도 성능 저하 없이 안정적인 저지연 통신과 높은 대역폭 활용을 보장합니다.

SemiAnalysis의 AgentX 벤치마크 결과, NVIDIA의 베라 루빈 NVL72는 GB300 대비 에이전트 AI 처리량을 전력 효율 측면에서 최대 30배 높였습니다. 이는 MoE 모델과 에이전트 워크로드의 특성을 반영한 시스템 레벨의 최적화와 NVLink 기술의 결합을 통해 달성된 성과입니다.

NVIDIA Groq 3 LPX와 Vera Rubin NVL72 플랫폼의 결합을 통해 100K 이상의 긴 문맥에서도 초당 3,000 토큰 이상의 초고속 인터랙티브 성능을 입증했습니다. 이는 칩 간 통신 지연을 최소화하는 기술을 통해 대규모 에이전틱 AI 서비스의 실시간 상호작용을 가능하게 합니다.

에이전트 AI 워크로드는 긴 순차적 추론과 간헐적인 병렬 작업이 혼재되어 매우 불규칙한 특성을 보입니다. NVIDIA Vera CPU는 이러한 변동성에 대응하기 위해 강력한 싱글 스레드 성능과 높은 동시성을 결합한 아키텍처를 통해, 단순 코어 수를 넘어 전체 세션 완료 성능을 최적화합니다.

NVIDIA는 에이전트 AI 환경의 복잡한 데이터 흐름을 관리하기 위해 BlueField-4 DPU와 DOCA 소프트웨어를 활용한 'Scale-In' 네트워크 인프라를 도입했습니다. 이는 호스트 CPU의 부하를 줄이고 보안, 스토리지 액세스, 네트워크 운영을 가속화하여 AI 팩토리의 효율성을 극대화하는 것을 목표로 합니다.

NVIDIA는 금융 상품의 대규모 상관관계 및 꼬리 의존성 행렬을 처리하기 위해 GPU 가속 기반의 SymNMF와 AdaptGrow 알고리즘을 소개했습니다. 이 기술은 메모리 효율적인 연산을 통해 수백만 개의 자산에 대한 클러스터링과 구조적 변화 감지를 매우 빠른 속도로 수행할 수 있게 합니다.