AI 모델 (LLM·GPT·Claude·Gemini)
GPT, Claude, Gemini, Llama 등 AI 모델(LLM) 출시·벤치마크·API 변경사항을 모읍니다.
최신 업데이트
AI 모델 관련 글 — 57 페이지
- 3
Jev, 새로운 형태의 LLM - System One, 혹은 Decision Models 발표
TypeSafe AI가 공개한 Jev는 텍스트 입력을 통해 Yes/No, 선택지 확률, 수치 점수 등의 결과값을 반환하는 'System One' 모델입니다. 기존 LLM과 달리 출력 토큰 비용이 발생하지 않아 매우 저렴하며, 대량의 데이터를 분류하거나 랭킹을 매기는 작업에 최적화되어 있습니다.
Jev introduces a new shape of LLM - System One, aka Decision Models↗simonwillison.net
- 4
NVIDIA Dynamo-Triton에서 NVIDIA TensorRT Multi-Device Integration을 통해 여러 GPU에 걸친 모델 서빙 간소화
NVIDIA Dynamo-Triton의 최신 업데이트는 단일 TensorRT 네트워크를 여러 GPU에서 실행할 수 있는 기능을 제공하여, 개발자가 복점한 분산 환경을 직접 관리하지 않고도 단일 엔드포인트로 고성능 추론을 수행할 수 있게 합니다. 특히 비디오 생성과 같은 대규모 워크로드에서 8개 GPU 사용 시 추론 시간을 약 78% 단축하는 압도적인 성능 향상을 입증했습니다.
Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton↗developer.nvidia.com
- 6
[AINews] Xiaomi MiMo-V2.6-Pro 1T-A42B: 3백만 달러 학습 비용으로 개발된 새로운 최고 수준의 오픈 웨이트 모델
샤오미가 1.02T 파라미터 규모의 새로운 오픈 웨이트 모델 MiMo-V2.6-Pro를 출시하며, 효율적인 RL(강화학습) 스택을 통해 압도적인 가성비를 증명했습니다. 이 모델은 네이티브 멀티모달 기능을 갖추었으며, 학습 비용을 획기적으로 낮추면서도 글로벌 최고 수준의 성능을 기록했습니다.
[AINews] Xiaomi MiMo-V2.6-Pro 1T-A42B: the new top Open Weights model, trained for $3M↗latent.space![[AINews] Xiaomi MiMo-V2.6-Pro 1T-A42B: 3백만 달러 학습 비용으로 개발된 새로운 최고 수준의 오픈 웨이트 모델](https://startupschool.cc/og/ainews-xiaomi-mimo-v26-pro-1t-a42b-the-new-top-open-weights-model-trained-for-3m.jpg)
- 18
INT8 vs FP8 양자화: LLM 활성화에 이상치가 발생하는 이유, 그리고 스케일링 세분화가 중요한 이유
LLM의 파라미터를 8비트로 줄일 때 발생하는 가장 큰 문제는 특정 값의 이상치가 전체 텐서의 양자화 정밀도를 급격히 떨어뜨린다는 점입니다. 이를 해결하기 위해 단순한 per-tensor 스기링을 넘어, 이상치가 집중된 특정 차원을 분리하거나 스케일링 세분화를 정교화하는 기술적 진화가 필수적입니다.
INT8 vs FP8 Quantization: Why LLM Activations Have Outliers, and Why Scaling Granularity Matters↗dev.to


















