AI 모델 (LLM·GPT·Claude·Gemini)
GPT, Claude, Gemini, Llama 등 AI 모델(LLM) 출시·벤치마크·API 변경사항을 모읍니다.
최신 업데이트
AI 모델 관련 글 — 47 페이지
- 0
효율적인 MoE 트레이닝을 위한 생물학적 Foundation Models
이 기사는 MoE(Mixture-of-Experts) 구조의 학습 효율을 극대화하기 위한 NVIDIA의 기술적 접근법을 다룹니다. GroupedLinear, MXFP8 정밀도, 커널 퓨전 기술을 통해 GPU 활용도를 높이고 메모리 사용량을 줄임으로써 생물학적 파운데이션 모델 학습 성능을 획기적으로 개선할 수 있음을 보여줍니다.
Efficient MoE Training for Biological Foundation Models↗developer.nvidia.com
- 9
LLM 에이전트 토큰 비용 책명의 어려움, 그리고 텔레메트리 설계가 할 수 있는 일
LLM 에이전트는 단일 요청으로도 여러 번의 모델 호출과 도구 사용을 유발하여 비용 예측을 어렵게 만듭니다. 이를 해결하기 위해 OpenTelemetry를 활용하여 모델 호출 단위로 토큰 사용량을 측정하고, 비용 발생의 원인을 명확히 식별할 수 있는 정교한 텔레메트리 설계 전략을 제시합니다.
Why LLM Agent Token Costs Are Hard to Attribute, and What Telemetry Design Can Do About It↗dev.to
- 10
CLOSEDQUORUM: LLM이 C2 루프의 일부가 될 때
Cisco Talos가 분석한 CLOSEDQUORUM은 DeepSeek, Gemini 등 여러 상용 LLM을 활용해 다음 공격 행동을 결정하는 윈도우 임플란트 구조를 보여줍니다. 이 악성코드는 단일 모델의 차단을 피하기 위해 다수결 투표 방식을 사용하며, 합법적인 AI API 트래픽을 활용해 기존의 C2 탐지 체계를 무력화할 가능성을 제시합니다.
CLOSEDQUORUM: When Large Language Models Become Part of the C2 Loop↗dev.to
- 13
GLM-5.3-Flash 로컬 실행: 메모리 예산, 런타임 선택, 작업 명령어
320B 규모의 GLM-5.3-Flash 모델을 로컬에서 실행하려면 모델의 양자화 수준에 따른 정교한 메모리 예산 설계가 필수적입니다. 사용 가능한 RAM 및 VRAM 용량에 따라 vLLM, KTransformers, llama.cpp 등 적절한 런타임을 선택하고, 성능 저하를 최소화하는 최적의 양자화 지점을 찾는 것이 핵심입니다.
Running GLM-5.3-Flash Locally: Memory Budgets, Runtime Choices, and Working Commands↗dev.to
- 20
LFM2.5-VL-DSpark으로 비전-언어 모델 가속화
LiquidAI는 LFM2.5-VL-3B 모델을 위한 실험적 DSpark 드래프트 모델을 출시하여, 스펙큘레이티브 디코딩(Speculative Decoding)을 통해 VLM의 추론 속도를 가속화했습니다. 이 기술은 약 280M 파라미터의 작은 모델을 추가하여 메모리 사용량은 8.9%만 늘리면서도, 디코딩 속도를 최대 3.13배까지 끌어올렸습니다.
Accelerating vision-language models with LFM2.5-VL-DSpark↗huggingface.co















![[신간] '클루'...대기업 CEO 지낸 1세대 데이터 전문가의 30년 통찰 담아](https://startupschool.cc/og/신간-클루대기업-ceo-지낸-1세대-데이터-전문가의-30년-통찰-담아-2f82c8.jpg)


