AI 모델 (LLM·GPT·Claude·Gemini)
GPT, Claude, Gemini, Llama 등 AI 모델(LLM) 출시·벤치마크·API 변경사항을 모읍니다.
최신 업데이트
AI 모델 관련 글 — 352 페이지
- 0
GPU에서 AI 행렬 곱셈, 예측 가능한 데이터 입력 시 속도 향상 (2024)
GPU에서 행렬 곱셈 수행 시 입력 데이터가 0이나 정수처럼 예측 가능한 패턴을 가질 때 성능이 더 높게 나타나는 현상이 발견되었습니다. 이는 데이터의 비트 전환(switching)이 반도체의 동적 전력 소모를 증가시키고, GPU가 전력 제한(Power Limit)을 준수하기 위해 클록 주파수를 낮추는 스로틀링을 유발하기 때문입니다.
Matrix Multiplications on GPUs Run Faster When Given "Predictable" Data (2024)↗thonking.ai
- 2
자동 취약점 발견 및 재현을 위한 멀티 에이전트 LLM 시스템
FuzzingBrain V2는 기존 LLM 기반 보안 분석의 한계인 높은 오탐률과 복잡한 의존성 분석 문제를 해결하기 위해 설계된 멀티 에이전트 시스템입니다. Google의 OSS-Fuzz를 활용한 자동 재현과 새로운 제어 흐름 기반 추상화 기술을 통해 90%의 높은 탐지율을 기록하며 실제 오픈소스 프로젝트에서 다수의 제로데이 취약점을 찾아냈습니다.
Multi-Agent LLM System for Automated Vulnerability Discovery and Reproduction↗arxiv.org
- 12
Nvidia Vera CPU 벤치마크: 올림푸스 코어가 뛰어난 성능을 제공
NVIDIA의 차세대 ARM 기반 CPU인 Vera는 자체 설계한 Olympus 코어를 탑재하여 이전 세대 대비 2배의 성능과 높은 에너지 효율을 제공합니다. 특히 에이전틱 AI 워크로드를 위해 설계되었으며, 강력한 메모리 대역폭과 최신 인터페이스(PCIe Gen 6, CXL 3.1)를 지원하여 데이터센터의 성능 혁신을 주도할 전망입니다.
Nvidia Vera CPU Benchmarks: Olympus Cores Delivering Great Performance↗phoronix.com
- 18
Qwen 3.7로 복잡한 AI 에이전트 실행하기: 1.32달러로 해결한 인프라 악몽
Qwen 3.7을 활용해 기존 플래그십 모델 대비 약 4배의 비용 절감이 가능함을 보여주며, 모델 전환 시 발생하는 인프라 관리의 어려움을 지적합니다. 이를 해결하기 위해 모델 간 심리스한 전환과 장애 복구를 지원하는 PendasRouter라는 API 라우팅 솔루션을 제안합니다.
I Ran a Complex AI Agent for $1.32 Using Qwen 3.7 (And How I Fixed the Infra Nightmare)↗indiehackers.com
- 22
$5/월 DigitalOcean Droplet에서 Ollama + FastAPI로 Phi-3.5 Vision 배포하는 방법: GPT-4 Vision 비용의 1/220 수준의 경량 멀티모달 추론
고비용의 멀티모달 AI API 대신 월 30달러 수준의 저렴한 클라우드 서버에 Phi-3.5 Vision 모델을 구축하는 구체적인 방법을 다룹니다. Ollama와 FastAPI를 활용하여 비용 효율적이고 제어 가능한 자체 AI 추론 인프라를 구축하는 기술적 절차와 하드웨어 권장 사양을 제시합니다.
How to Deploy Phi-3.5 Vision with Ollama + FastAPI on a $5/Month DigitalOcean Droplet: Lightweight Multimodal Inference at 1/220th GPT-4 Vision Cost↗dev.to
- 23
.NET 데스크톱 앱에 Gemma 4 음성 인식 추가하기: llama-server 사이드카가 살아남은 방법
이 글은 .NET 환경에서 Gemma 4 음성 인식 엔진을 구현하기 위한 4가지 기술적 시도와 실패 과정을 상세히 분석합니다. 개발자는 ONNX Runtime의 구조적 미지원과 Python 환경의 배포 복잡성을 피하기 위해, 최종적으로 llama-server를 독립된 프로세스로 활용하는 사이드카 아키텍처를 구축하여 안정적인 온디바이스 추론을 구현했습니다.
Adding Gemma 4 speech recognition to a .NET desktop app: the llama-server sidecar that survived↗dev.to
















