AI 모델 (LLM·GPT·Claude·Gemini)
GPT, Claude, Gemini, Llama 등 AI 모델(LLM) 출시·벤치마크·API 변경사항을 모읍니다.
최신 업데이트
AI 모델 관련 글 — 186 페이지
- 1
인퍼런스 엔지니어링 마스터클래스 — 필립 키얼리 & 알리 타하, 베이스타임
Baseten이 주도하는 인퍼런스 엔지니어링은 학습된 가중치를 빠르고 저렴하며 확장 가능한 제품으로 전환하는 전문적인 공학 분야입니다. 양자화 오차 상쇄, 분리된 프리필/디코딩(disaggregated prefill/decode), 캐시 인식 라우팅 등 고도화된 최적화 기술을 통해 모델의 추론 성능을 최대 200%까지 향상시키는 것이 핵심입니다.
The Inference Engineering Masterclass — Philip Kiely & Ali Taha, Baseten↗latent.space
- 9
온디바이스 LLM을 위한 양자화 인식 파인튜닝: Android 및 iOS에서 FP16 정확도에 맞는 INT4 모델 구축
본 기사는 모바일 환경을 위한 LLM 양자화 시 PTQ 대신 QAT를 사용하여 정확도 손실을 방지하는 전략을 다룹니다. 적절한 보정 데이터셋 구축과 GGUF 포맷 선택, 그리고 자동화된 성능 회귀 테스트 파이프라인 구축의 중요성을 강조합니다.
Quantization-Aware Fine-Tuning for On-Device LLMs: Building INT4 Models That Match FP16 Accuracy on Android and iOS↗dev.to

![[기자수첩] KAIST AI 해커가 남긴 숙제](https://startupschool.cc/og/기자수첩-kaist-ai-해커가-남긴-숙제-9187d5.jpg)



















![[게시판] 딥노이드, 부산대병원에 AI 엑스레이 소견서 생성 솔루션 공급 등 단신](https://startupschool.cc/og/게시판-딥노이드-부산대병원에-ai-엑스레이-소견서-생성-솔루션-공급-등-단신-808e91.jpg)