AI 모델 (LLM·GPT·Claude·Gemini)
GPT, Claude, Gemini, Llama 등 AI 모델(LLM) 출시·벤치마크·API 변경사항을 모읍니다.
최신 업데이트
AI 모델 관련 글 — 69 페이지
- 0
데스크톱에서 744B 파라미터 모델 실행하기: 압축보다 중요한 건 배치 방식
Colibri는 순수 C 언어로 구현된 추론 엔진으로, 모델 전체를 메모리에 올리는 대신 필요한 전문가(expert) 파라미터를 디스크에서 즉시 로드하는 JIT 방식의 가중치 관리를 사용합니다. 이를 통해 고가의 GPU 없이도 대규모 MoE 모델을 로컬 환경에서 구동할 수 있지만, NVMe 읽기 속도에 따른 성능 제약이 존재합니다.
Running a 744B parameter model on a desktop, and why the trick is placement rather than compression↗dev.to
- 13
DeepSeek-v4.1 Flash: KV 캐시 압축 한계 뛰어넘다
DeepSeek-v4.1 Flash는 KV 캐시 압축을 극대화하여 런타임 KVCache 저장 공간을 4배, 영구 저장 공간을 8배까지 절감한 모델입니다. Causal Encoder-Decoder(CED) 구조를 통해 Prefill 단계의 활성 파라미터를 8B로 줄임으로써 초장기 컨텍스트를 처리하는 에이전트 서비스의 비용 효율성을 획기적으로 높였습니다.
DeepSeek-v4.1 Flash: Pushing the Limits of KV Cache Compression↗zartbot.github.io
- 16
2026년 9월, 중급 노트북에서 현실적으로 구동 가능한 Open Weights 모델은 무엇인가?
오픈 소스 AI 규제 논란 속에서도 오픈 웨이트 모델의 생태계는 유지될 전망이며, 2026년 9월 기준 중급 노트북에서 구동 가능한 Qwen, Gemma, Mistral 등의 모델 리스트를 소개합니다. 로컬 AI 실행은 데이터 프라이버시와 인터넷 연결 없는 환경에서의 활용성을 보장하는 핵심 기술로 강조됩니다.
What Open Weights Models Can You Realistically Run on a Medium Laptop (September 2026)?↗dev.to




















