Qwen3.8 27B 양자화 벤치마크: 4비트는 성능 유지, 1비트는 붕괴

(news.hada.io)
GeekNewsAI 모델
Qwen3.8 27B 양자화 벤치마크: 4비트는 성능 유지, 1비트는 붕괴

55GB인 Qwen3.8 27B를 4비트 양자화로 17GB까지 줄여도, 과학 문제, 지시 준수와 에이전트 코딩 평가에서 원본과 눈에 띄는 성능 차이가 없었음 17GB 모델은 24GB RTX 4090에 약 64k 토큰 컨텍스트와 함께 올릴 수 있어, 소비자용 GPU에서도 원본에 가까운 작업 성...

원문 보기 →

댓글

아직 댓글이 없습니다. 첫 댓글을 남겨보세요.