Show HN: 1-Bit Bonsai, 최초의 상용화된 1-Bit LLMs
(prismml.com)
Prism ML이 세계 최초로 상용화된 1-Bit LLM 'Bonsai'를 출시하며, 성능 저하 없이 모델을 극단적으로 경량화해 모바일 및 엣지 디바이스에서 고성능 AI를 구현하는 온디바이스 AI 시대의 혁신적인 토대를 마련했습니다.
이 글의 핵심 포인트
- 1Prism ML은 Caltech 연구를 기반으로 세계 최초의 상용화된 1-Bit LLM 'Bonsai'를 출시했습니다.
- 21-bit Bonsai 8B 모델은 표준 16-bit 8B 모델(16.0GB) 대비 14배 적은 1.15GB의 메모리만 필요합니다.
- 3