GPT-3.5를 7B 오픈소스 모델로 대체해 보니 실제로 무슨 일이 일어났을까

GPT-3.5를 7B 오픈소스 모델로 대체해봤습니다 — 실제로 무슨 일이 벌어졌을까요? 과거에는 이야기가 간단했습니다. 작은 모델은 멍청하고, 큰 모델은 똑똑하며, 똑똑한 모델은 OpenAI에 돈을 내고 사용한다는 것이었죠. 하지만 2024년에 이 이야기는 깨졌습니다. Llama 3.1, Qwen 2.5, Mistral은 7B-13B 파라미터 모델을 GPT-3.5가 필요했던 영역으로 밀어 넣었고, 일부 작업에서는 훨씬 뛰어넘었습니다. 하지만 함정은, 적절한 quantization이 필요하다는 것입니다. GGUF와 LoRA는 더 이상 선택 사항이 아니며, 필수적인 이유가 되었습니다.