LoRA는 자체적인 감정으로 승리했고, 숨겨진 균형은 여전히 드러났습니다.

특정 질문에 대한 작은 답변을 얻고 싶었습니다. 두 개의 주제별 LoRA 어댑터가 모델 전체의 성능을 향상시키지 않고도 해당 주제에 대해 자체적으로 퍼플렉시티(perplexity)를 개선할 수 있는지 알고 싶었습니다. 실험에서는 기타(guitar)와 사워도우(sourdough)라는 두 가지 전문 분야를 사용했습니다. 베이스 모델과 각 어댑터는 새로운 학습/평가 실행 후, 두 가지의 보류된 주제 세트에 대해 평가되었습니다. guitar-ppl sourdough-ppl base 18.2 19.4 lora-guitar 11.3 15.4 lora-sourdough 13.7