외부 LLM API 없이 작동하는 30억 개의 임대 리스크 스캐너를 만들었습니다.
(dev.to)
외부 API 호출 없이 로컬 환경에서 작동하는 30억 파라미터 규모의 소형 언어 모델(SLM)을 활용해, 개인정보 유출 걱정 없이 계약서 내 독소 조항을 정밀하게 찾아내는 'Lease Lens'가 공개되어 보안과 효율성을 동시에 잡은 AI 에이전트 개발의 새로운 이정표를 제시했습니다.
이 글의 핵심 포인트
- 1Llama 3.2 3B 모델 미세 조정을 통해 기본 3B 모델 대비 F1 점수를 약 242% 향상시킴
- 2외부 LLM API를 호출하지 않고 로컬(llama.cpp, Ollama 등)에서 구동 가능하여 데이터 프라이버시 보호
- 3