엔터프라이즈 LLM 서비스 구축기 2: 에이전트 엔지니어링

라인 기술블로그는 엔터프라이즈 LLM 서비스 구축 2편에서 Flava AI 어시스턴트(FAA)의 에이전트 엔지니어링 전략을 공유합니다. FAA는 실용성과 효율성을 위해 지식 주입에 파인 튜닝 대신 RAG(검색 증강 생성)를 선택했으며, RAG 구현 시 문맥 손실을 방지하기 위해 일반적인 청킹 대신 '검색 후 자르기(post-split)' 방식을 채택했습니다. 이 접근법은 문서의 특성을 활용하여 정확하고 비용 효율적인 답변을 제공하는 데 중점을 둡니다.

• 1Flava AI 어시스턴트(FAA)는 지식 주입에 파인 튜닝이 아닌 RAG(검색 증강 생성)를 선택했는데, 파인 튜닝은 지식 주입에 비효율적이고 유지 보수 비용이 높다고 판단했다.
• 2대부분의 RAG 시스템이 문서를 청킹하는 것과 달리, FAA는 문서 특성(명확한 주제, 적은 분량)을 고려하여 '검색 후 자르기(post-split)' 전략을 채택해 문맥 손실을 방지했다.
• 3'검색 후 자르기'는 전체 문서를 임베딩하고 검색한 뒤, 헤더 기반 분할 및 경량 LLM 필터링을 통해 질문에 필요한 섹션만 메인 LLM에 전달하는 방식이다.