UAJY 핸드북 RAG Chatbot, Gemini에서 FAISS 검색 분리

(dev.to)

인도네시아 UAJY 대학의 핸드북 RAG 챗봇 사례는 로컬 FAISS 검색과 클라우드 Gemini 생성 모델을 결합하여, 비용 효율적이면서도 할루시네이션을 제어할 수 있는 하이브리드 RAG 아키텍처의 구체적인 구현 방식을 제시합니다.

이 글의 핵심 포인트

1pdfplumber를 사용해 PDF 내 텍스트와 테이블을 추출하고 3,072차원 임베딩 생성
2FAISS 인덱스를 활용한 로컬 벡터 검색과 Gemini 2.5 Flash를 이용한 답변 생성의 하이브리드 구조
3유사도 임계값 및 시스템 프롬프트를 통한 할루시네이션 방지 및 답변 거부 메커니즘 적용
420개 질문에 대한 평가 결과, 범위 내 질문에 대해 100%의 Retrieval Recall@4 달성
5전체 응답 지연 시간(Latency) 약 1.85초, 검색 지연 시간 약 0.42초 기록

이 글에 대한 공공지능 분석

왜 중요한가?

RAG 시스템 구축 시 모든 과정을 클라우드 API에 의존하지 않고, 벡터 검색(FAISS)은 로컬에서 처리하여 비용과 효율성을 최적화할 수 있는 하이브리드 구조의 실질적인 구현 사례를 보여주기 때문입니다.

어떤 배경과 맥락이 있나?

최근 LLM 활용 서비스가 급증하며 데이터 보안과 API 비용 절감이 핵심 과제로 떠오른 가운데, 임베딩과 생성 모델은 클라우드를 쓰되 검색 엔진은 로컬화하는 아키텍처 설계가 주목받고 있습니다.

업계에 어떤 영향을 주나?

개발자들에게 단순한 챗봇 구현을 넘어, 데이터 인제스션부터 평가(Evaluation)까지 포함된 엔드투엔드 파이프라인의 표준적인 참조 모델을 제공하여 RAG 서비스의 신뢰도 향상에 기여할 수 있습니다.

한국 시장에 어떤 시사점이 있나?

보안이 중요한 한국 기업 환경에서, 민감 데이터는 로컬 인덱싱으로 관리하고 생성은 검증된 모델을 사용하는 '하이브리드 RAG' 전략은 비용 효율적인 AI 도입을 고민하는 스타트업에 중요한 벤치마크가 될 것입니다.

이 글에 대한 큐레이터 의견

이 프로젝트의 핵심 가치는 단순히 챗봇을 만든 것이 아니라, '검증 가능한(inspectable)' RAG 파이프라인을 구축했다는 점에 있습니다. 특히 유사도 임계값(similarity threshold)과 시스템 프롬프트를 결과 제어의 이중 방어선으로 사용한 설계는, 할루시네이션에 민급한 B2B AI 서비스를 준비하는 창업자들에게 매우 실무적인 인사이트를 제공합니다.

다만, 이 아키텍처에는 명확한 트레이드오프가 존재합니다. 벡터 검색을 로컬(FAISS)에서 수행함으로써 데이터 보안과 비용을 일부 확보할 수 있지만, 임베딩 생성과 답변 생성은 여전히 외부 API(Gemini)에 의존하므로 완전한 온프레미스(On-premise) 구현은 불가능합니다. 따라서 서비스 규모가 커져 인덱스 크기가 방대해질 경우, 로컬 환경의 컴퓨팅 자원 한계와 API 호출 비용 간의 균형을 맞추는 것이 향후 스케일업의 핵심 과제가 될 것입니다.

원문 보기 →