Agent 내 수백 개의 도구 — 진짜로 적절한 도구를 선택하는 방법
(dev.to)
아무도 말하지 않는 문제 Agent를 구축했습니다. 100개 이상의 tool을 연결했습니다. 뿌듯함을 느낍니다. 그러다 hallucination이 발생하기 시작합니다. 잘못된 tool을 선택합니다. 단 하나의 잘못 분류된 query 때문에 전체 workflow가 무너집니다. 실패의 원인은 LLM이 아닙니다. 바로 architecture입니다. 이전 포스트에서는 Gemma4에서 발견한 실제 use case를 다루었습니다. 그리고 바로 이 지점이 Gemma4가 필요한 부분입니다. Naive한 접근 방식 (그리고 그것이 실패하는 이유) 모든 tool을 LLM context에 로드하고 스스로 결정하게 만드는 것. 그럴듯해 보이죠
이 글의 핵심 포인트
- 1계층적 필터링 스택(의도 분류 → 메타데이터 필터링 → 시맨틱 검색 → 스코어링 → 최종 선택) 제안
- 2엔드 투 엔드 지연 시간(Latency)을 2초 미만으로 유지 가능