제 길을 지켜라: 10개의 LLM이 요청을 이해했지만, 절반은 여전히 심판을 하려 했습니다.

(dev.to)

LLM의 언어 이해 능력은 이미 성숙 단계에 도달했으나, 정해된 데이터 스키마와 제약 조건을 준수하는 '제어 능력'은 여전히 심각한 결함이 있어 실제 서비스 적용 시 정교한 가드레일 설계가 필수적임을 보여주는 벤치마크 결과입니다.

이 글의 핵심 포인트

110개 LLM 테스트 결과, 대부분의 모델이 사용자의 의도(Faithfulness)는 정확히 파악했으나 정해진 스키마(Schema) 준수율은 매우 낮았음
2특히 'solo' 대신 'individual'을 써야 하는 등 정해진 Enum 값을 벗어나는 오류가 다수 발생함
3프롬프트 인젝션 공격(GPS 좌표 입력, 점수 조작 등)에 대해 일부 모델은 시스템 명령을 그대로 수행하는 취약점을 보임
4규칙 기반(Rule-based)의 단순 키워드 빌더가 일부 지표에서 최신 LLM보다 더 높은 신뢰성을 기록함
5Gemini 3.7 Flash와 Claude Haiku 5.5 등은 의도 파악은 우수했으나 스키마 위반 및 제약 조건 위반 문제가 나타남

이 글에 대한 공공지능 분석

왜 중요한가?

AI 에이전트가 단순 챗봇을 넘어 실제 시스템의 동작을 결정하는 '에이전틱 워크플로우'로 진화함에 따라, 모델의 추론 능력보다 출력값의 구조적 무결성과 제약 조건 준수 여부가 서비스 안정성의 핵심 지표가 되었기 때문입니다.

어떤 배경과 맥락이 있나?

최근 LLM 성능 경쟁은 문맥 이해와 추론(Reason기)에 집중되어 있으나, 실제 프로덕션 환경에서는 API 스키마 준수, 프롬프트 인젝션 방어, 데이터 타입 일치와 같은 '결정론적(Deterministic) 제어'가 필수적인 상황입니다.

업계에 어떤 영향을 주나?

모델의 지능(Intelligence)과 신뢰성(Reliability) 사이의 간극이 확인됨에 따라, LLM 기반의 에이전트를 구축하는 스타트업들은 LLM 단독 사용보다는 규칙 기반 엔진(Rule-based engine)이나 강력한 출력 검증 레이어를 결합한 하이브리드 아키텍처를 채택해야 할 것입니다.

한국 시장에 어떤 시사점이 있나?

한국어 특화 모델이나 소형 모델(SLM)을 활용하려는 국내 기업들에게, 단순히 모델의 벤치마크 점수(MMLU 등)에 의존하기보다 실제 비즈니스 로직의 제약 조건을 얼마나 엄격하게 지키는지에 대한 '도메인 특화 벤치마크' 구축이 필수적입니다.

이 글에 대한 큐레이터 의견

이번 벤치마크는 AI 에이전트 개발자들에게 매우 뼈아픈 교훈을 줍니다. 모델이 "무엇을 말하는지"는 이해하지만 "어떻게 말해야 하는지"에 대한 통제권은 여전히 상실된 상태입니다. 특히 모델이 더 '자연스러운' 표현을 쓰려는 본능(Natural language bias)이 시스템의 엄격한 스키마(Enum)를 파괴하는 현상은, 지능이 높을수록 오히려 제어하기 어려울 수 있다는 역설을 보여줍니다.

스타트업 창업자라면 LLM의 높은 지능을 활용하되, 출력값의 안정성을 보장하기 위한 '결정론적 가드레일' 구축에 비용을 아끼지 말아야 합니다. 물론 모든 출력을 검증하는 것은 레이턴시와 비용 측면에서 트레이드오프를 발생시키며, 과도한 제약은 모델의 유연한 추론 능력을 저해할 위험이 있습니다. 따라서 핵심 비즈니스 로직(결제, 권한, 위치 정보 등)은 반드시 코드 기반의 규칙 엔진에 맡기고, LLM은 오직 '의도 파악'의 영역에만 한정하는 '분리된 아키텍처' 전략이 가장 현실적이고 안전한 실행 방안입니다.

원문 보기 →