137,000개 웹사이트 분석 결과: llms.txt 파일은 97%가 읽히지 않는다
(ahrefs.com)
Ahrefs의 대규모 분석 결과, 웹사이트의 AI 가시성을 높이려는 llms.txt 파일의 97%가 실제로는 아무런 트래픽도 받지 못하고 있어, 현재로서는 AI 검색 최적화 도구로서의 실효성이 매우 낮은 것으로 나타났습니다.
이 글의 핵심 포인트
- 113만 7천 개 도메인 분석 결과, llms.txt를 사용하는 사이트의 28%가 해당 파일을 게시함
- 2게시된 llms.txt 파일 중 97%는 2026년 5월 기준 트래픽이 전혀 발생하지 않음
- 3llms.txt에 접근하는 요청의 96%는 봇(Bot)에 의한 것이며, GPTBot과 Claude-Code가 상위권을 차지함
- 4구글은 llms.txt가 생성형 AI 검색 노출을 위해 필수적인 요소는 아니라고 명시함
- 5Chrome Lighthouse의 실험적 감사 기능이 유일한 대규모 호출 사례 중 하나로 확인됨
이 글에 대한 공공지능 분석
왜 중요한가?
웹사이트 운영자들이 막연한 기대감으로 도입 중인 llms.txt의 실제 효용성이 데이터로 부정되었기 때문입니다. 이는 AI SEO(검색 엔진 최적화) 전략 수립 시 자원 배분의 우선순위를 재고해야 함을 의미합니다.
어떤 배경과 맥락이 있나?
LLM이 웹 콘텐츠를 더 효율적으로 이해하도록 돕는 llms.txt가 등장하며 'AI 가시성' 확보를 위한 새로운 표준으로 주목받았습니다. 그러나 구글 등 주요 플랫폼의 공식적인 지원이나 활용 사례는 아직 미비한 상태입니다.
업계에 어떤 영향을 주나?
마케팅 및 SEO 담당자들에게 무분별한 기술 도입보다는 실제 트래픽을 유도하는 핵심 콘텐츠 최적화에 집중할 것을 시사합니다. 다만, 개발자 문서를 다루는 B2B SaaS 기업에는 여전히 유효한 도구가 될 수 있습니다.
한국 시장에 어떤 시사점이 있나?
글로벌 표준이 정립되지 않은 기술에 선제적으로 대응하기보다, 실제 AI 에이전트의 크롤링 패턴을 모니터링하며 데이터 기반의 점진적 도입 전략을 취하는 것이 효율적입니다.
이 글에 대한 큐레이터 의견
현재 웹 생태계는 'AI 가시성'이라는 새로운 키워드에 매몰되어 실질적인 데이터 없이 기술적 실험에 과도한 에너지를 쏟고 있는 모습입니다. llms.txt의 낮은 활용도는 AI 검색 최적화가 아직은 표준화된 규약이라기보다, 개별 모델과 크롤러의 실험적 시도 단계에 머물러 있음을 보여줍니다. 스타트업 창업자들은 이러한 '기술적 유행'에 휘둘려 개발 리소스를 낭비하기보다는, 실제 GPTBot이나 Claude-code와 같은 주요 에이전트가 우리 사이트를 어떻게 소비하는지 로그를 통해 검증하는 실리적인 접근이 필요합니다.
물론 반론의 여지는 있습니다. 현재의 낮은 트래픽은 기술의 무용성을 뜻하기보다 도입 초기 단계의 '콜드 스타트' 문제일 수 있으며, Chrome Lighthouse의 실험적 감사 기능처럼 브라우저 레벨에서의 지원이 확대되면 상황은 급변할 수 있습니다. 따라서 무조건적인 배제보다는, 개발자 문서를 다루는 서비스라면 비용 대비 효율을 고려하여 선택적으로 도입하되, 일반 사용자 대상 서비스라면 기존 SEO 전략을 유지하며 모니터링하는 균형 잡힌 태도가 요구됩니다.
댓글
아직 댓글이 없습니다. 첫 댓글을 남겨보세요.