LLMS.txt 파일의 97%는 요청을 받지 못했다, Ahrefs 데이터가 보여주다

(searchenginejournal.com)

Ahrefs의 분석 결과, 웹사이트의 llms.txt 파일 중 97%가 요청을 전혀 받지 못한 것으로 나타나 AI 검색 엔진보다는 코딩 에이전트 중심의 제한적인 활용 양상을 보이고 있습니다.

이 글의 핵심 포인트

1Ahrefs 분석 결과, 137,000개 도메인 중 llms.txt 파일의 97%가 요청을 전혀 받지 않음
2유효한 파일 중 트래픽이 발생한 경우는 약 38,000개 중 1,100여 개에 불과함
3트래픽의 96%는 AI 봇이 아닌 SEO 감사 도구 및 일반 웹 크롤러에서 발생함
4AI 관련 요청은 전체의 19%이며, 주로 코딩 에이전트와 학습용 크롤러에 집중됨
5llms.txt 파일이 프롬프트 인젝션 공격의 취약점으로 연구되고 있다는 발견이 있음

이 글에 대한 공공지능 분석

왜 중요한가?

AI 검색 최적화(AEO)를 위해 llms.txt 도입이 필수적이라는 기대와 달리, 실제 트래픽은 극히 미미하며 그마저도 코딩 도구에 집중되어 있다는 점을 시사합니다. 이는 기업들이 AI 대응을 위한 인프라 구축에 과도한 리소스를 투입할 필요가 없음을 보여주는 지표입니다.

어떤 배경과 맥락이 있나?

LLM 기반 검색 엔진이 확산되면서 웹사이트 정보를 AI 친화적으로 제공하려는 llms.txt 표준 도입 시도가 있었습니다. 하지만 최근 데이터는 이 파일이 일반 사용자를 위한 정보 검색보다는 개발자용 에이전트의 컨텍스트 제공용으로 주로 쓰이고 있음을 증명합니다.

업계에 어떤 영향을 주나?

SEO 전략가들이 주목하는 AI 인용(Citation) 증가를 위한 수단으로서의 가치는 아직 낮습니다. 다만, 코딩 에이전트나 자동화 도구에 대한 대응은 필요하므로 기술적 관점에서의 선별적인 접근이 요구됩니다.

한국 시장에 어떤 시사점이 있나?

글로벌 트렌드인 AI 검색 최적화를 위해 무분별하게 모든 표준을 따르기보다, 자사 서비스의 타겟 유저(개발자 vs 일반 사용자)가 어떤 봇을 사용하는지 면밀히 파악하여 비용 효율적인 대응 전략을 세워야 합니다.

이 글에 대한 큐레이터 의견

많은 기업이 AI 검색 엔진에 노출되기 위해 llms.txt와 같은 새로운 표준 도입에 열을 올리고 있지만, 이번 데이터는 그 실효성에 의문을 제기합니다. 현재 이 파일의 주된 방문객은 일반 사용자를 위한 AI 검색 봇이 아니라 코딩 에이잭트나 SEO 감사 도구입니다. 즉, 웹사이트의 가시성을 높이기 위한 '마케팅적 도구'로서의 역할은 아직 미미한 단계입니다.

물론 리스크도 존재합니다. llms.txt를 통해 제공되는 정보가 프롬프트 인젝션과 같은 보안 공격의 통로로 활용될 수 있다는 분석이 나왔습니다. 따라서 무작정 정보를 공개하기보다는, 데이터의 신뢰성을 유지하면서도 자동화된 에이전트에게 필요한 최소한의 컨텍스트만 제공하는 정교한 전략이 필요합니다. 스타트업은 비용 효율적인 관점에서 AI 대응 우선순위를 재설정해야 합니다.

원문 보기 →