내 llms.txt는 아무도 가져가지 않았어.

(dev.to)

AI 크롤러가 웹사이트를 더 잘 이해하도록 돕는 llms.txt 인덱스 파일보다 개별 페이지의 마크다운 복사본을 제공하는 방식이 실제 Meta 등 AI 크롤러에 의해 훨씬 더 활발하게 수집되고 있다는 실험적 발견을 다룹니다.

이 글의 핵심 포인트

1llms.txt 인덱스 파일은 크롤러가 스스로 찾아와야만 작동하는 수동적인 방식이다.
2개별 페이지의 마크다운(.md.txt) 버전은 이미 방문한 크롤러에게 깨끗한 텍스트를 제공하는 능동적인 방식이다.
3실험 결과, Meta의 크롤러가 .md.txt 파일을 가장 많이 수집(24회)했다.
4Google 개발자 문서는 llms.txt 없이도 마크다운 쌍(.md.txt)을 제공하는 방식을 채택하고 있다.
5llms.txt 파일은 실험 기간 중 AI 크롤러에 의한 직접적인 수집이 거의 발견되지 않았다.

이 글에 대한 공공지능 분석

왜 중요한가?

AI 시대에 웹 콘텐츠의 가시성을 확보하기 위한 SEO 전략이 기존 검색 엔진 중심에서 LLM 크롤러 중심으로 변화하고 있기 때문입니다. 어떤 기술적 조치가 실제 AI 모델의 데이터 수집 효율을 높이는지 실증적인 데이터를 통해 보여줍니다.

어떤 배경과 맥락이 있나?

최근 개발자들 사이에서 llms.txt를 통해 AI에게 웹사이트 구조를 알려주는 것이 유행처럼 번지고 있으나, 실제 대형 AI 모델(Meta, OpenAI 등)의 크기링 방식에 대한 검증은 부족한 상태였습니다.

업계에 어떤 영향을 주나?

콘텐츠 기반 스타트업이나 기술 블로그 운영자들은 막대한 리소스를 들여 전체 인덱스를 구축하기보다, 개별 페이지의 텍스트 추출(Markdown 변환) 최적화에 집중하는 것이 더 효율적인 전략이 될 수 있습니다.

한국 시장에 어떤 시사점이 있나?

글로벌 AI 크롤러의 움직임에 대응해야 하는 국내 기술 기업들은 무분별한 인덱스 구축보다는, 기존 웹 페이지의 구조를 AI가 읽기 쉬운 깨끗한 텍스트 형태로 제공하는 '데이터 정제' 작업에 우선순위를 두어야 합니다.

이 글에 대한 큐레이터 의견

웹사이트를 LLM 친화적으로 만드는 것은 향후 콘텐츠 기반 서비스의 생존과 직결된 문제입니다. 이번 실험은 개발자들이 '보여주기식' 기술 도입(llms.txt 구축)에 매몰되기보다, 실제 크롤러가 페이지를 방문했을 때 제공되는 데이터의 질(Markdown 변환 등)에 집중해야 함을 시사합니다. 이는 최소한의 비용으로 최대의 AI 노출 효과를 얻으려는 스타트업에게 매우 중요한 인사이트입니다.

물론, 개별 페이지 최적화만으로는 한계가 있습니다. 사이트 규모가 커질수록 수많은 .md.txt 파일을 관리하는 것은 운영 부담을 초래할 수 있으며, 대규모 구조 정보를 전달해야 하는 복잡한 서비스의 경우 llms.txt와 같은 인덱스 파일이 여전히 유효한 보조 수단이 될 수 있습니다. 따라서 창업자들은 모든 것을 자동화하기보다, 핵심 콘텐츠 페이지부터 단계적으로 텍스트 정제된 버전을 제공하는 '점진적 최적화' 전략을 취해야 합니다.

원문 보기 →