구글의 뮐러, llms.txt가 LLM이 사이트 차별화에 도움을 주지 못한다고 말하며

(searchenginejournal.com)

구글의 존 멀러는 llms.txt 파일이 자가 보고된 정보라는 특성상 LLM이 웹사이트를 선택하는 '발견' 단계에서 차별화된 신호로 작동하기 어렵다고 분석하며, 기존 HTML 구조와 내부 링크의 중요성을 재확인했습니다.

이 글의 핵심 포인트

1구글 존 멀러는 llms.txt가 LLM의 웹사이트 발견(Discovery) 도구로서 한계가 있다고 주장함
2llms.txt는 자가 보고된 정보이므로, 사이트 간 차별화된 신호를 제공하기 어려움
3llms.txt의 유효한 역할은 이미 방문한 에이전트에게 안내를 제공하는 '내비게이션' 기능에 국한될 수 있음
4구글은 HTML과 내부 링크가 여전히 발견을 위한 핵심 기반임을 강조함
5AI 에이전트를 위한 웹 표준(예: WebMCP)은 정착까지 최소 6개월에서 1년 이상 소요될 것으로 예상됨

이 글에 대한 공공지능 분석

왜 중요한가?

AI 에이전트 시대의 웹 표준 논쟁에서 '발견(Discovery)'과 '내비게이션(Navigation)'을 분리해서 생각해야 함을 시사하며, 차세대 SEO 전략의 방향성을 결정짓는 핵심적인 인사이트를 제공합니다.

어떤 배경과 맥락이 있나?

최근 LLM 친화적인 웹 구축을 위해 llms.txt나 Markdown 변환이 유행하고 있으나, 구글은 이를 과거의 메인 키워드 태그와 같이 누구나 조작 가능한 '신뢰할 수 없는 자가 보고 데이터'로 간주하고 있습니다.

업계에 어떤 영향을 주나?

콘텐츠 제작자와 스타트업은 AI 에이전트에게 노출되기 위해 llms.txt 규격 도입에 매몰되기보다, 기존 HTML 구조 최적화와 에이전트가 접속했을 때의 액션(구매, 예약 등)을 돕는 가이드 제공에 집중해야 합니다.

한국 시장에 어떤 시사점이 있나?

글로벌 표준이 정립되지 않은 과도기적 상황에서, 무분별한 기술 도입보다는 에이전트가 우리 서비스의 핵심 기능을 정확히 수행할 수 있도록 구조화된 데이터와 명확한 실행 지침을 제공하는 데 우선순위를 두어야 합니다.

이 글에 대한 큐레이터 의견

많은 개발자와 스타업 창업자들이 AI 에이전트에게 자신의 서비스를 더 잘 노출하기 위해 llms.txt와 같은 새로운 규격 도입에 열을 올리고 있습니다. 하지만 구글의 이번 발언은 '자랑하기 위한 데이터'는 결국 변별력을 잃는다는 냉정한 진실을 보여줍니다. 모든 사이트가 '우리 사이트가 최고다'라고 적어둔 파일은 검색 엔진 입장에서 아무런 차별화된 가치를 제공하지 못하기 때문입니다.

물론 반론도 가능합니다. 만약 향후 LLM이 자가 보고된 데이터를 교차 검증하여 신뢰도를 측정할 수 있는 강력한 알고리즘을 갖추게 된다면, llms.txt는 다시금 강력한 랭킹 신호로 부상할 수 있습니다. 그러나 현재의 기술적 불확실성 속에서 리스크를 감수하며 발견(Discovery) 단계의 마케팅 비용을 새로운 파일 규격에 낭비하는 것은 위험합니다.

따라서 스타트업은 에이전트가 우리 사이트에 들어왔을 때 실제 비즈니스 목표(결제, 회원가입 등)를 수행할 수 있도록 돕는 '내비게이션' 최적화에 집중해야 합니다. 즉, 발견되는 것보다 중요한 것은 '방문한 에이전트가 어떻게 행동하게 만들 것인가'라는 실행 가능한 가이드라인을 구축하는 것입니다.

원문 보기 →