검색엔진 최적화 (SEO) 뉴스

WP Engine과 같은 매니지드 호스팅 플랫폼이 인프라 레벨에서 GPTBot, ClaudeBot 등 주요 AI 크롤러를 차단하면서, 기존 SEO 방식으로는 확인할 수 없는 AI 검색 노출의 사각지대가 발생하고 있습니다. 이는 웹사이트 소유자가 robots.txt나 워드프레스 설정을 넘어 호스팅 및 CDN 레벨의 접근성까지 직접 검증해야 함을 의미합니다.

Cloudflare가 브라우저 렌더링 시 콘텐츠 사용 목적(reference/full)을 확인하는 기능을 도입함에 따라, 크롤링 실패 원인을 정책 거부와 프록시 오류로 명확히 구분해야 합니다. 정책 거부 시 프록시를 교체하는 것은 무의미하며, 정교한 에러 분류와 정책 검증용 카나리 테스트를 통해 효율적인 데이터 수집 파이프라인을 구축해야 합니다.

구글이 Search Console의 생성형 AI 성능 보고서와 제어 기능을 전 세계에 출시하며 AI 기반 검색 환경의 본격적인 시작을 알렸습니다. 이와 함께 구글 광고 내 AI 생성 리뷰 요약 도입, 유럽 데이터 라이동 라이선싱 프로그램 업데이트 등 검색 생태계의 구조적 변화가 관찰되고 있습니다.

구글이 생성형 AI 검색 성과를 측정할 수 있는 보고서와 AI 콘텐츠 노출 제어 기능을 전 세계에 출시했습니다. 웹사이트 운영자는 AI Overview 등 AI 기능에서의 노출 데이터를 확인할 수 있으며, 자신의 콘텐츠가 AI 답변의 근거로 사용되거나 링크로 표시되는 것을 선택적으로 차단할 수 있습니다.

AI 번역 에이전트와 수동 검토 방식 중 콘텐츠 업데이트 빈도에 맞는 전략을 선택하는 것이 글로벌 확장 성공의 핵심입니다. 단순한 텍스트 번역을 넘어 URL 구조, 메타데이터, SEO 태그 등 기술적 SEO를 완벽히 구현해야 검색 엔진 최적화 효과를 극대화할 수 있습니다.

AI 시스템은 모델 학습, 실시간 웹 크롤링, 데이터 라이선스 등을 통해 정보를 수집하며, 브랜드는 이를 활용해 AI 답변에 인용될 수 있습니다. 이를 위해 robots.txt 설정, 브랜드 일관성 유지, 검색 엔진 인덱싱 확인 등 기술적·콘텐츠적 최적화가 필요합니다.

이 글은 증기선에서 제트기, 계산척에서 스마트폰, 백과사전에서 AI에 이르기까지 지난 100년간의 기술적 변천사를 개인적 경험을 통해 회고합니다. 저자는 구글의 웹 크롤링 기술이 현재 AI 학습의 기반이 되었듯, 기술 혁신은 단절된 사건이 아니라 이전의 성과를 바탕으로 이어지는 연속적인 과정임을 강조합니다.

매출 400만 달러 규모의 가구 브랜드를 운영하는 창업자가 검색 순위 정체 문제를 해결하기 위해 세계적인 SEO 에이전시들을 비교 분석했습니다. 분석 결과, 기존의 장기적인 콘텐츠 제작 방식보다 실제 사용자의 검색 및 체륙 패턴을 모방하여 구글 알고리즘에 신호를 주는 '행동 기반 SEO'가 가장 빠르고 효과적인 대안으로 나타났습니다.

백링크 인덱싱 서비스 10개를 대상으로 3<0xA0>3일간의 실험을 통해 대부분의 서비스가 비용만 낭비할 뿐 실제 구글 인덱싱에는 효과가 없음을 밝혀냈습니다. 오직 AI 기반의 발견 경로를 생성하고 실시간 검증을 제공하는 IndexChex만이 높은 성공률을 기록하며 유일한 대안으로 제시되었습니다.

데이터 스택은 단일 서버에서 클라우드 웨어하우스, 모던 데이터 스택을 거쳐 이제 에이전트와 LLM이 활용 가능한 '포스트 AI 데이터 스택'으로 진화하고 있습니다. 미래의 데이터 팀은 비구조화 데이터를 포함한 기업의 지식을 모델링하고, 어떤 AI 인터페이스에서도 동일한 진실에 도달하도록 하는 '기업 현실의 설계자' 역할을 수행해야 합니다.

구글이 Search Console의 생성형 AI 성능 보고서를 전 세계로 확대 배포하며, AI Overlarviews 및 Discover에서의 노출 데이터를 제공합니다. 웹사이트 운영자는 특정 사이트의 콘텐츠를 AI 검색 결과에서 제외할 수 있는 옵트아웃(Opt-out) 기능을 사용할 수 있지만, 현재 보고서에는 클릭 데이터는 포함되지 않았습니다.

구글의 존 뮤러는 도메인 소유권 변경으로 인해 유해 콘텐츠로 변질된 외부 링크가 기존 웹사이트의 검색 순위에 부정적인 영향을 미치지 않는다고 밝혔습니다. 구글은 오래되고 무의미한 링크(link cruft)를 페널티를 주는 대신 무시하는 방식을 취하고 있습니다.

구글이 Search Console에 AI 성과 보고서와 생성형 AI 노출 차단 기능을 전 세계적으로 출시했습니다. 이를 통해 운영자는 AI Overviews 등 AI 검색 기능에서의 자사 콘텐츠 성과를 모니터링하거나, 필요에 따라 AI 검색 노출을 선택적으로 차단할 수 있습니다.

SEO 스타트업 RankHit은 권한 불균형과 스팸 리스크가 있는 백링크 교환 대신, 하나의 기사를 LinkedIn, X, Threads 등에 맞게 재가공하는 '콘텐츠 배포' 기능에 집중하기로 결정했습니다. 전문가들은 단순 배포를 넘어 각 채널의 특성에 맞는 '댓글형 콘텐츠' 제작과 실제 전환을 일으키는 채널 선별의 중요성을 강조합니다.

AI 학습을 위한 데이터 수집 과정에서 크롤러들이 리포지토리를 클론하는 대신 방대한 양의 HTML 페이지를 개별적으로 요청하며 서버에 막대한 CPU 부하를 일으키고 있습니다. 특히 프록시 SDK를 활용해 일반 사용자 IP로 위장하는 지능형 크롤링 방식 때문에 기존의 IP 차단 방식으로는 대응이 불가능한 상황입니다.

Tranco 상위 1기 사이트를 전수 조사한 결과, meta description과 robots.txt 같은 기본 SEO는 보편화되었으나 JSON-LD와 같은 구조화된 데이터 활용은 여전히 낮았습니다. 특히 주목할 점은 AI 크롤러를 차단하려는 움직임과 LLM을 위한 llms.txt 도입이 기술 중심 기업을 필두로 시작되고 있다는 것입니다.

Lens AI는 웹사이트의 콘텐츠 변화를 감지하여 JSON-LD 구조화 데이터를 자동으로 생성하고 최신 상태로 유지해 주는 무료 툴입니다. 이는 LLM 크롤러가 웹사이트 정보를 더 정확하게 파악하도록 도와 웹 인덱싱 효율을 극대화하는 데 목적이 있습니다.

RefreshQueue는 구글 서치 콘솔(GSC)과 연동하여 매주 클릭수가 급감한 URL을 식별하고, 콘텐츠 리프레시를 위한 브리프를 자동으로 생성해 이메일로 발송하는 SEO 자동화 도구입니다. 단순한 데이터 모니터링을 넘어, 콘텐츠 저하 원인을 분류하고 작업 지시를 자동화함으로써 SEO 에이전시의 운영 효율성을 높이는 데 집중합니다.

AI 학습을 위한 고품질 'Pre-AI' 데이터 확보 경쟁이 심화되면서, 리눅스 커널 저장소를 대상으로 한 비효율적인 HTML 렌더링 크롤링이 서버 CPU의 약 20%를 점유하는 등 심각한 부하를 일으키고 있습니다. 크롤러는 IP 차단을 피하기 위해 주거용 프록시를 활용하고 작업증명(PoW)조차 극복하며, 이로 인해 정상 사용자의 이용 불편과 서버 운영 비용 급증이라는 문제가 발생하고 있습니다.

고양이 정보를 담은 가짜 표준인 cats.txt가 AI 크롤링, Google 색인, LLM 답변, ChatGPT의 추천이라는 기존 llms.txt의 효과 입증 기준을 모두 통과함으로써, 현재 GEO 기술의 근거가 매우 빈약함을 증명했습니다. 이 글은 단순한 데이터 수집이 특정 표준의 유효성을 보장하지 않음을 지적하며, 검증되지 않은 신기술에 자원을 낭비하지 말 것을 권고합니다.