검색엔진 최적화 (SEO) 뉴스

Screaming Frog 팀이 2026년 10월 8~9일 영국 브라이튼에서 열리는 brightonSEO에 참가하여 SEO Spider 및 Log File Analyser의 기술 상담과 제품 체험을 진행합니다. 이번 행사에서는 제품 2주 무료 체험권 증정과 함께 친환경 SEO를 주제로 한 GreenSEO 미트업 지원 등 다양한 이벤트도 함께 진행될 예정입니다.

구글의 AI Overviews가 브랜드 관련 검색어에서 나타나는 빈도가 9월 말 기준 80%를 상회하며 급격히 증가했습니다. 이는 브랜드 검색 결과의 예측 가능성을 낮추고, 단순 검색 순위뿐만 아니라 AI 생성 답변 내 브랜드 인용 여부와 경쟁사 노출 여부를 관리해야 하는 새로운 과제를 던져줍니다.

이 글은 Node.js와 linkedom을 활용해 개발한 소형 SEO 크롤러의 구조와 작동 원리를 설명합니다. 단순한 오류 탐지를 넘어, 누구나 이해할 수 있는 체크리스트 기반의 점수 산정 방식을 통해 웹사이트의 검색 엔진 최적화 상태를 정량적으로 측정하고 개선하는 실질적인 방법을 다룹니다.

검색 엔진 cl0q가 자사의 웹 크롤러 소스 코드를 MIT 라이선스로 공개했습니다. 이 크롤러는 robots.txt를 엄격히 준수하고 개인정보를 수집하지 않는 '착한 봇'을 지향하며, Docker를 통해 누구나 자신의 노드를 운영하여 웹 인덱싱에 기여할 수 있습니다.

Google Search Central이 파편화된 기존 영상들을 정리하여 초보자를 위한 '검색 기초'와 개발자를 위한 '기술적 SEO'라는 두 가지 맞춤형 학습 경로를 제공합니다. 이를 통해 웹사이트 소유자와 개발자는 검색 엔진의 크롤링, 인덱싱, 렌더링 메커니즘을 단계별로 체계적으로 학습할 수 있습니다.

구글의 존 멀러는 AI 학습용 크롤러가 사이트맵 제출 기능 없이 기본 파일명이나 RSS 피드를 통해 콘텐츠를 탐색한다는 점을 밝히며, AI 노출을 위해 표준화된 경로 유지를 권장했습니다. 또한, llms.txt가 XML 사이트맵의 완벽한 대체재는 아니며, 사이트맵 수집 실패는 서버 부하나 콘텐츠 품질에 따른 크롤링 수요 부족 때문일 수 있다고 설명했습니다.

구글이 AI 에이전트 트래픽의 폭발적 증가와 AI 검색의 높은 연산 비용 문제로 인해 검색 결과(SERP) 스크래핑 및 순위 추적 도구에 대한 차단 조치를 강화하고 있습니다. 이는 단순한 스팸 방지를 넘어, AI를 이용한 구글 알고리즘 역설계 시도를 차단하고 검색 서비스의 비용 효율성을 극대화하려는 의도로 분석됩니다.

AI 검색 엔진의 등장으로 사용자가 웹사이트를 방문하지 않고도 답변을 얻는 환경이 조성됨에 따라, 기존의 클릭 중심 SEO 전략은 한계에 직면했습니다. 이제는 단일 키워드 최적화 대신 주제의 깊이를 확보하고, AI가 참조하기 좋은 명확하고 독창적인 정보를 제공하여 AI의 답변 과정에 포함되는 것이 새로운 목표가 되어야 합니다.

RankForge를 이용해 주요 고객 지원 플랫폼 5곳을 크롤링한 결과, Zendesk는 강력한 보안 정책으로 인해 크롤링이 차단되었고 HelpScout은 대규모 내부 리디렉션 문제를 보였습니다. 반면 Intercom은 가장 깨끗한 내부 링크 구조와 높은 권위 점수를 기록하며 최적의 SEO 상태를 증명했습니다.

Plugins Radar는 ChatGPT 플러그인 디렉토리 내 5,000개 이상의 플러그인을 대상으로 검색 순위와 경쟁사 정보를 제공하는 분석 플랫폼입니다. 사용자는 특정 키워드에서의 순위 변동과 경쟁사의 업데이트 사항을 이메일 알림으로 받아볼 수 있어 효율적인 플러그인 SEO 관리가 가능합니다.

구글은 제품 피드뿐만 아니라 웹 크롤링과 외부 플랫폼 데이터를 결합해 제품에 대한 영구적인 기록을 구축합니다. 이 과정에서 발생하는 데이터 불일치는 잘못된 할인 표시나 오래된 이미지 노출 등 이커머스 운영에 치명적인 오류를 유발할 수 있습니다.

콘텐츠가 발행 후 48시간 내에 소멸하는 '트레드밀' 현상을 방지하기 위해, 지속 가능한 콘텐츠 배포 시스템 구축이 필요합니다. 철저한 채널 리서치를 통해 타겟 고객이 머무는 곳을 파악하고, 데이터 기반의 독창적 콘텐츠를 제작하여 AI 엔진과 검색 엔진 모두에서 브랜드 점유율을 높여야 합니다.

최근 구글 검색 센터 라이브 행사에서 구글 서치 콘솔의 다크 모드 출시 예정 소식이 언급되었으나, 이는 구글 관계자들이 의도적으로 연출한 농담이었음이 밝혀졌습니다. 따라서 현재로서는 서치 콘솔의 다크 모드 도입을 위한 구체적인 로드맵은 존재하지 않습니다.

구글 검색의 크롤링, 인덱싱, 서비스 단계별 소요 시간을 분석한 내부 데이터가 공개되었습니다. 각 프로세스는 '전형적 시간'과 '최악의 시간'으로 나뉘며, 사이트 품질이나 서버 상태에 따라 반영 속도가 수 시간에서 수개월까지 크게 차이 날 수 있음을 보여줍니다.

테크니컬 SEO는 콘텐츠와 백링크 외에도 웹사이트의 기술적 구조를 최적화하여 검색 엔진의 크기 및 인덱싱 효율을 높이는 과정입니다. 웹사이트 속도, 모바일 최적화, 사이트맵 관리 등을 통해 검색 노출을 극대화하고 사용자 경험을 개선하는 것을 목표로 합니다.

구글의 Gary Illyes는 최근 세션에서 URL 발견부터 사이트 이동, 코어 업데이트 복구까지 주요 검색 프로세스의 전형적인 소요 시간 범위를 공개했습니다. 이 데이터는 단순한 마감 기한이 아닌 참조용 지표이며, 사이트 품질이나 기술적 결함에 따라 프로세스가 무기한 지연될 수 있음을 경고합니다.

구글 검색 순위가 높더라도 ChatGPT나 Perplexity 같은 AI 어시스턴트의 답변에 인용되지 못하는 사례가 다수 발견되었습니다. AI 모델은 모호한 서술보다 명확하고 일관된 정보를 선호하므로, 질문에 대한 직접적인 답변과 플랫폼 간 정보 일치성을 확보하는 것이 핵심입니다.

RankForge 크롤러를 통해 주요 SaaS 기업 4곳의 사이트 구조를 분석한 결과, Airtable이 가장 높은 내부 권위를 보인 반면 Monday.com은 가장 많은 고아 페이지를 발견했습니다. HubSpot은 내부 권위가 가장 낮게 측정되었으며, 이는 각 기업의 웹사이트 링크 구조와 SEO 최적화 상태가 상이함을 보여줍니다.

RankForge의 사이트 크롤링 분석을 통해 Shopify, Wix, Squarespace, BigCommerce의 기술적 SEO 상태를 비교한 결과, BigCommerce에서 불필요한 308 자가 리디렉션이 발견되었습니다. 이로 인해 BigCommerce는 분석 대상 중 가장 낮은 내부 권위(Internal Authority)를 기록한 반면, Wix는 가장 높은 권위를 나타냈습니다.

유튜브 백링크는 유튜브 영상에서 웹사이트로 연결되는 외부 링크로, 높은 도메인 권위를 활용해 사이트의 검색 순위를 높이는 효과적인 SEO 전략입니다. 이는 단순한 트래픽 유도를 넘어 브랜드 신뢰도 구축, 잠재 고객 확보, 그리고 검색 엔진 내 브랜드 가시성 확대에 기여합니다.