Search Engine Journal

과거의 유통이 검색 엔진과 소셜 미디어를 통한 인간 중심이었다면, 이제는 AI 에이전트가 웹을 탐색하고 거래를 수행하는 새로운 시대가 열리고 있습니다. 이에 따라 주요 인프라 기업들은 에이전트가 데이터를 쉽게 읽고 작업을 실행할 수 있는 표준화된 프로토콜과 도구들을 앞다투어 출시하며 에이전트 친화적 생태계를 구축하고 있습니다.

과거의 성공 방식인 콘텐츠 프레임워크는 데이터의 확장과 AI 검색 환경(AI Overviews)의 등장으로 인해 더 이상 유효하지 않을 수 있습니다. 저자는 기존의 완성된 틀을 고수하기보다, 새로운 데이터를 통해 자신의 믿음을 검증하고 그 간극을 기록하는 것이 신뢰와 차별화를 얻는 핵심 전략이라고 강조합니다.

4월 말부터 구글 검색 결과에서 페이지가 '크롤링됨, 현재 인덱스에 생성되지 않음' 상태로 이동하며 사라지는 현상이 보고되고 있습니다. 하지만 이는 실제 삭제보다는 코어 업데이트에 따른 순위 하락이나 서치 콘솔의 데이터 오류일 가능성이 크며, 정확한 진단을 위해서는 URL 검사 도구를 통한 개별 확인이 필수적입니다.

생성형 AI 모델의 업데이트와 개인화로 인해 기존의 순위 추적 방식은 데이터 왜곡과 높은 변동성이라는 한계에 직면해 있습니다. 따라서 단순한 상위 노출을 넘어 브랜드의 안정성을 측정하는 '변동성 트래킹'과 맥락적 포함 여부를 파악하는 '평균 응답 트래킹'으로 성과 지표를 재정의해야 합니다.

Microsoft가 Bing Webmaster Tools에 AI 인용 점유율 측정 기능을 도입하며 AI 시대의 새로운 SEO 지표를 제시한 반면, llms.txt의 실제 활용도는 매우 낮은 것으로 나타났습니다. 동시에 Google과 Microsoft 등이 주도하는 AI 에이전트용 데이터 및 도구 발견 표준 규격이 등장하며 에이전트 생태계의 기반 마련이 시작되었습니다.

구글은 생성형 AI로 제작된 스팸 콘텐츠를 탐지하기 위해 개별 콘텐츠가 아닌 공격의 조직적 구조와 템플릿을 분석하는 'S-CTS' 시스템을 개발했습니다. 이 시스템은 LoRA와 APO 기술을 통해 새로운 AI 모델 기반의 스탬 트렌드에 빠르게 적응하며, S-BERT를 활용해 문장 간 의미적 유사성을 파악하여 대규모 클러스터를 차단합니다.

AI 모드 사용자는 긴 쿼리를 통해 이미 상세한 비교와 계획을 마친 채 웹사이트를 방문하며, 이들의 전환율은 일반 유입보다 42%나 높습니다. 하지만 여전히 많은 웹사이트가 기존의 설득형 구조를 유지하고 있어, 유입된 사용자의 즉각적인 행동을 방해하는 병목 현상이 발생하고 있습니다.

OpenAI는 무료 ChatGPT 사용자를 위한 GPT-5.5 Instant 모델이 건강 관련 질문에서 기존 프론티어 모델 수준의 성능을 보여준다고 밝혔습니다. 자체 평가 결과, 사실관계 오류가 71% 감소했으며 일부 지표에서는 전문의의 답변보다 높은 정확도와 완결성을 기록했다고 주장했습니다.

구글, 마이크로소프트, GitHub 등 11개 기업이 AI 에이전트의 도구 및 API 발견을 위한 오픈 사양인 ARD(Agentic Resource Discovery)를 발표했습니다. 이 규격은 각 기업이 자신의 도메인에 카탈로그를 게시하면 에이전트가 이를 실시간으로 검색하고 검증하여 연결할 수 있도록 설계되었습니다.

전통적인 검색 엔진은 문자열 매칭을 통해 문서를 찾지만, LLM은 프롬프트의 의도를 해석하여 자체적인 검색 쿼리를 생성하므로 두 시스템의 작동 방식은 근본적으로 다릅니다. 따라서 사용자의 긴 프롬프트를 단순히 키워드 길이로 판단하는 것은 잘못된 데이터 분석을 초래할 수 있으며, 모델이 수행하는 쿼리 분해와 재구성 과정을 고려한 새로운 측정 기준이 필요합니다.

구글은 Gemini AI를 통해 사용자의 Gmail, 캘린더 등 개인 데이터와 공공 웹 정보를 결합하여 초개인화된 검색 경험을 제공하는 '퍼스널 인텔리전스' 시스템을 구축하고 있습니다. 이는 단순한 키워드 검색을 넘어 사용자 맞춤형 답변을 생성함으로써, 기업들이 AI 에이전트가 인식하기 좋은 구조화된 데이터와 일관된 브랜드 존재감을 갖추도록 요구합니다.

많은 웹사이트 운영자들이 AI 노출을 위해 LLMs.txt를 활용하고 있으나, 이는 원래의 설계 목적과 어긋나는 방식입니다. 구글은 LLMs.txt가 발견이 아닌 이미 사이트를 인지한 에이전트의 작업을 돕는 용도로 쓰여야 하며, 진정한 발견은 여전히 HTML 기반의 검색 엔진 아키텍처를 통해 이루어진다고 강조했습니다.

구글은 도메인 마이그레이션 시 기존 도메인의 모든 서브도메인과 www 및 non-www 변형 버전을 포함하여 주소 변경 요청을 제출할 것을 권고하는 업데이트된 가이드를 발표했습니다. 이는 사용하지 않는 변형 버전이라 하더라도 크롤링 패턴으로 인해 발생할 수 있는 검색 성능 문제를 차단하기 위함입니다.

구글 AI Overviews 분석 결과, 기업이 스스로를 최고라고 치켜세우는 리스트클 기사가 인용되더라도 실제 추천 목록에서는 제외되는 사례가 약 69%에 달하는 것으로 나타났습니다. 이는 단순한 출처 인용(Citation)보다 브랜드 추천(Recommendation)을 확보하는 것이 AI 검색 시대의 핵심 성공 지표임을 시사합니다.

구글의 AI Overviews와 LLM 기반 엔진이 검색 결과에서 정보를 요약 제공하면서 B2B 고객의 초기 리서치 단계가 웹사이트 방문 없이 이루어지고 있습니다. 이로 인해 단순 트래픽은 감소할 수 있으나, AI에 인용되는 브랜드는 오히려 더 높은 클릭률과 양질의 리드를 확보하는 기회를 맞이하고 있습니다.

영국 CMA는 구글 검색 결과의 공정성을 높이기 위해 유기적 검색 결과(AI 오버뷰 포함)의 랭킹 기준을 객관화하고 중대한 변경 시 사전 통지할 것을 명령했습니다. 또한, 기존의 자발적 API를 넘어 사용자의 검색 데이터 이동성을 법적 의무로 규정하여 제3자 서비스의 데이터 접근권을 강화했습니다.

AI 기능 도입으로 검색 결과가 복잡해짐에 따라 SEO, PPC, 콘텐츠 팀 간의 파편화된 업무 방식이 한계에 직면했습니다. 이를 해결하기 위해 비즈니스 목표와 사용자 의도를 중심으로 모든 채널을 통합하는 '통합 서치 브리프(Integrated Search Brief)' 전략이 필요합니다.

웹 트래픽의 과반이 인간이 아닌 AI 봇에 의해 발생하면서, 원문 사이트로의 클릭 없이 정보만 추출되는 '제로 클릭' 현상이 심화되고 있습니다. 이에 따라 콘텐츠 제작자들은 크롤링 차단이나 데이터 판매를 통해 새로운 수익 모델을 구축하려는 움직임을 보이고 있습니다.

WooCommerce 사이트에서 장바기 담기 파라미터가 포함된 URL이 robots.txt 차단에도 불구하고 색인되었다는 경고가 발생한 사례를 분석합니다. 구글은 이러한 URL이 검색 결과에 노출될 가능성이 낮으므로 robots.txt를 통한 크롤링 차단 방식이 적절하다고 조언하며, 근본적인 해결을 위해 내부 링크 관리를 권장합니다.

과거 SEO는 검색 노출 기회를 늘리기 위해 다량의 콘텐츠를 발행하는 것이 유리했으나, AI 기반 검색 시스템은 정보의 양보다 의미론적 정확성과 응집력을 중시합니다. 따라서 무분별한 확장은 오히려 브랜드의 권위를 분산시키고 AI 답변에서 제외되는 결과를 초래할 수 있습니다.

구글은 기존에 llms.txt와 같은 특수 마크업 사용을 지양하라는 뉘앙스의 가이드를 수정하여, 자사 검색 결과에는 영향이 없더라도 타 AI 서비스 대응을 위한 파일 유지를 허용한다고 밝혔습니다. 이는 구글 검색 최적화 범위와 타 AI 엔진을 위한 기술적 조치를 분리하여 명확히 한 조치입니다.

대다수의 SEO 전문가가 AI를 사용하지만, 체계적인 시스템을 갖춘 비율은 12%에 불과하여 콘텐츠 품질 저하와 브랜드 정체성 상실이라는 리스크에 직면해 있습니다. 이를 해결하기 위해 지식, 워크플로우, 거버넌스, 애플리케이션으로 구성된 4계층 AI 운영 플레이북을 통해 기업 고유의 컨텍스트를 확보하는 것이 핵심입니다.

마이크로소프트가 Bing 웹마스터 도구의 AI 성능 대시보드에 인용 점유율(Citation Share), 쿼리 의도(Intents), 주제별 그룹화(Topics), 기간 비교(Compare) 기능을 추가했습니다. 이를 통해 웹사이트 운영자는 자사 콘텐츠가 Copilot 등 AI 답변에서 얼마나 핵심적인 역할을 하는지 보다 정교하게 파악할 수 있게 됩니다.

영상 편집 도구 Kapwing의 조사 결과, 틱톡 신규 계정의 'For You' 피드 중 약 59%가 AI로 생성된 저품질 콘텐츠인 것으로 밝혀졌습니다. 이는 유튜브의 21%보다 훨씬 높은 수치이며, 특히 키즈 및 교육 카테고리에서 그 집중도가 매우 높게 나타났습니다.