google.com/goto: Google의 스크래핑 방지 업데이트

(autom.dev)

Hacker News2026년 9월 12일SEO·GEO·AEO

구글이 검색 결과의 목적지 URL을 직접 노출하는 대신 google.com/goto라는 암호화된 리다이렉트 방식을 도입하여, AI 크롤러와 SEO 스크래퍼의 자동화된 데이터 수집 비용을 높이고 검색 결과 탈재를 방지하려는 움직임을 본격화하고 있습니다.

이 글의 핵심 포인트

1구글이 검색 결과의 목적지 URL을 직접 노출하는 대신 google.com/goto?url=... 형식을 사용하기 시작함
2새로운 url 파라미터는 단순한 Base64 인코딩이 아닌 구글 전용의 특수 인코딩 방식을 사용함
3실제 URL은 /goto 요청의 Location 헤더를 통해서만 확인할 수 있음
4이 업데이트는 로그아웃 상태나 시크릿 모드에서 2026년 8월 말부터 일관되게 관찰됨
5구글의 의도는 AI 크롤러 및 SEO 스크래퍼의 대규모 URL 추출 비용을 높이고 자동화된 봇을 탐지하는 것임

이 글에 대한 공공지능 분석

왜 중요한가?

검색 엔진의 데이터 접근 방식이 '정적 파싱'에서 '동적 요청'으로 강제 전환됨에 따라, 기존의 단순한 스크래핑 방식이 무력화되고 데이터 수집의 비용 구조가 근본적으로 변화하기 때문입니다.

어떤 배경과 맥락이 있나?

AI 모델 학습을 위한 대규모 데이터 수집과 SEO 도구들의 검색 결과 탈취가 급증하면서, 구글은 자사 인덱스의 가치를 보호하고 자동화된 봇의 탐지를 강화하기 위해 보안 장치를 강화하고 있습니다.

업계에 어떤 영향을 주나?

검색 데이터를 기반으로 서비스를 구축하는 AI 스타트업이나 SEO 솔루션 기업들은 더 높은 컴퓨팅 자원과 정교한 우회 기술이 필요하게 되어 운영 비용 상승 압박을 받게 됩니다.

한국 시장에 어떤 시사점이 있나?

네이버나 카카오 등 국내 플랫폼 역시 글로벌 트렌드에 맞춰 데이터 보호를 강화할 가능성이 높으므로, 국내 검색 기반 서비스 개발자들은 데이터 수집의 불확실성에 대비한 아키텍처 설계가 필요합니다.

이 글에 대한 큐레이터 의견

구글의 이번 조치는 검색 생태계의 '데이터 주권'을 강화하려는 선제적 방어 기제입니다. 단순한 URL 은닉을 넘어, 스크래퍼가 매번 구글 서버에 요청을 보내게 함으로써 봇의 패턴을 식별할 수 있는 강력한 신호를 생성합니다. 이는 데이터 기반의 AI 에이전트나 검색 인덱싱 서비스를 개발하는 스타트업에게는 명백한 기술적 장벽이자 비용 증가 요인입니다.

다만, 이러한 폐쇄적 전략이 장기적으로는 웹 생태계의 투명성을 저해하고 정보의 재가공을 어렵게 만들어, 결과적으로 검색 결과의 가치를 낮추는 역효록을 낼 수도 있습니다. 창업자들은 구글의 변화를 단순한 '방해'로만 볼 것이 아니라, 이제는 단순 크롤링이 아닌 정교한 브라우저 환경을 모사하거나 API 기반의 합법적 데이터 확보를 고려해야 하는 시점임을 인지하고, 데이터 수집 파이프라인의 회복 탄력성(Resilience)을 확보하는 데 집중해야 합니다.

원문 보기 →