단 하나의 누락된 UA 패턴으로 인해 수개월간의 Google 인덱싱을 잃어버렸다

(dev.to)

구글 서치 콘솔의 URL 검사 도구가 'Googlebot'이 아닌 'Google-InspectionTool'이라는 별도의 유저 에이전트를 사용한다는 사실을 발견하여, 연령 제한이나 지역 차단 설정을 적용한 웹사이트가 의도치 않게 검색 인덱싱에서 제외될 수 있는 위험성을 경고합니다.

이 글의 핵심 포인트

1구글 서치 콘솔의 'URL 검사' 도구는 Googlebot이 아닌 Google-InspectionTool이라는 별도의 UA를 사용함
2연령 확인(Age-gate)이나 지역 제한 로직에서 봇 예외 처리가 잘못되면 검색 엔진 인덱싱이 실패할 수 있음
3소셜 미디어의 오픈 그래프(OG) 카드 생성을 위해 facebookexternalhit, Twitterbot 등의 스크래퍼도 함께 허용해야 함
4AI 시대에 대응하기 위해 GPTBot, ClaudeBot 등 AI 크롤러를 포함하는 것이 검색 가시성 확보에 유리함
5curl 명령어를 사용하여 실제 봇의 UA로 접속했을 때의 응답(meta robots 태그 등)을 직접 검증하는 프로세스가 필요함

이 글에 대한 공공지능 분석

왜 중요한가?

웹사이트의 검색 노출(SEO)과 직결되는 인덱싱 오류를 방지하기 위해서입니다. 특히 보안이나 규제 준수를 위해 접근 제어를 하는 서비스라면, 잘못된 봇 필터링이 수개월간의 크롤링 예산을 낭비하게 만들고 검색 결과에서 서비스를 사라지게 할 수 있습니다.

어떤 배경과 맥락이 있나?

최근 Next.js 등 현대적인 프레임워크를 사용하는 개발자들은 미들웨어를 통해 요청 단계에서 사용자 위치나 연령을 확인하는 로직을 자주 구현합니다. 이때 검색 엔진 크롤러를 예외 처리하는 과정에서 발생하는 기술적 맹점을 다루고 있습니다.

업계에 어떤 영향을 주나?

글로벌 서비스를 지향하는 스타트업은 국가별 규제 대응을 위해 Geo-blocking이나 Age-gate를 도입하는데, 이 과정에서 SEO가 무너지는 사례가 늘어날 수 있습니다. 이는 단순한 버그를 넘어 서비스의 가시성(Visibility)에 치명적인 영향을 미칩니다.

한국 시장에 어떤 시사점이 있나?

한국은 성인 인증이나 특정 지역 제한 로직이 빈번하게 사용되는 시장입니다. 글로벌 확장을 준비하는 국내 개발자들은 구글뿐만 아니라 소셜 미디어 스크래퍼(Facebook, Twitter 등)까지 고려한 포괄적인 봇 허용 리스트를 관리해야 합니다.

이 글에 대한 큐레이터 의견

웹 서비스의 접근 제어 로직을 설계할 때 '규제 준수'와 '검색 가시성' 사이의 균형을 맞추는 것은 매우 까다로운 작업입니다. 개발자는 규제 대응을 위해 엄격한 게이트를 구축하면서도, 검색 엔진과 소셜 미디어 스크래퍼에게는 투명한 통로를 열어두어야 합니다. 이번 사례처럼 유저 에이전트(UA)의 미세한 차이를 간과하면 서비스 출시 직후 인덱싱 누락이라는 치명적인 장애를 겪을 수 있습니다.

물론 모든 봇을 무분별하게 허용하는 것은 '클로킹(Cloaking)'으로 오인받아 구글로부터 페널티를 받을 위험이 있다는 반론이 있을 수 있습니다. 하지만 구글의 가이드라인은 검색 엔진에게 실제 콘텐츠와 동일한 내용을 제공하는 것을 허용하고 있으므로, 핵심은 단순한 우회가 아니라 '검색 도구'와 '소셜 스크래퍼'를 명확히 식별하여 인덱싱과 공유 기능을 보장하는 것입니다. 따라서 스타트업은 규제 로직 구현 시 반드시 다양한 UA 패턴을 테스트하는 단위 테스트를 포함해야 합니다.

원문 보기 →