150만 페이지 규모 웹사이트에서 scraper와 맞선 1년

(news.hada.io)

150만 페이지 규모의 웹사이트를 운영하며 대규모 스크래퍼와 맞선 사례를 통해, 방문자 유입 없이 트래픽 비용만 발생시키는 AI 크롤러에 대한 효율적인 차단 전략과 '방문자 대비 크롤링 비율'이라는 새로운 대응 지표를 제시합니다.

이 글의 핵심 포인트

1전체 트래픽의 99%가 봇이며, 서버 요청량 대비 실제 페이지뷰는 약 0.5% 수준에 불과함
2크롤러 평가 기준으로 '방문자 1명당 크롤링된 페이지 수'를 도입하여 Claude와 Amazon 봇을 차단함
3중국발 대규모 IP(36만 개) 및 AWS/Azure 기반의 헤드리스 브라우저, 주거용 프록시 봇넷 등 공격 방식이 진화함
4Cloudflare의 JavaScript Detection 기능을 사용할 경우 모바일 Lighthouse 점수가 58까지 급락하는 성능 저하 문제가 발생함
5최종 방어 전략으로 국가별 차단, 특정 SEO 봇 차단, 데이터센터 및 구형 브라우저에 대한 Managed Challenge 적용 등 9단계 규칙을 운영 중임

이 글에 대한 공공지능 분석

왜 중요한가?

AI 학습을 위한 무분별한 크롤링이 웹사이트 운영 비용을 급증시키고 있으며, 이는 단순한 트래픽 문제를 넘어 서비스의 경제적 지속 가능성을 위협하는 핵심 요소이기 때문입니다.

어떤 배경과 맥락이 있나?

LLM(Claude, GPT 등)의 발전으로 데이터 수집 수요가 폭증하면서, 검색 엔진뿐만 아니라 AI 학습용 봇들이 막대한 리소스를 소모하며 웹 생태계의 비용 구조를 변화시키고 있습니다.

업계에 어떤 영향을 주나?

콘텐츠 기반 스타트업은 이제 단순한 보안 설정을 넘어, 크롤러의 '방문자 기여도'를 측정하고 이에 따라 차단 여부를 결정하는 정교한 데이터 기반 방어 전략이 필요해졌습니다.

한국 시장에 어떤 시사점이 있나?

글로벌 트래픽을 대상으로 하는 국내 스타트업들은 중국/동남아발 봇넷과 데이터센터 IP 공격에 대비하여, 사용자 경험(Lighthouse 점수)과 보안 사이의 최적의 균형점을 찾는 운영 노하우를 갖춰야 합니다.

이 글에 대한 큐레이터 의견

이 사례의 핵심 통찰은 '모든 봇을 차단하는 것'에서 '봇의 유용성을 평가하는 것'으로 방어 패러다임을 전환했다는 점입니다. 스타트업 창업자 입장에서 인프라 비용 관리는 생존과 직결됩니다. 방문자 유입 없이 데이터만 긁어가는 AI 크롤러를 '방문자 대비 크롤링 비율'이라는 경제적 지표로 식별하여 차단하는 것은 매우 실무적이고 강력한 접근법입니다.

하지만 이러한 공격적인 방어 전략에는 명확한 트레이드오프가 존재합니다. 데이터센터 IP나 특정 국가를 차단할 경우, VPN을 사용하는 실제 유저나 해외 여행 중인 고객까지 차단될 위험(False Positive)이 있으며, 보안 강화를 위한 JavaScript Detection 적용은 모바일 Lighthouse 점수를 급락시켜 SEO와 사용자 경험에 악영태를 끼칠 수 있습니다.

결국 창업자는 '보안 비용'과 '사용자 경험/SEO 가치' 사이의 손익분기점을 끊임없이 계산해야 합니다. 무조건적인 차단보다는 서비스의 핵심 비즈니스 모델을 보호할 수 있는 수준에서, 검증된 봇(Verified Bot)은 허용하되 기여도가 낮은 봇은 단계적으로 Challenge를 거는 정교한 WAF 운영 능력이 향후 데이터 기반 기업들의 핵심 경쟁력이 될 것입니다.

원문 보기 →