JavaScript 링크로 인해 페이지가 AI 검색에 보이지 않을 수 있습니다.

(searchengineland.com)

JavaScript로 생성되는 링크가 GPTBot이나 ClaudeBot 같은 최신 AI 크롤러의 페이지 발견을 차단하여, 결과적으로 AI 검색 엔진에서의 서비스 노출을 불가능하게 만들 수 있다는 실험 결과가 발표되었습니다.

이 글의 핵심 포인트

141일간의 실험 결과, Googlebot을 제외한 GPTBot, ClaudeBot 등 주요 AI 크롤러는 JavaScript로 주입된 링크를 발견하지 못함
2Googlebot조차 JavaScript로 연결된 페이지의 단 2%만을 찾아내는 데 그침
3실험 환경에서 사이트맵과 브레드크럼을 제거했을 때, JS 기반 내비게이션은 크롤러의 탐색을 완전히 차단함
4GoogleOther 크롤러는 JavaScript를 실행하여 링크를 따라가는 모습을 보였으나, Googlebot의 성과는 제한적이었음
5AI 어시스턴트용 크롤러들은 HTML로 하드코딩된 링크는 빠르게 탐색하지만, JS 주입 방식에는 반응하지 않음

이 글에 대한 공공지능 분석

왜 중요한가?

AI 검색 엔진이 정보 검색의 주류로 떠오르는 상황에서, 기술적 구현 방식(JS vs HTML)에 따라 서비스의 존재 자체가 AI 답변에서 누락될 수 있기 때문입니다. 이는 단순한 SEO 문제를 넘어 브랜드 노출과 고객 유입이라는 비즈니스의 생존 문제입니다.

어떤 배경과 맥락이 있나?

과거에는 'Googlebot이 JavaScript를 완벽히 렌더링한다'는 믿음이 표준이었으나, 최근 급증하는 AI 어시스턴트용 크롤러들은 여전히 정적 HTML 파싱에 의존하는 경향이 강합니다. 웹 기술의 발전 속도를 크롤러 기술이 따라가지 못하는 격차가 발생하고 있습니다.

업계에 어떤 영향을 주나?

React나 Vue 같은 프레임워크를 사용하는 현대적인 웹 개발 방식에서, 내비게이션 구조를 JavaScript로만 처리하는 관행은 AI 검색 시대에 치명적인 리스크가 될 수 있습니다. 서비스 발견 가능성을 높이기 위해 서버 사이드 렌더링(SSR)이나 정적 HTML 링크 제공이 필수적인 전략으로 부상할 것입니다.

한국 시장에 어떤 시사점이 있나?

AI 기반 검색 및 쇼핑 경험을 선도하려는 국내 스타트업들은 기술 스택 결정 시, 사용자 경험(UX)뿐만 아니라 'AI 가시성'을 핵심 지표로 고려해야 합니다. 특히 콘텐츠 중심의 플랫폼은 링크 구조 설계에 있어 보수적인 접근이 필요합니다.

이 글에 대한 큐레이터 의견

개발자들에게 익숙한 CSR(Client-Side Rendering) 방식의 내비게이션은 사용자 경험 측면에서 매력적일 수 있지만, AI 검색 시대에는 '보이지 않는 서비스'를 만드는 자살 행위가 될 수 있습니다. 이번 실험은 우리가 당연하게 여겼던 'Google이 JS를 렌더링한다'는 전제가 AI 크롤러 환경에서는 더 이상 유효하지 않음을 경고합니다.

물론, 모든 링크를 HTML로 하드코딩하는 것은 성능이나 개발 효율성 측면에서 트레이드오프가 발생할 수 있습니다. 과도한 SSR은 서버 비용을 증가시키고, 복잡한 인터랙션을 구현하기 어렵게 만들 수도 있습니다. 하지만 AI 검색 결과에 포함되지 못해 유입이 끊기는 리스크는 그 어떤 인프라 비용보다 큽니다.

따라서 스타트업 창업자들은 초기 설계 단계부터 'AI-friendly'한 크롤링 구조를 확보하기 위해, 핵심 경로에는 반드시 정적 HTML 링크가 존재하도록 아키텍처를 설계하는 전략적 판단을 내려야 합니다.

원문 보기 →