당신의 AI 에이전트가 스크래핑에 실패하는 게 아니라, 읽기를 못하고 있는 것일 뿐이다.

200 OK 응답을 멍하니 바라보고 있었는데, 데이터는 단 하나도 없었다. 뼈대만 있고 로딩 스피너만 빙글빙글 돌고 있을 뿐이었지. 마치 HTML 신들에게 무음으로 기도하는 듯했다. Claude나 Cursor가 표준 HTTP 요청을 통해 현대적인 웹 엔드포인트에 접근하여 에이전트 기반 워크플로우를 구축하려 시도해 본 적이 있다면, 이런 벽에 부딪혔을 것이다. 요청은 성공했고, 연결 상태는 안정적이다. 하지만 그 페이로드 안에는? `<div id="app"></div>` 태그와 하이드레이션을 기다리는 무거운 React 번들뿐이었다. 문제는...