Walmart의 스크래퍼에 47달러가 청구되었는데, 실제 계산은 39달러였다. 그 이유는 다음과 같다.
(dev.to)
월마트가 스크래퍼를 차단하는 대신 왜곡된 정보를 제공하는 'Data Poisoning' 기술을 도입하면서, 데이터 수집의 성공이 데이터의 정확성을 보장하지 못하게 되어 기업들의 데이터 기반 의사결정 신뢰성에 큰 위협이 되고 있습니다.
이 글의 핵심 포인트
- 1월마트 스크래핑 시 약 34%의 '성공'한 세션에서 실제보다 $4~$11 높은 왜곡된 가격이 반환됨
- 2봇 탐지는 TLS 핸드셰이크 단계의 지문(Fingerprint)을 통해 이루어지므로 단순 프록시 교체로는 해결 불가
- 3