단 한 번도 확인하지 않고 1,300개 공항 웹사이트 온보딩 자동화하는 방법
(dev.to)
이 기사는 1,300개 이상의 공항 웹사이트에서 항공 데이터를 수집하기 위해 개발자의 수동 작업을 제거하고, 검색 엔진과 브라우저 자동화(Playwright)를 활용해 API를 자동으로 찾아내는 온보딩 파이프라인 구축 과정을 다룹니다. 핵심은 브라우저를 '데이터 수집용'이 아닌 'API 탐색용'으로 단 한 번만 사용하고, 이후에는 가벼운 HTTP 요청으로 전환하여 확장성을 확보하는 것입니다.
이 글의 핵심 포인트
- 11,300개 이상의 공항 웹사이트를 대상으로 하는 자동화된 온보딩 파이프라인 구축
- 2검색 쿼리 최적화 및 블랙리스트를 활용해 애그리게이터를 제외한 공식 웹사이트 URL 자동 추출
- 3