캐시가 작동하고 있었다. 하지만 여전히 중복 API 호출을 유발했다.
(dev.to)캐시가 정상 작동함에도 불구하고 동시 요청 시 발생하는 중능 API 호출 문제를 'Thundering Herd' 현상으로 정의하고, 이를 해결하기 위한 인플라이트(In-flight) 요청 중복 제거 기법을 소개합니다.
이 글의 핵심 포인트
- 1캐시가 정상 작동하고 데이터가 저장됨에도 불구하고, 동시 요청 시 중복된 GitHub API 호출이 발생함
- 2첫 번째 요청의 결과가 캐시에 기록되기 전 발생하는 'Thundering Herd' 현상이 문제의 원인임
- 3트래픽 급증 시 GitHub GraphQL API의 레이트 리밋(Rate Limit)을 초과할 위험이 있음