스크래치부터 구축한 프로덕션급 비동기 작업 큐 — 실제로 일어난 모든 것
(dev.to)
Celery와 같은 추상화된 프레임워크 대신 Python과 Redis Streams를 활용해 백프레셔와 우선순위 스케줄링을 갖춘 비동기 작업 큐를 직접 구축하며, 시스템의 안정성을 결정짓는 'Reaper' 서비스의 핵심 메커니즘과 엔지니어링 과정을 상세히 다룹니다.
이 글의 핵심 포인트
- 1"Reaper" 서비스를 통한 Visibility Timeout 복구 및 좀비 작업(Zombie Job) 탐지 구현
- 2Python 3.12, FastAPI, Redis Streams, PostgreSQL 기반의 견고한 기술 스택 활용
- 3