쿼럼 데드-레터 큐는 데드 레터를 삭제할 수 있습니다: x-delivery-count가 함께 이동합니다
(dev.to)
RabbitMQ 4.0의 쿼럼 큐(Quorum Queues)에서 메시지 전달 횟수가 데드 레터 큐(DLQ)로 그대로 계승되어, 설정된 한도를 초과한 메시지가 DLQ에 도착하자마자 삭제될 수 있는 위험성을 분석하고 해결책을 제시합니다.
이 글의 핵심 포인트
- 1RabbitMQ 4.0 쿼럼 큐는 별도 설정이 없으면 기본 전달 한도(x-delivery-limit)가 20으로 설정됨
- 2메시지가 DLQ로 이동할 때 x-delivery-count 헤더가 삭제되지 않고 그대로 유지됨
- 3기본 한도를 초과한 메시지가 DLQ에 도착하면, DLQ의 자체 한도에 의해 즉시 삭제될 위험이 있음
- 4RabbitMQ 4.0부터는 소비자 충돌(unacknowledged 상태에서 연결 종료) 시에도 전달 횟수가 카운트됨
- 5해결책으로 DLQ의 x-delivery-limit를 -1로 설정하여 전달 한도를 없애는 방법이 제시됨
이 글에 대한 공공지능 분석
왜 중요한가?
메시지 브로커의 DLQ는 장애 발생 시 데이터를 안전하게 보관하는 최후의 보루입니다. 만약 메시지가 DLQ에 도달하자마자 삭제된다면, 이는 단순한 장애를 넘어 데이터 유실이라는 치명적인 비즈니스 손실로 이어집니다.
어떤 배경과 맥락이 있나?
RabbitMQ 4.0은 'Poison Message'로 인한 무한 루프를 방지하기 위해 쿼럼 큐의 기본 전달 한도를 20으로 제한하고, 소비자 충돌 시 전달 횟수를 카운트하는 방식을 강화했습니다. 이 과정에서 메시지의 메타데이터인 전달 횟수가 DLQ로 그대로 전이되는 특성이 발견되었습니다.
업계에 어떤 영향을 주나?
메시지 기반의 이벤트 드리븐 아키텍처(EDA)를 사용하는 기업들은 인프라 업그레이드 시 기존의 DLQ 정책을 전면 재검토해야 합니다. 특히 자동화된 재처리 로직을 사용하는 시스템에서는 의도치 않은 데이터 삭제가 발생할 수 있습니다.
한국 시장에 어떤 시사점이 있나?
높은 데이터 정밀도를 요구하는 국내 핀테크 및 이커머스 스타트업은 인프라 업데이트 시 메시지 생명주기(Lifecycle)에 대한 정밀한 테스트가 필수적입니다. 단순한 버전 업데이트가 시스템의 안정성을 해칠 수 있음을 인지해야 합니다.
이 글에 대한 큐레이터 의견
RabbitMQ 4.0의 변화는 시스템의 자가 치유 능력을 높이려는 의도(Poison Message 방지)가 명확하지만, 동시에 메시지 유실이라는 더 큰 리스크를 내포하고 있습니다. 개발자는 메시지 브로커의 설정 변경이 상위 애플리케이션의 데이터 보존 전략에 어떤 연쇄 반응을 일으키는지 반드시 파악해야 합니다.
물론 DLQ의 전달 한도를 무제한(-1)으로 설정하는 것은 메시지 적체 시 디스크 압박이나 큐 성능 저하를 초래할 수 있는 트레이드오프가 존재합니다. 따라서 무조건적인 무제한 설정보다는, DLQ의 한도를 충분히 확보하되 메시지 적체 시 즉각적인 알람을 발생시키는 모니터링 체계를 결합하는 것이 가장 균형 잡힌 접근법입니다.
관련 뉴스
댓글
아직 댓글이 없습니다. 첫 댓글을 남겨보세요.