Numaflow 워터마크가 움직이지 않는 이유

(dev.to)

Dev.to OpenSource2026년 10월 2일개발자 도구

Numaflow의 워터마크 정체 현상이 특정 데이터 패턴에서 발생하는 기술적 원인을 분석하여, 단순한 메시지 스킵이 아닌 응답을 통한 윈도우 경계 업데이트가 시스템 안정성에 필수적임을 밝혀냈습니다.

이 글의 핵심 포인트

1Numaflow에서 워터마크가 멈추면 pipeline_processing_lag가 무한히 증가하는 현상 발생
2데이터가 계속 유입되지만 UDF가 응답을 생성하지 않으면 윈도우 종료 조건(timeout)이 충족되지 않음
3워터마크는 가장 오래된 타임스탬프에 의해 제한되며, 응답을 통해서만 오래된 타임스탬프가 삭제됨
4단순히 메시지를 스킵하는 것은 데이터 유입이 멈춘 경우에만 유효하며, 지속적인 유입이 있는 키에는 적용되지 않음
5DROP 메시지에 워터마크를 포함하여 응답을 보냄으로써 윈도우 경계를 업데이트하고 상태 정리를 유도할 수 있음

이 글에 대한 공공지능 분석

왜 중요한가?

실시간 데이터 처리 시스템에서 지연(lag)은 운영 비용 및 데이터 정합성과 직결되는 핵심 지표입니다. 워터마크 정체는 시스템이 정상 작동 중임에도 불구하고 심각한 데이터 누락이나 처리 지연을 유발할 수 있어, 정확한 디버깅과 대응 로직 설계가 필수적입니다.

어떤 배경과 맥락이 있나?

Kubernetes 기반의 스트림 처리 플랫폼인 Numaflow는 이벤트 시간(event time) 기반의 윈도우 연산을 수행합니다. 이 과정에서 워터마크는 데이터 처리의 진행도를 나타내는 척도로 사용되며, 윈도우의 종료와 상태 정리를 결정하는 기준이 됩니다.

업계에 어떤 영향을 주나?

데이터 엔지니어링 분야에서 '데이터 스킵'이 단순한 로직 생략이 아니라, 시스템의 상태 관리(state management)와 정합성에 미치는 영향을 시사합니다. 이는 대규모 스트림 처리 아키텍처를 설계할 때 데이터 유입 패턴에 따른 예외 처리가 얼마나 중요한지 보여줍니다.

한국 시장에 어떤 시사점이 있나?

실시간 로그 분석이나 금융 거래 처리 등 초저지연(low-latency) 시스템을 운영하는 국내 테크 기업들에게, 단순한 기능 구현을 넘어 시스템의 메커니즘(Cleanup, Watermark advancement)을 깊이 이해하는 엔지니어링 역량이 핵심적인 경쟁력이 될 것임을 시사합니다.

이 글에 대한 큐레이터 의견

이번 분석은 스트림 처리 시스템의 '보이지 않는 병목'을 찾아내는 과정의 정수를 보여줍니다. 개발자는 단순히 메시지를 버리는(skip) 것이 효율적이라고 생각할 수 있지만, 시스템의 상태 관리(Cleanup logic)를 고려하지 않은 최적화는 오히려 워터마크 정체와 지연 증가라는 치명적인 부작용을 초래할 수 있습니다.

물론, 모든 메시지에 대해 명시적인 응답을 보내는 것은 네트워크 트래픽과 CPU 사용량을 증가시켜 시스템 오버헤드를 유발할 수 있다는 트레이드오프가 존재합니다. 따라서 창업자와 리드 엔지니어는 데이터의 특성(빈번한 유입 vs 간헐적 유입)에 따라, 단순 스킵 전략을 쓸 것인지 아니면 워터마크를 강제로 업데이트하는 '정기적 응답' 전략을 취할 것인지 결정하는 정교한 아키텍처 설계 능력을 갖춰야 합니다.

원문 보기 →