Netflix Tech Blog

넷플릭스는 현재 자체 개발한 내부용 Flink 오토스커일러와 Apache Flink 커뮤니티의 오픈소스 버전을 동시에 운영하고 있습니다. 이들은 두 시스템을 점진적으로 통합하는 과정에서 워크로드 확장성과 비용 효율성을 높이기 위한 핵심적인 기술적 교훈을 얻었습니다.

이 글은 넷플릭스의 실시간 분산 그래프 구축 시리즈 중 세 번째로, gRPC를 활용한 그래프 쿼리 구현 방법을 다룹니다. 대규모 분산 환경에서 데이터 간의 복잡한 관계를 지연 없이 조회하기 위한 API 설계와 실행 메커니즘에 초점을 맞추고 있습니다.

넷플릭스는 기기별 하드웨어 제약(RAM, CPU 등)을 관리하기 위해 디바이스 역량을 구조화한 데이터 모델을 구축했습니다. 누적 테이블과 히스토그램 테이블을 활용해 기능 도달 범위를 정밀하게 분석함으로써, 고사양 기능을 최적의 기기에 전략적으로 배포하고 있습니다.

넷플릭스는 수천 개의 수동 피처에 의인하던 기존 추천 시스템의 복잡성과 확장성 한계를 극복하기 위해, 자체 데이터로 학습된 LLM 기반의 'GenRec'을 도입했습니다. GenRec은 사용자 이력과 메타데이터를 텍스트화하는 컨텍스트 엔지니어링을 통해, 더 적은 데이터로도 기존 시스템을 능가하는 정교한 추천 성능을 보여주었습니다.

넷플릭스는 대규모 멤버십 데이터를 처리하기 위해 외부 API 대신 자체적인 LLM 서빙 플랫폼을 구축하여 모델 배용과 추론의 전 과정을 직접 관리합니다. 특히 TensorRT-LLM에서 vLLM으로 엔진을 전환하며 운영 효율성과 확장성을 확보했으며, Triton Inference Server를 활용한 최적화된 아키텍처를 선보였습니다.

넷플릭스는 장애 대응을 위해 기존 배치 방식의 한계를 극복하고, 실시간 스트리밍 기반의 서비스 토폴로지 구축 방식을 채택했습니다. 초당 수백만 건의 데이터를 처리하면서도 시스템 다운 없이 안정성을 유지하기 위해 리액티브 스트림과 백프패셔 기술을 활용하여 데이터 파이프라인을 설계했습니다.

넷플릭스는 사용자의 맥락에 맞춰 홈페이지 구성 요소를 실시간으로 생성하는 GenPage 기술을 개발했습니다. 이 기술은 자기회귀적 방식을 통해 행과 엔티티를 순차적으로 구축하며 극도의 개인화된 사용자 경험을 제공합니다.

넷플릭스는 원본 영상을 보완하여 예고편, 티저, 소셜 미디어용 단편 영상 등 홍보 콘텐츠를 제작하는 기술을 개발하고 있습니다. 이번 연구의 핵심은 단순한 자동화를 넘어 창작자의 비전을 정확히 구현할 수 있는 '제어 가능한(controllable)' AI 편집 기술을 구축하는 것입니다.

넷플릭스는 기존의 자체 구축형 배치 솔루션인 CMB를 쿠버네티스 기반의 Kueue로 교체하는 마이그레이션을 진행했습니다. 이를 통해 커스텀 로직 유지보수 부담을 줄이고, 최신 쿠버네티스 생태계의 기능을 활용하여 더욱 효율적인 컴퓨팅 자원 관리와 선점(preemption) 기능을 구현하고자 합니다.

넷플릭스는 코드 배포가 아닌 데이터 변형 과정에서의 오류로 인해 발생한 서비스 장애를 계기로, 데이터 파이프라인을 위한 새로운 검증 체계를 도입했습니다. 실제 운영 트래픽을 활용해 신규 메타데이터의 유효성을 실시간으로 검증하는 '데이터 카나리 오케스트레이터' 패턴을 통해 데이터 오염의 확산을 사전에 차단합니다.

넷플릭스는 수백만 개의 테이블과 수만 개의 워크로드를 관리하기 위해 'Data Projects'라는 새로운 관리 체계를 도입했습니다. 이는 개별 자산 중심의 권한 관리를 프로젝트 단위로 추상화하고, 사람의 신원이 아닌 시스템 기반의 지속 가능한 ID를 부여하여 조직 개편이나 인력 변동 시 발생하는 데이터 접근 및 워크로드 중단 문제를 해결합니다.

넷플릭스는 콘텐츠 제작 스케줄의 부정확성으로 인한 출시 지연을 방지하고자 데이터 기반의 예측 모델을 개발했습니다. 이 모델은 생산 데이터를 활용해 자산 인도 예정일을 정확히 예측함으로써, 작업 시작 시점의 최적화와 운영 리스크 관리를 가능하게 합니다.

넷플릭스는 하루 3PB 규모의 데이터를 처리하는 과정에서 발생한 Casspactor 엔진의 메타데이터 불일치, 메모리 부족, 스토리지 비용 증가 문제를 해결하고자 아키텍처 재설계를 진행 중입니다. 이를 위해 여러 시스템에 분산된 메타데이터 대신 S3 백업 파일 자체를 신뢰의 근거로 삼아 데이터 이동의 안정성과 효율성을 높이고 있습니다.

넷플릭스는 단기적인 클릭률 극대화가 초래하는 알림 피로도와 사용자 이탈 문제를 해결하기 위해 기존의 단일 모델 방식을 탈피했습니다. 새로운 시스템은 장기적 메시지 계획을 수립하는 'Slow Policy'와 실시간으로 최적의 콘텐츠를 선택하는 'Fast Policy'로 분리되어, 개인화된 알림 빈도와 콘텐츠 관련성을 동시에 최적화합니다.

넷플릭스는 관측적 인과 추론(OCI) 작업에서 발생할 수 있는 오류를 방지하고 인간 전문가의 감독을 돕는 에이전트 워크플로우를 개발했습니다. 이 시스템은 반복적인 분석 작업을 자동화하면서도, 모든 분석 단계를 투명한 산출물로 남겨 인간이 언제든 검증할 수 있도록 설계되었습니다.

넷플릭스는 그동안 VMAF를 통해 비디오 인코딩 품질과 비트레이트 효율성을 최적화해 왔으나, 기존 방식의 한계로 인한 디테일 손실 문제를 해결하고자 합니다. 단순히 '좋은' 수준의 품질에 안주하지 않고 더욱 정밀한 품질 판단을 위해 측정 지표를 고도화하는 과정을 설명합니다.

넷플릭스는 대규모 시계적 이벤트 데이터를 효율적으로 관리하기 위해 Apache Cassandra 4.x를 활용한 TimeSeries Abstraction 시스템을 구축했습니다. 이 시스템은 높은 처리량과 낮은 지연 시간을 유지하면서도, 비용 최적화와 기존 운영 전문성을 극대화하는 데 초점을 맞추고 있습니다.

넷플릭스는 시계열 데이터의 파티션이 비대해짐에 따라 발생하는 높은 테일 레이턴시와 시스템 부하 문제를 해결하기 위해 기존의 예측 기반 파티셔닝 방식의 한계를 분석했습니다. 이를 극복하고자 데이터 사용 패턴을 실시간으로 모니터링하여 파티션을 동적으로 재분할하는 자동화된 솔루션을 구축하여 시스템 안정성을 확보했습니다.

넷플릭스는 OLTP 환경에서 초당 1,000만 건에 달하는 방대한 그래프 연산을 저지연으로 처리하기 위해 독자적인 '그래프 추상화(Graph Abstraction)' 아키텍처를 구축했습니다. 이 시스템은 기존의 KV 및 시계열 데이터 저장소를 활용하여 실시간 관계 데이터와 서비스 토폴로지 등을 효율적으로 관리하며 650TB 규모의 데이터를 안정적으로 운영합니다.

넷플릭스는 분산된 마이크로서비스 환경에서 발생하는 장애를 빠르게 해결하기 위해 서비스 간의 실시간 연결 관계를 보여주는 '서비스 토폴로지 맵'을 구축했습니다. 기존의 메트릭, 로그, 트레이스만으로는 파악하기 어려운 서비스 간 의존성과 장애 영향 범위를 시각화하여 엔지니어의 대응 능력을 극대화하는 것이 핵심입니다.

넷플릭스는 수만 개의 Java 레포지토리를 관리하기 위해 ArchUnit을 확장한 'Nebula ArchRules'를 활용하여 아키텍처 규칙을 전사적으로 강제합니다. 이를 통해 API 변경 사항에 따른 하위 호환성 문제를 방지하고, 대규모 폴리레포(Polyrepo) 환경에서 기술 부채를 체계적으로 관리합니다.

넷플릭스는 파편화된 ML 도메인 간의 장벽을 허물기 위해 '메타데이터 서비스(MDS)'를 통한 '모델 라이프사이클 그래프'를 구축했습니다. 이를 통해 모델, 피처, 데이터셋 등 다양한 ML 자산의 가시성을 확보하고 도메인 간 지식 공유를 촉진하는 'ML 민주화'를 추진하고 있습니다.

넷플릭스가 초당 100만 건의 요청을 처리하기 위해 구축한 ML 모델 서빙 인프라의 핵심 기술인 'API 추상화'와 '라우팅' 전략을 다룹니다. 단순한 모델 추론(Inference)을 넘어 전처리, 특징 추출, 후처리를 포함한 전체 워크플로우를 하나의 서비스 단위로 관리하여, 클라이언트 서비스의 복잡성을 낮추고 모델 업데이트 속도를 극대화한 사례를 설명합니다.

넷플릭스는 글로벌 제작 규모 확장에 따른 미디어 파일 관리의 복잡성을 해결하기 위해 'Media Production Suite(MPS)'를 구축했습니다. 넷플릭스는 모든 기술을 자체 개발하는 대신, 검증된 FilmLight의 API(FLAPI)를 통합하는 전략적 파트너십을 통해 카메라 메타데이터 처리 및 워크플로우 자동화를 성공적으로 구현했습니다.