Netflix Tech Blog

넷플릭스는 원본 영상을 보완하여 예고편, 티저, 소셜 미디어용 단편 영상 등 홍보 콘텐츠를 제작하는 기술을 개발하고 있습니다. 이번 연구의 핵심은 단순한 자동화를 넘어 창작자의 비전을 정확히 구현할 수 있는 '제어 가능한(controllable)' AI 편집 기술을 구축하는 것입니다.

넷플릭스는 기존의 자체 구축형 배치 솔루션인 CMB를 쿠버네티스 기반의 Kueue로 교체하는 마이그레이션을 진행했습니다. 이를 통해 커스텀 로직 유지보수 부담을 줄이고, 최신 쿠버네티스 생태계의 기능을 활용하여 더욱 효율적인 컴퓨팅 자원 관리와 선점(preemption) 기능을 구현하고자 합니다.

넷플릭스는 코드 배포가 아닌 데이터 변형 과정에서의 오류로 인해 발생한 서비스 장애를 계기로, 데이터 파이프라인을 위한 새로운 검증 체계를 도입했습니다. 실제 운영 트래픽을 활용해 신규 메타데이터의 유효성을 실시간으로 검증하는 '데이터 카나리 오케스트레이터' 패턴을 통해 데이터 오염의 확산을 사전에 차단합니다.

넷플릭스는 수백만 개의 테이블과 수만 개의 워크로드를 관리하기 위해 'Data Projects'라는 새로운 관리 체계를 도입했습니다. 이는 개별 자산 중심의 권한 관리를 프로젝트 단위로 추상화하고, 사람의 신원이 아닌 시스템 기반의 지속 가능한 ID를 부여하여 조직 개편이나 인력 변동 시 발생하는 데이터 접근 및 워크로드 중단 문제를 해결합니다.

넷플릭스는 콘텐츠 제작 스케줄의 부정확성으로 인한 출시 지연을 방지하고자 데이터 기반의 예측 모델을 개발했습니다. 이 모델은 생산 데이터를 활용해 자산 인도 예정일을 정확히 예측함으로써, 작업 시작 시점의 최적화와 운영 리스크 관리를 가능하게 합니다.

넷플릭스는 하루 3PB 규모의 데이터를 처리하는 과정에서 발생한 Casspactor 엔진의 메타데이터 불일치, 메모리 부족, 스토리지 비용 증가 문제를 해결하고자 아키텍처 재설계를 진행 중입니다. 이를 위해 여러 시스템에 분산된 메타데이터 대신 S3 백업 파일 자체를 신뢰의 근거로 삼아 데이터 이동의 안정성과 효율성을 높이고 있습니다.

넷플릭스는 단기적인 클릭률 극대화가 초래하는 알림 피로도와 사용자 이탈 문제를 해결하기 위해 기존의 단일 모델 방식을 탈피했습니다. 새로운 시스템은 장기적 메시지 계획을 수립하는 'Slow Policy'와 실시간으로 최적의 콘텐츠를 선택하는 'Fast Policy'로 분리되어, 개인화된 알림 빈도와 콘텐츠 관련성을 동시에 최적화합니다.

넷플릭스는 관측적 인과 추론(OCI) 작업에서 발생할 수 있는 오류를 방지하고 인간 전문가의 감독을 돕는 에이전트 워크플로우를 개발했습니다. 이 시스템은 반복적인 분석 작업을 자동화하면서도, 모든 분석 단계를 투명한 산출물로 남겨 인간이 언제든 검증할 수 있도록 설계되었습니다.

넷플릭스는 그동안 VMAF를 통해 비디오 인코딩 품질과 비트레이트 효율성을 최적화해 왔으나, 기존 방식의 한계로 인한 디테일 손실 문제를 해결하고자 합니다. 단순히 '좋은' 수준의 품질에 안주하지 않고 더욱 정밀한 품질 판단을 위해 측정 지표를 고도화하는 과정을 설명합니다.

넷플릭스는 시계열 데이터의 파티션이 비대해짐에 따라 발생하는 높은 테일 레이턴시와 시스템 부하 문제를 해결하기 위해 기존의 예측 기반 파티셔닝 방식의 한계를 분석했습니다. 이를 극복하고자 데이터 사용 패턴을 실시간으로 모니터링하여 파티션을 동적으로 재분할하는 자동화된 솔루션을 구축하여 시스템 안정성을 확보했습니다.

넷플릭스는 대규모 시계적 이벤트 데이터를 효율적으로 관리하기 위해 Apache Cassandra 4.x를 활용한 TimeSeries Abstraction 시스템을 구축했습니다. 이 시스템은 높은 처리량과 낮은 지연 시간을 유지하면서도, 비용 최적화와 기존 운영 전문성을 극대화하는 데 초점을 맞추고 있습니다.

넷플릭스는 OLTP 환경에서 초당 1,000만 건에 달하는 방대한 그래프 연산을 저지연으로 처리하기 위해 독자적인 '그래프 추상화(Graph Abstraction)' 아키텍처를 구축했습니다. 이 시스템은 기존의 KV 및 시계열 데이터 저장소를 활용하여 실시간 관계 데이터와 서비스 토폴로지 등을 효율적으로 관리하며 650TB 규모의 데이터를 안정적으로 운영합니다.

넷플릭스는 분산된 마이크로서비스 환경에서 발생하는 장애를 빠르게 해결하기 위해 서비스 간의 실시간 연결 관계를 보여주는 '서비스 토폴로지 맵'을 구축했습니다. 기존의 메트릭, 로그, 트레이스만으로는 파악하기 어려운 서비스 간 의존성과 장애 영향 범위를 시각화하여 엔지니어의 대응 능력을 극대화하는 것이 핵심입니다.

넷플릭스는 수만 개의 Java 레포지토리를 관리하기 위해 ArchUnit을 확장한 'Nebula ArchRules'를 활용하여 아키텍처 규칙을 전사적으로 강제합니다. 이를 통해 API 변경 사항에 따른 하위 호환성 문제를 방지하고, 대규모 폴리레포(Polyrepo) 환경에서 기술 부채를 체계적으로 관리합니다.

넷플릭스는 파편화된 ML 도메인 간의 장벽을 허물기 위해 '메타데이터 서비스(MDS)'를 통한 '모델 라이프사이클 그래프'를 구축했습니다. 이를 통해 모델, 피처, 데이터셋 등 다양한 ML 자산의 가시성을 확보하고 도메인 간 지식 공유를 촉진하는 'ML 민주화'를 추진하고 있습니다.

넷플릭스가 초당 100만 건의 요청을 처리하기 위해 구축한 ML 모델 서빙 인프라의 핵심 기술인 'API 추상화'와 '라우팅' 전략을 다룹니다. 단순한 모델 추론(Inference)을 넘어 전처리, 특징 추출, 후처리를 포함한 전체 워크플로우를 하나의 서비스 단위로 관리하여, 클라이언트 서비스의 복잡성을 낮추고 모델 업데이트 속도를 극대화한 사례를 설명합니다.

넷플릭스는 글로벌 제작 규모 확장에 따른 미디어 파일 관리의 복잡성을 해결하기 위해 'Media Production Suite(MPS)'를 구축했습니다. 넷플릭스는 모든 기술을 자체 개발하는 대신, 검증된 FilmLight의 API(FLAPI)를 통합하는 전략적 파트너십을 통해 카메라 메타데이터 처리 및 워크플로우 자동화를 성공적으로 구현했습니다.

넷플릭스가 단순 VOD 서비스를 넘어 대규모 라이브 스트리밍 시대로 전환하며 구축한 '인간 인프라'와 운영 전략을 다룹니다. 기술적 자동화를 넘어, 실시간 방송의 불확실성을 제어하기 위해 구축된 방송 운영 센터(BOC)와 물리적/운영적 중복성 확보 과정을 상세히 설명합니다.

넷플릭스는 LLM을 활용해 콘텐츠 시놉시스의 품질을 평가하는 'LLM-as-a-Judge' 시스템을 도입했습니다. 이 시스템은 인간 작가의 평가 기준과 85% 이상의 일치율을 보이며, 실제 사용자의 시청 지표(시청 시작률, 이탈률)를 예측하여 콘텐츠 출시 전 선제적인 품질 관리를 가능하게 합니다.

넷플릭스는 대규모 데이터 쿼리 부하를 해결하기 위해 Apache Druid의 롤링 윈도우 특성을 활용한 '인터벌 인식 캐싱(Interval-Aware Caching)' 기술을 도입했습니다. 변하지 않는 과거 데이터는 긴 TTL로 캐싱하고, 최신 데이터만 짧게 갱신함으로써 데이터의 미세한 지연(5초)을 허용하는 대신 인프라 비용과 쿼리 부하를 획기적으로 줄였습니다.

넷플릭스는 방대한 영상 아카이브에서 특정 장면을 즉각적으로 찾아낼 수 있도록 멀티모달 인텔리전스 기반의 비디오 검색 시스템을 구축했습니다. 다양한 AI 모델의 출력값을 통합하여 텍스트, 이미지, 오디오 데이터를 하나의 정교한 타임라인으로 관리함으로써 제작 효율성을 극대화합니다.

넷플릭스가 모든 라이브 스트리밍 인코딩 방식을 CBR(고정 비트레이트)에서 VBR(가변 비트레이트)로 전환했습니다. 이를 통해 평균 데이터 전송량을 15% 절감하고 버퍼링 발생률을 5% 낮추는 성과를 거두었으나, 트래픽 변동성 증가에 따른 인프라 관리의 복잡성이라는 과제를 안게 되었습니다.