Netflix Tech Blog 뉴스

넷플릭스는 장애 대응을 위해 기존 배치 방식의 한계를 극복하고, 실시간 스트리밍 기반의 서비스 토폴로지 구축 방식을 채택했습니다. 초당 수백만 건의 데이터를 처리하면서도 시스템 다운 없이 안정성을 유지하기 위해 리액티브 스트림과 백프패셔 기술을 활용하여 데이터 파이프라인을 설계했습니다.

넷플릭스는 사용자의 맥락에 맞춰 홈페이지 구성 요소를 실시간으로 생성하는 GenPage 기술을 개발했습니다. 이 기술은 자기회귀적 방식을 통해 행과 엔티티를 순차적으로 구축하며 극도의 개인화된 사용자 경험을 제공합니다.

넷플릭스는 원본 영상을 보완하여 예고편, 티저, 소셜 미디어용 단편 영상 등 홍보 콘텐츠를 제작하는 기술을 개발하고 있습니다. 이번 연구의 핵심은 단순한 자동화를 넘어 창작자의 비전을 정확히 구현할 수 있는 '제어 가능한(controllable)' AI 편집 기술을 구축하는 것입니다.

넷플릭스는 수백만 개의 테이블과 수만 개의 워크로드를 관리하기 위해 'Data Projects'라는 새로운 관리 체계를 도입했습니다. 이는 개별 자산 중심의 권한 관리를 프로젝트 단위로 추상화하고, 사람의 신원이 아닌 시스템 기반의 지속 가능한 ID를 부여하여 조직 개편이나 인력 변동 시 발생하는 데이터 접근 및 워크로드 중단 문제를 해결합니다.

넷플릭스는 하루 3PB 규모의 데이터를 처리하는 과정에서 발생한 Casspactor 엔진의 메타데이터 불일치, 메모리 부족, 스토리지 비용 증가 문제를 해결하고자 아키텍처 재설계를 진행 중입니다. 이를 위해 여러 시스템에 분산된 메타데이터 대신 S3 백업 파일 자체를 신뢰의 근거로 삼아 데이터 이동의 안정성과 효율성을 높이고 있습니다.

넷플릭스는 관측적 인과 추론(OCI) 작업에서 발생할 수 있는 오류를 방지하고 인간 전문가의 감독을 돕는 에이전트 워크플로우를 개발했습니다. 이 시스템은 반복적인 분석 작업을 자동화하면서도, 모든 분석 단계를 투명한 산출물로 남겨 인간이 언제든 검증할 수 있도록 설계되었습니다.

넷플릭스는 시계열 데이터의 파티션이 비대해짐에 따라 발생하는 높은 테일 레이턴시와 시스템 부하 문제를 해결하기 위해 기존의 예측 기반 파티셔닝 방식의 한계를 분석했습니다. 이를 극복하고자 데이터 사용 패턴을 실시간으로 모니터링하여 파티션을 동적으로 재분할하는 자동화된 솔루션을 구축하여 시스템 안정성을 확보했습니다.

넷플릭스는 대규모 시계적 이벤트 데이터를 효율적으로 관리하기 위해 Apache Cassandra 4.x를 활용한 TimeSeries Abstraction 시스템을 구축했습니다. 이 시스템은 높은 처리량과 낮은 지연 시간을 유지하면서도, 비용 최적화와 기존 운영 전문성을 극대화하는 데 초점을 맞추고 있습니다.

넷플릭스는 OLTP 환경에서 초당 1,000만 건에 달하는 방대한 그래프 연산을 저지연으로 처리하기 위해 독자적인 '그래프 추상화(Graph Abstraction)' 아키텍처를 구축했습니다. 이 시스템은 기존의 KV 및 시계열 데이터 저장소를 활용하여 실시간 관계 데이터와 서비스 토폴로지 등을 효율적으로 관리하며 650TB 규모의 데이터를 안정적으로 운영합니다.

넷플릭스는 분산된 마이크로서비스 환경에서 발생하는 장애를 빠르게 해결하기 위해 서비스 간의 실시간 연결 관계를 보여주는 '서비스 토폴로지 맵'을 구축했습니다. 기존의 메트릭, 로그, 트레이스만으로는 파악하기 어려운 서비스 간 의존성과 장애 영향 범위를 시각화하여 엔지니어의 대응 능력을 극대화하는 것이 핵심입니다.

넷플릭스는 수만 개의 Java 레포지토리를 관리하기 위해 ArchUnit을 확장한 'Nebula ArchRules'를 활용하여 아키텍처 규칙을 전사적으로 강제합니다. 이를 통해 API 변경 사항에 따른 하위 호환성 문제를 방지하고, 대규모 폴리레포(Polyrepo) 환경에서 기술 부채를 체계적으로 관리합니다.

넷플릭스는 파편화된 ML 도메인 간의 장벽을 허물기 위해 '메타데이터 서비스(MDS)'를 통한 '모델 라이프사이클 그래프'를 구축했습니다. 이를 통해 모델, 피처, 데이터셋 등 다양한 ML 자산의 가시성을 확보하고 도메인 간 지식 공유를 촉진하는 'ML 민주화'를 추진하고 있습니다.

넷플릭스가 초당 100만 건의 요청을 처리하기 위해 구축한 ML 모델 서빙 인프라의 핵심 기술인 'API 추상화'와 '라우팅' 전략을 다룹니다. 단순한 모델 추론(Inference)을 넘어 전처리, 특징 추출, 후처리를 포함한 전체 워크플로우를 하나의 서비스 단위로 관리하여, 클라이언트 서비스의 복잡성을 낮추고 모델 업데이트 속도를 극대화한 사례를 설명합니다.

넷플릭스는 글로벌 제작 규모 확장에 따른 미디어 파일 관리의 복잡성을 해결하기 위해 'Media Production Suite(MPS)'를 구축했습니다. 넷플릭스는 모든 기술을 자체 개발하는 대신, 검증된 FilmLight의 API(FLAPI)를 통합하는 전략적 파트너십을 통해 카메라 메타데이터 처리 및 워크플로우 자동화를 성공적으로 구현했습니다.

넷플릭스가 단순 VOD 서비스를 넘어 대규모 라이브 스트리밍 시대로 전환하며 구축한 '인간 인프라'와 운영 전략을 다룹니다. 기술적 자동화를 넘어, 실시간 방송의 불확실성을 제어하기 위해 구축된 방송 운영 센터(BOC)와 물리적/운영적 중복성 확보 과정을 상세히 설명합니다.