Netflix Tech Blog 뉴스

넷플릭스는 사용자의 시각적 경험을 최적화하기 위해 이미지와 비디오 프리뷰 같은 멀티모달 자산을 개인화하는 MAPS 시스템을 구축했습니다. 이 시스템은 단순한 메타데이터 추천을 넘어, 각 사용자에게 가장 매력적인 시각적 단서를 제공하여 콘텐츠 발견의 여정을 개선하는 것을 목표로 합니다.

넷플릭스는 현재 자체 개발한 내부용 Flink 오토스커일러와 Apache Flink 커뮤니티의 오픈소스 버전을 동시에 운영하고 있습니다. 이들은 두 시스템을 점진적으로 통합하는 과정에서 워크로드 확장성과 비용 효율성을 높이기 위한 핵심적인 기술적 교훈을 얻었습니다.

넷플릭스는 수천 개의 수동 피처에 의인하던 기존 추천 시스템의 복잡성과 확장성 한계를 극복하기 위해, 자체 데이터로 학습된 LLM 기반의 'GenRec'을 도입했습니다. GenRec은 사용자 이력과 메타데이터를 텍스트화하는 컨텍스트 엔지니어링을 통해, 더 적은 데이터로도 기존 시스템을 능가하는 정교한 추천 성능을 보여주었습니다.

넷플릭스는 대규모 멤버십 데이터를 처리하기 위해 외부 API 대신 자체적인 LLM 서빙 플랫폼을 구축하여 모델 배용과 추론의 전 과정을 직접 관리합니다. 특히 TensorRT-LLM에서 vLLM으로 엔진을 전환하며 운영 효율성과 확장성을 확보했으며, Triton Inference Server를 활용한 최적화된 아키텍처를 선보였습니다.

넷플릭스는 장애 대응을 위해 기존 배치 방식의 한계를 극복하고, 실시간 스트리밍 기반의 서비스 토폴로지 구축 방식을 채택했습니다. 초당 수백만 건의 데이터를 처리하면서도 시스템 다운 없이 안정성을 유지하기 위해 리액티브 스트림과 백프패셔 기술을 활용하여 데이터 파이프라인을 설계했습니다.

넷플릭스는 사용자의 맥락에 맞춰 홈페이지 구성 요소를 실시간으로 생성하는 GenPage 기술을 개발했습니다. 이 기술은 자기회귀적 방식을 통해 행과 엔티티를 순차적으로 구축하며 극도의 개인화된 사용자 경험을 제공합니다.

넷플릭스는 원본 영상을 보완하여 예고편, 티저, 소셜 미디어용 단편 영상 등 홍보 콘텐츠를 제작하는 기술을 개발하고 있습니다. 이번 연구의 핵심은 단순한 자동화를 넘어 창작자의 비전을 정확히 구현할 수 있는 '제어 가능한(controllable)' AI 편집 기술을 구축하는 것입니다.

넷플릭스는 수백만 개의 테이블과 수만 개의 워크로드를 관리하기 위해 'Data Projects'라는 새로운 관리 체계를 도입했습니다. 이는 개별 자산 중심의 권한 관리를 프로젝트 단위로 추상화하고, 사람의 신원이 아닌 시스템 기반의 지속 가능한 ID를 부여하여 조직 개편이나 인력 변동 시 발생하는 데이터 접근 및 워크로드 중단 문제를 해결합니다.

넷플릭스는 하루 3PB 규모의 데이터를 처리하는 과정에서 발생한 Casspactor 엔진의 메타데이터 불일치, 메모리 부족, 스토리지 비용 증가 문제를 해결하고자 아키텍처 재설계를 진행 중입니다. 이를 위해 여러 시스템에 분산된 메타데이터 대신 S3 백업 파일 자체를 신뢰의 근거로 삼아 데이터 이동의 안정성과 효율성을 높이고 있습니다.

넷플릭스는 단기적인 클릭률 극대화가 초래하는 알림 피로도와 사용자 이탈 문제를 해결하기 위해 기존의 단일 모델 방식을 탈피했습니다. 새로운 시스템은 장기적 메시지 계획을 수립하는 'Slow Policy'와 실시간으로 최적의 콘텐츠를 선택하는 'Fast Policy'로 분리되어, 개인화된 알림 빈도와 콘텐츠 관련성을 동시에 최적화합니다.

넷플릭스는 관측적 인과 추론(OCI) 작업에서 발생할 수 있는 오류를 방지하고 인간 전문가의 감독을 돕는 에이전트 워크플로우를 개발했습니다. 이 시스템은 반복적인 분석 작업을 자동화하면서도, 모든 분석 단계를 투명한 산출물로 남겨 인간이 언제든 검증할 수 있도록 설계되었습니다.

넷플릭스는 그동안 VMAF를 통해 비디오 인코딩 품질과 비트레이트 효율성을 최적화해 왔으나, 기존 방식의 한계로 인한 디테일 손실 문제를 해결하고자 합니다. 단순히 '좋은' 수준의 품질에 안주하지 않고 더욱 정밀한 품질 판단을 위해 측정 지표를 고도화하는 과정을 설명합니다.

넷플릭스는 대규모 시계적 이벤트 데이터를 효율적으로 관리하기 위해 Apache Cassandra 4.x를 활용한 TimeSeries Abstraction 시스템을 구축했습니다. 이 시스템은 높은 처리량과 낮은 지연 시간을 유지하면서도, 비용 최적화와 기존 운영 전문성을 극대화하는 데 초점을 맞추고 있습니다.

넷플릭스는 시계열 데이터의 파티션이 비대해짐에 따라 발생하는 높은 테일 레이턴시와 시스템 부하 문제를 해결하기 위해 기존의 예측 기반 파티셔닝 방식의 한계를 분석했습니다. 이를 극복하고자 데이터 사용 패턴을 실시간으로 모니터링하여 파티션을 동적으로 재분할하는 자동화된 솔루션을 구축하여 시스템 안정성을 확보했습니다.

넷플릭스는 OLTP 환경에서 초당 1,000만 건에 달하는 방대한 그래프 연산을 저지연으로 처리하기 위해 독자적인 '그래프 추상화(Graph Abstraction)' 아키텍처를 구축했습니다. 이 시스템은 기존의 KV 및 시계열 데이터 저장소를 활용하여 실시간 관계 데이터와 서비스 토폴로지 등을 효율적으로 관리하며 650TB 규모의 데이터를 안정적으로 운영합니다.