Netflix Tech Blog 뉴스

넷플릭스는 초당 3,800만 건 이상의 로깅 이벤트를 처리하는 거대 인프라의 복잡성을 해결하기 위해 온톨로지 기반의 지식 그래프를 도입했습니다. 이를 통해 파편화된 데이터를 연결하여 시스템 전체의 상관관계를 가시화하고 엔지니어링 팀의 관측 가능성을 극대화하고자 합니다.

넷플릭스는 넷플릭스 프라이즈부터 현재에 이르기까지 개인화 기술을 회원 경험의 핵심으로 발전시켜 왔습니다. 이번 글은 방대한 콘텐츠 카탈로그 속에서 사용자의 발견을 돕는 개인화 추천 시스템의 효과를 어떻게 측정하고 평가할 것인가에 대한 화두를 던집니다.

Netflix는 저지연 성능에 최적화된 핫 스토리지에 대규모 시계열 데이터를 유지하는 데 발생하는 막대한 비용 문제를 해결하고자 했습니다. 이를 위해 Kafka/Flink 스트림에서 Cassandra를 활용한 콜드 리드 방식으로 저장 구조를 계층화하는 기술적 전환 과정을 소개합니다.

넷플릭스는 광고 비즈니스 성장에 발맞춰 기존의 분산된 데이터 수동 수집 방식을 개선하기 위해 중앙 집중식 광고 이벤트 발행 시스템을 구축했습니다. 이 시스템은 클라이언트의 광고 데이터를 수집하고 컨텍스트를 추가하여 모든 다운스트림 소비자에게 표준화된 단일 스트림을 제공합니다.

넷플릭스의 member-sessionizer 파이프라인은 시간당 수십억 건의 이벤트를 처리하는 핵심 시스템이지만, 최근 기존 방식의 한계로 인해 개발 기간이 2주에서 2규모로 늘어나는 병목을 겪었습니다. 특히 오류가 프로덕션 규모에서만 발견됨에 따라 테스트 효율이 극도로 저하된 상황을 다루고 있습니다.

대규모 텍스트 생성 모델의 품질을 수동으로 검증하는 것은 불가능에 가깝기 때문에, LLM을 평가자로 활용하는 'LLM-as-a-Judge' 방식이 대안으로 제시됩니다. 이 방식은 모델의 출력물에 대한 품질, 유해성 등을 자동으로 판별하여 대규모 운영을 가능하게 합니다.

넷플릭스의 내부 서버리스 미디어 처리 플랫폼인 Stratum은 인코딩, 패키징, AI 임베딩 등 다양한 미디어 워크로드를 지원합니다. 이 플랫폼은 개발자가 OCI 이미지로 패키징한 함수를 기반으로 컨테이너 크기를 자동으로 조정하여 효율적인 스케줄링을 수행합니다.

이 글은 GPU 및 네트워크 패브릭의 결함을 감지하고 기기를 자동으로 복구하여, 하드웨어 손실 상황에서도 장시간 실행 중인 작업이 중단되지 않도록 하는 기술을 다룹니다. 넷플릭스의 개인화 사례를 통해 대규모 머신러닝 모델이 서비스의 핵심 가치를 어떻게 창출하는지 보여줍니다.

전통적인 조직은 클라우드 제공업체의 IAM과 자체 ID 시스템을 병행 운영하며, 특히 관리형 컴퓨팅 환경에서는 제공업체가 부여한 ID를 그대로 사용해야 하는 제약이 있습니다. 이 글은 이러한 환경에서 워크로드의 신원을 자체적으로 증명하기 위한 기술적 과제를 다룹니다.

Java 언어의 지속적인 개선과 성과를 바탕으로, 성숙한 빌드 및 의존성 관리 생태계가 구축되었습니다. 이를 통해 개발자는 소프트웨어의 규모와 복잡성을 효과적으로 관리하며 대규모 시스템을 구축할 수 있는 능력을 갖추게 되었습니다.

넷플릭스는 사용자의 시각적 경험을 최적화하기 위해 이미지와 비디오 프리뷰 같은 멀티모달 자산을 개인화하는 MAPS 시스템을 구축했습니다. 이 시스템은 단순한 메타데이터 추천을 넘어, 각 사용자에게 가장 매력적인 시각적 단서를 제공하여 콘텐츠 발견의 여정을 개선하는 것을 목표로 합니다.

넷플릭스는 현재 자체 개발한 내부용 Flink 오토스커일러와 Apache Flink 커뮤니티의 오픈소스 버전을 동시에 운영하고 있습니다. 이들은 두 시스템을 점진적으로 통합하는 과정에서 워크로드 확장성과 비용 효율성을 높이기 위한 핵심적인 기술적 교훈을 얻었습니다.

이 글은 넷플릭스의 실시간 분산 그래프 구축 시리즈 중 세 번째로, gRPC를 활용한 그래프 쿼리 구현 방법을 다룹니다. 대규모 분산 환경에서 데이터 간의 복잡한 관계를 지연 없이 조회하기 위한 API 설계와 실행 메커니즘에 초점을 맞추고 있습니다.

넷플릭스는 기기별 하드웨어 제약(RAM, CPU 등)을 관리하기 위해 디바이스 역량을 구조화한 데이터 모델을 구축했습니다. 누적 테이블과 히스토그램 테이블을 활용해 기능 도달 범위를 정밀하게 분석함으로써, 고사양 기능을 최적의 기기에 전략적으로 배포하고 있습니다.

넷플릭스는 수천 개의 수동 피처에 의인하던 기존 추천 시스템의 복잡성과 확장성 한계를 극복하기 위해, 자체 데이터로 학습된 LLM 기반의 'GenRec'을 도입했습니다. GenRec은 사용자 이력과 메타데이터를 텍스트화하는 컨텍스트 엔지니어링을 통해, 더 적은 데이터로도 기존 시스템을 능가하는 정교한 추천 성능을 보여주었습니다.