네 플랫폼에서 단일 플랫폼으로: 통청여행, Apache SeaTunnel로 통합 데이터 통합 플랫폼 구축하는 방법
(dev.to)통청여행이 파편화된 4개의 데이터 통합 플랫폼을 Apache SeaTunnel Zeta Engine 기반의 단일 아키텍처로 통합하여, 비즈니스 중단 없이 대규모 데이터를 안정적으로 관리하게 된 기술적 혁신 사례를 분석합니다.
이 글의 핵심 포인트
- 1기존 4개의 독립된 데이터 통합 플랫폼(Data Transfer, Data Integration, Sqoop, Apache SeaTunnel)을 하나로 통합함
- 2Apache SeaTunnel Zeta Engine을 활용하여 배치와 스트림 처리를 모두 지원하는 단일 아키텍처 구축
- 3Sqoop 및 FlinkSQL 작업을 코드 변경 없이 자동으로 변환하여 마이그레이션하는 기술 적용