ML 드리프트: 엣지에서의 차세대 GPU AI/ML 추론

(developers.googleblog.com)

구글 AI Edge 팀이 온디바이스 AI 추론 성능을 극대화하기 위해 하드웨어 추상화와 5D 텐서 지원을 갖춘 차세대 GPU 컴퓨팅 엔진 'ML Drift'를 오픈소스로 공개하며 엣지 컴퓨팅의 새로운 표준을 제시했습니다.

이 글의 핵심 포인트

1Apache 2.0 라이선스로 공개된 고성능 온디바이스 GPU 컴퓨팅 엔진
2OpenGL ES, OpenCL, Metal, WebGPU 등 다양한 GPU API 통합 지원을 통한 하드웨어 추상화
3텐서 가상화를 통한 통합 셰이더 모델 도입으로 플랫폼 이식성 및 유지보수성 강화
45D 텐서 지원을 통해 3D CNN 및 시공간 모델(YOLO 11n, Swin Transformer v2 등) 실행 가능
5LLM 추론을 위한 단계별(Prefill/Decode) 최적화 및 커널 스위칭 기능 포함

이 글에 대한 공공지능 분석

왜 중요한가?

엣지 디바이스의 극심한 하드웨어 파편화 문제를 해결하고, 모바일 및 임베디드 환경에서 대규모 생성형 AI 모델을 효율적으로 구동할 수 있는 기술적 토대를 마련했기 때문입니다.

어떤 배경과 맥락이 있나?

기존 TFLite GPU 델리게이트는 4D 텐서에 국한되어 최신 3D/시공간 모델 대응에 한계가 있었으며, 디바이스마다 다른 GPU API(Metal, OpenCL 등)를 개별 대응해야 하는 개발자 부담이 컸습니다.

업계에 어떤 영향을 주나?

개발자는 하드웨어 종속성 없이 단일 코드로 고성능 AI 기능을 구현할 수 있게 되어, 온디바이스 AI 앱 개발의 진입 장벽이 낮아지고 생태계가 급격히 확장될 것입니다.

한국 시장에 어떤 시사점이 있나?

온디바이스 AI 솔루션을 개발하는 국내 AI 스타트업과 제조 기반 테크 기업들에게 하드웨어 최적화 비용을 줄이고 글로벌 표준에 맞춘 고성능 서비스 출시 기회를 제공합니다.

이 글에 대한 큐레이터 의견

ML Drift의 등장은 온디바이스 AI가 단순한 '경량화'를 넘어 '고성능 생성형 AI'로 진화하는 데 필수적인 인프라가 될 것입니다. 특히 텐서 가상화를 통한 통합 셰이더 모델과 5D 텐서 지원은 복잡한 최신 아키텍처를 엣지 환경으로 가져오는 데 결정적인 역할을 할 것으로 보입니다. 창업자들은 이를 활용해 클라우드 비용 부담 없이 사용자 기기 내에서 즉각적인 반응성을 제공하는 차별화된 UX를 설계할 수 있습니다.

다만, 새로운 런타임으로의 전환에 따른 초기 학습 비용과 기존 모델의 호환성 검증 리스크는 존재합니다. 또한, 하드웨어 추상화 계층이 추가됨에 따라 발생하는 미세한 오버헤드가 극도의 성능을 요구하는 특정 태스크에서는 병목이 될 가능성도 배제할 수 없습니다. 따라서 스타트업은 ML Drift를 기본 엔진으로 채택하되, 핵심 모델의 경우 하드웨어별 벤치마크를 통해 성능 이득을 면밀히 검증하는 전략적 접근이 필요합니다.

원문 보기 →