MPS in PyTorch 2.15

(huggingface.co)

Hugging Face2026년 10월 19일개발자 도구

PyTorch 2.15 업데이트를 통해 Apple Silicon의 MPS 백엔드에 FP8 지원과 MoE 모델의 획기적인 추론 속도 향상이 도입됨에 따라, Mac 환경에서의 로컬 AI 모델 실행 및 개발 효율성이 비약적으로 상승할 전망입니다.

이 글의 핵심 포인트

1FP8(float8_e4m3fn) 지원으로 BF16 대비 메모리 사용량 50% 절감
2M3 Ultra 기준 MoE 모델(Qwen3.6-35B-A3B) 디코딩 속도 5~6.5배 향상
3Wan2.2 비디오 VAE 디코딩 시 메모리 사용량 급감 (270 GiB -> 8 GiB)
4Softmax 연산 속도 약 8배 향상 및 전용 Matrix-Vector 커널 도입
5macOS 15 이상 및 Python 3.11 이상의 최신 환경 요구

이 글에 대한 공공지능 분석

왜 중요한가?

Mac 환경에서의 AI 모델 추론 성능이 비약적으로 향상되어, 고가의 GPU 서버 없이도 대규모 언어 모델(LLM)과 비디오 생성 모델을 로컬에서 효율적으로 테스트하고 개발할 수 있는 기반이 마련되었습니다.

어떤 배경과 맥락이 있나?

Hugging Face 팀은 MPS 백엔드의 성능 병목을 해결하기 위해 Metal 커널을 직접 최적화해 왔으며, 이번 업데이트는 FP8 도입과 전용 커널 적용을 통해 Mac을 AI 개발의 '퍼스트 클래스' 환경으로 격상시키는 과정의 핵심입니다.

업계에 어떤 영향을 주나?

개발자들은 M3 Ultra와 같은 Mac 환경에서 MoE 모델을 훨씬 빠른 속도로 구동할 수 있게 되었으며, 특히 비디오 생성 모델의 메모리 점유율이 270GiB에서 8GiB로 급감한 것은 로컬 워크플로우의 혁신을 의미합니다.

한국 시장에 어떤 시사점이 있나?

고성능 GPU 인프라 확보가 어려운 국내 AI 스타트업들에게 Mac 기반의 로컬 개발 환경은 비용 효율적인 대안이 될 수 있으며, 이는 초기 단계의 모델 프로토타이핑 속도를 높이는 데 기여할 것입니다.

이 글에 대한 큐레이터 의견

이번 PyTorch 2.15 업데이트는 Apple Silicon을 단순한 '개발용 노트북'에서 'AI 실행 엔진'으로 격상시키는 전환점입니다. 특히 FP8 지원과 MoE 모델의 가속화는 메모리 제약이 큰 로컬 환경에서 대형 모델을 다룰 수 있는 실질적인 가능성을 열어주었습니다. 이는 GPU 클라우드 비용을 절감하고자 하는 스타트업들에게 매우 매력적인 기회입니다.

다만, 로컬 환경의 성능 향상이 반드시 클라우드 기반의 대규모 학습을 대체할 수는 없습니다. FP8과 같은 양자화 기술은 메모리 효율을 높이지만, 모델의 정밀도 손실(Precision Loss)이라는 트레이드오프를 동반하며, 특정 연산의 최적화는 여전히 NVIDIA GPU에 종속적인 커널 개발을 요구할 수 있습니다. 따라서 창업자들은 로컬에서의 빠른 프로토타이핑과 클라우드에서의 대규모 스케일링 사이의 균형 잡힌 인프라 전략을 수립해야 합니다.

원문 보기 →