SFT 오프라인 RL 온라인 RL: Mano-P의 세 단계 학습 파이프라인

(dev.to)

Dev.to OpenSource2026년 6월 10일AI 코딩

SFT 오프라인 RL 온라인 RL: Mano-P의 세 단계 학습 파이프라인

Mano-P는 SFT, Offline RL, Online RL로 이어지는 정교한 3단계 학습 파이프라인을 통해 에지 디바이스에서도 고성능 GUI 제어가 가능한 VLA 에이전트를 구현하며 AI 자동화의 새로운 기술적 이정표를 제시합니다.

이 글의 핵심 포인트

1Mano-P는 4B 파라미터 모델로 M5 Pro 칩에서 초당 약 80토큰의 디코딩 속도를 기록함
2OSWorld 전문 벤치마크에서 58.2%를 기록하며 전체 1위를 차지함
3SFT 단계에서는 전문가의 데모 데이터를 통해 시각적 접지(Visual Grounding)와 행동 어휘를 학습함
4Offline RL 단계를 통해 성공뿐만 아니라 실패한 궤적에서도 에러 복구 및 대안 전략을 학습함
5학습 파이프라인은 SFT, Offline RL, Online RL의 순차적 구조가 성능 유지에 필수적임

이 글에 대한 공공지능 분석

왜 중요한가?

모델의 크기를 키우는 대신 '학습 단계의 구조화'를 통해 성능과 효율성을 동시에 잡았다는 점이 핵심입니다. 특히 고가의 데이터 센터가 아닌 일반적인 에지 디바렉스(M5 Pro 등)에서 초당 80토큰이라는 빠른 속도로 구동 가능하다는 것은 AI 에이전트의 실용화 가능성을 한 단계 끌어올린 성과입니다.

어떤 배경과 맥락이 있나?

기존의 GUI 자동화 모델들은 DOM 트리나 접근성 API 같은 구조적 데이터에 의존했으나, 이는 환경 변화에 취약하다는 단점이 있었습니다. Mano-P는 픽셀 기반의 시각적 이해(Visual Grounding)를 바탕으로 하여, 구조 정보가 없는 환경에서도 작동할 수 있는 범용적인 에이전트 개발 흐름을 따르고 있습니다.

업계에 어떤 영향을 주나?

학습 과정에서 실패한 데이터까지 활용하는 Offline RL 전략은 데이터 확보가 어려운 스타트업들에게 매우 중요한 인사이트를 제공합니다. 이는 무작정 대규모의 실시간 상호작용(Online RL)에 매달리는 대신, 기존의 기록된 데이터를 어떻게 재가공하여 모델의 견고함을 높일 것인가라는 새로운 방법론적 방향을 제시합니다.

한국 시장에 어떤 시사점이 있나?

국내의 다양한 서비스 및 제조 도메인에서 발생하는 UI/UX 상호작용 로그를 활용해, 특정 업무에 특화된 '경량형 에이전트'를 개발하는 전략이 유효할 수 있습니다. 대규모 모델 경쟁보다는 Mano-P처럼 효율적인 파이프라인 설계를 통해 온디바이스(On-device) AI 시장을 선점하는 것이 한국 스타트업의 기회가 될 것입니다.

이 글에 대한 큐레이터 의견

Mano-P의 사례는 거대 모델(LLM) 중심의 패러다임에서 벗어나, 적절한 규모의 모델을 어떻게 '어떻게 학습시키느냐'라는 방법론적 혁신이 실질적인 성능 차이를 만든다는 것을 증명합니다. 특히 SFT로 기초를 다지고 Offline RL을 통해 에러 복구 능력을 학습시킨 전략은, 데이터 효율성을 극대화해야 하는 AI 스타트업들에게 매우 실행 가능한(actionable) 프레임워크입니다.

다만, 이러한 3단계 파이프라인 구축에는 고품질의 전문가 데모와 실패 사례를 포함한 방대한 데이터셋, 그리고 정교한 보상 함수 설계라는 높은 기술적 진입장벽이 존재합니다. 학습 단계가 복잡해질수록 각 단계 간의 의존성이 높아져, 초기 SFT 단계의 편향이나 오류가 최종 모델의 성능 저하로 이어지는 리스크가 있습니다. 따라서 창업자들은 무작정 파이프lam을 확장하기보다, 자사의 데이터셋 규모와 컴퓨팅 자원을 고려하여 어느 단계까지 구현 가능한지를 냉철하게 판단해야 합니다.

원문 보기 →