AI 비서 '언더독' 베타 공개…데이터 외부 전송 없이 PC에서 실행

(zdnet.co.kr)

콘웨이 리서치가 공개한 온디바이스 AI 비서 '언더독'은 데이터 외부 전송 없이 개인정보를 보호하면서도 효율적인 추론 엔진을 통해 저비용·고성능의 개인 맞춤형 AI 서비스를 구현하며 AI 서비스의 새로운 수익 모델과 보안 패러다임을 제시한다.

이 글의 핵심 포인트

1콘웨이 리서치가 데이터 외부 전송 없는 온디바이스 AI 비서 '언더독' 베타 공개
2자체 개발한 '허스키' 엔진을 통해 CPU와 GPU 간 데이터 이동량 최적화 구현
327B 규모의 미세조정 모델을 사용하여 과거 최고 성능 모델 수준의 성능 확보
4서버 비용 최소화를 위해 구독료 대신 결제 수수료 기반의 수익 모델 채택
5a16z, 앤트로픽 관련 펀드, 스트라이프 공동창업자 등 글로벌 유력 투자자 참여

이 글에 대한 공공지능 분석

왜 중요한가?

AI 서비스의 최대 난제인 데이터 프라이버시와 막대한 추론 비용 문제를 온디바이스 기술로 동시에 해결하려는 시도이기 때문입니다. 이는 클라우드 의존도를 낮추고 사용자 기기의 자원을 활용하는 새로운 AI 에이전트 시대를 예고합니다.

배경과 맥맥?

최근 LLM의 크기가 거대해지며 서버 비용 부담이 급증함에 따라, 효율적인 소형 모델(SLM)과 이를 기기 내에서 구동하기 위한 최적화 기술이 업계의 핵심 화두로 떠오르고 있습니다.

업계에 어떤 영향을 주나?

구독형 모델(SaaS) 중심의 AI 수익 구조를 결제 수수료 기반의 트랜잭션 모델로 전환할 수 있는 가능성을 보여주었습니다. 또한, 하드웨어 최적화 기술이 소프트웨어 경쟁력의 핵심 요소가 될 것임을 시사합니다.

한국 시장에 어떤 시사점이 있나?

한국의 제조 및 보안 강점을 결합하여, 온디바이스 AI 최적화 엔진이나 특정 도메인에 특화된 경량화 모델 개발에 집중하는 전략이 유효할 것입니다.

이 글에 대한 큐레이터 의견

언더독의 등장은 AI 에이전트의 미래가 '더 큰 모델'이 아닌 '더 효율적인 실행'에 있음을 보여주는 사례입니다. 특히 CPU와 GPU 간 데이터 병목을 해결하려는 엔지니어링적 접근과, 서버 비용을 없애기 위해 결제 수수료를 취하는 비즈니스 모델의 결합은 비용 압박에 시달리는 많은 AI 스타트업에게 매우 영감을 주는 전략입니다.

다만, 온디바이스 방식은 사용자의 하드웨어 성능에 따라 서비스 품질이 결정되는 '성능의 양극화' 리스크를 안고 있습니다. 또한, 클라우드 기반의 거대 모델이 가진 방대한 지식 검색 능력과 비교했을 때, 로컬 환경의 모델이 복잡한 멀티스텝 추론이나 실시간 외부 정보 업데이트를 얼마나 매끄럽게 수행할 수 있을지가 상용화의 관건이 될 것입니다.

결론적으로, 한국의 창업자들은 모델의 파라미터 수를 늘리는 경쟁에서 벗어나, 특정 기기나 환경에 최적화된 '추론 엔진'과 '경량화된 워크플로'를 구축하는 데 집중해야 합니다. 이는 하드웨어와 소프트웨어의 경계가 허물어지는 차세대 AI 시장에서 강력한 진입 장벽이 될 수 있습니다.

원문 보기 →