헤이비의 마진은 -50%로 악화. 저렴한 토큰이 해결하지 못했던 건 더 나은 데이터였다.

(dev.to)

Dev.to OpenSource2026년 9월 22일스타트업

헤이비의 마진은 -50%로 악화. 저렴한 토큰이 해결하지 못했던 건 더 나은 데이터였다.

법률 AI 스타트업 Harvey가 에이전트 도입 후 마진 급락을 겪은 사례를 통해, 단순한 모델 교체를 넘어 도메인 특화 포스트 트레이닝과 평가 체계 구축이 에이전트 경제성의 핵심임을 보여준다.

이 글의 핵심 포인트

1Harvey의 에이전트 업데이트 이후 토큰 소비량이 약 20배 증가하며 매출 증가에도 불구하고 매출총이익률이 +50%에서 -50%로 급락함
2기존의 좌석 기반(Seat-based) 고정 가격 모델이 에이전트의 무제한적 토큰 사용량을 감당하지 못하는 구조적 한계 노출
3Claude Opus 대신 Moonshot AI의 Kimi K3와 같은 오픈 웨이트 모델로 전환하여 토큰 단가를 약 40% 절감함
4단순 모델 교체를 넘어 포스트 트레이닝을 통해 Review Tables 제품의 셀당 비용을 10배, Firm Knowledge의 쿼리당 비용을 90% 절감함
5성공적인 모델 전환을 위해서는 도메인 특화 데이터(SFT, RLHF)와 새로운 오류 패턴을 잡아낼 수 있는 정교한 평가 벤치마크 구축이 필수적임

이 글에 대한 공공지능 분석

왜 중요한가?

에이전트 기반 AI 서비스가 직면한 '수익성 악화'라는 실질적인 비즈니스 위기를 보여주며, 단순한 모델 교체가 아닌 데이터 중심의 엔지니어링이 생존의 열쇠임을 시사합니다.

어떤 배경과 맥락이 있나?

기존의 정적 쿼리 방식에서 자율적 에이전트 방식으로 서비스가 진화하면서, 사용자당 고정 비용(Seat-based pricing)과 변동 비용(Token usage) 간의 불일치가 발생하고 있습니다.

업계에 어떤 영향을 주나?

AI 스타트업들은 프론티어 모델 의존도를 낮추고, 특정 워크플로우에 최적화된 오픈 웨이트 모델을 직접 튜닝하여 비용 효율적인 에이전트 경제성을 확보하려는 움직임이 가속화될 것입니다.

한국 시장에 어떤 시사점이 있나?

한국의 버티컬 AI 스타트업들 역시 글로벌 모델의 비용 리스크를 관리하기 위해, 자체적인 평가 데이터셋과 도메인 특화 미세 조정 기술 확보를 핵심 경쟁력으로 삼아야 합니다.

이 글에 대한 큐레이터 의견

에이전트 기반 AI 비즈니스의 성패는 이제 '얼마나 똑똑한 모델을 쓰느냐'가 아니라 '얼마나 효율적인 추론 구조를 설계하느냐'로 이동하고 있습니다. Harvey의 사례는 모델 교체라는 단순한 비용 절감 전략이 자칫 서비스 품질 저하로 이어질 수 있는 위험한 도박임을 경고합니다. 창업자들은 모델 스왑을 단순한 인프라 교체가 아닌, 막대한 데이터 엔지니어링 비용이 투입되는 고난도 프로젝트로 인식해야 합니다.

물론 오픈 웨이트 모델로의 전환은 비용 절감의 기회이지만, 이는 도메인 특화 데이터 확보와 정교한 평가 시스템(Evaluation Harness) 구축이라는 막대한 운영 부담을 동반합니다. 만약 데이터 품질이나 평가 체계가 뒷받침되지 않은 상태에서 모델만 교체한다면, 비용은 줄어들지 모르나 서비스의 신뢰도가 무너지는 '조용한 퇴보'를 겪게 될 것입니다. 따라서 기술적 우위는 모델의 크기가 아닌, 특정 태스크를 최소한의 토큰으로 완수해내는 '태스크당 비용(Cost-per-task)' 최적화 능력에서 결정될 것입니다.

원문 보기 →