Uber 규모의 소프트웨어 팩토리를 효율적으로 운영하는 법

(news.hada.io)

GeekNews2026년 9월 2일AI 코딩

Uber가 AI 에이전트를 통해 PR의 70% 이상을 자동화하면서도, 모델 라우팅과 컨텍스트 최적화 기술을 통해 폭발적인 사용량 증가 속에서도 AI 운영 비용을 안정적으로 관리하는 혁신적인 소프트웨어 팩토리 운영 전략을 공개했습니다.

이 글의 핵심 포인트

1Uber의 AI 에이전트가 전체 PR의 70% 이상을 담당하며, 3,600개 이상의 에이전트 스킬이 일일 3만 회 이상 실행됨
2작업의 품질, 비용, 신뢰성을 기준으로 최적의 모델을 선택하는 'Pareto 최적 모델' 전략을 통해 비용 효율성을 극대화함
3MCP(Model Context Protocol) 호출 시 도구 검색 및 코드 모드를 도입하여 SQL 작업 등에서 토큰 사용량을 최대 90% 이상 절감함
42,400만 개의 노드를 가진 'AI Context Graph'를 구축하여 에이전트의 정보 탐색 비용을 줄이고 정확도를 높임
5프롬프트 캐싱과 컨텍스트 압축(400K)을 통해 사용량 급증(사용자 7배, 요청 9.4배)에도 불구하고 전체 AI 지출을 안정적으로 유지함

이 글에 대한 공공지능 분석

왜 중요한가?

단순히 AI를 도구로 사용하는 단계를 넘어, AI 에이전트가 개발 프로세스의 핵심 주체로 작동하는 '에이전트 중심 개발(Agentic Workflow)'의 실질적인 운영 모델을 제시했기 때문입니다. 특히 사용량이 수 배 증가함에도 비용을 안정화시킨 기술적 방법론은 AI 도입을 고민하는 기업들에게 명확한 경제적 가이드라인을 제공합니다.

어떤 배경과 맥락이 있나?

LLM의 성능이 높아짐에 따라 에이전트의 자율성은 커졌지만, 동시에 컨텍스트 팽창으로 인한 토큰 비용과 정보 탐색의 비효율성이라는 새로운 병목 현상이 발생했습니다. Uber는 이러한 비용 및 성능 문제를 해결하기 위해 모델 라우팅, 프롬프트 캐싱, 그리고 대규모 지식 그래프를 결합한 인프라적 접근을 시도했습니다.

업계에 어떤 영향을 주나?

앞으로의 엔지니어링 경쟁력은 '얼마나 좋은 모델을 쓰는가'가 아니라 '얼마나 효율적인 에이전트 오케스트레이션을 구축하는가'로 이동할 것입니다. 이는 모델 공급업체에 대한 의존도를 낮추고, 기업 내부의 고유한 컨텍스트를 에이전트에게 얼마나 저렴하고 정확하게 전달하느냐가 핵심 경쟁력이 될 것임을 시사합니다.

한국 시장에 어떤 시사점이 있나?

대규모 트래픽과 복잡한 비즈니스 로직을 다루는 한국의 테크 유니콘들에게도 시사하는 바가 큽니다. 무조건적인 프런티어 모델 사용보다는, 작업별로 경량 모델과 대형 모델을 분리 운영하는 'Pareto 최적화'와 데이터 기반의 'Context Graph' 구축이 AI 도입의 ROI를 결정짓는 핵심 요소가 될 것입니다.

이 글에 대한 큐레이터 의견

Uber의 사례는 AI 에이잭트 도입을 고려하는 스타트업 창업자들에게 'AI 유닛 이코노믹스(Unit Economics)'의 정석을 보여줍니다. 단순히 에이전트를 도입하는 것이 목적이 아니라, 에이전트가 생성하는 작업량(PR, 리뷰, 버그 수정 등) 대비 비용을 어떻게 통제할 것인가에 대한 구체적인 아키텍처를 설계해야 한다는 점을 강조합니다. 특히 MCP 호출 최적화나 코드 모드 도입을 통해 토큰 사용량을 90%까지 절감한 사례는 비용 민감도가 높은 초기 스타트업에게 매우 실무적인 인사이트를 제공합니다.

하지만 주의해야 할 트레이드오프도 명확합니다. Uber가 보여준 'AI Context Graph'나 '통합 게이트웨이' 구축은 엄청난 엔지니어링 리소스와 데이터 인프라를 필요로 합니다. 제품-시장 적합성(PMF)을 찾는 단계의 초기 스타트업이 이러한 수준의 '소프트웨어 팩토리' 인프라를 구축하려다가는, 정작 제품 개발에 집중해야 할 핵심 엔지니어링 자원을 인프라 구축에 낭비하는 '오버 엔지니어링'의 함정에 빠질 위험이 있습니다.

따라서 창업자들은 Uber의 전체 시스템을 복제하려 하기보다는, '작업별 모델 분리'나 '프롬프트 캐싱 활용'과 같이 적은 비용으로도 즉각적인 토큰 절감 효과를 낼 수 있는 'Low-hanging fruit'부터 단계적으로 적용하는 전략을 취해야 합니다.

원문 보기 →