Claude Code는 빈 사고 블록을 반환하지만, 추론은 여전히 비용이 발생합니다.
(theregister.com)
Anthropic의 Claude Code에서 추론(thinking) 과정이 화면에 표시되지 않거나 잘리는 버그가 발생하고 있음에도 불구하고, 생성된 모든 추론 토큰에 대해 비용이 청구되고 있어 개발자들의 주의가 필요합니다.
이 글의 핵심 포인트
- 1Claude Opus 4.8 및 Sonnet 5 모델에서 'thinking' 블록이 비어 있거나 잘린 채 반환되는 버그가 보고됨
- 2Anthropic은 사용자가 확인하지 못한(collapsed/redacted) 추론 토큰에 대해서도 모두 비용을 청구함
- 3추론 기능은 결과물의 품질을 높일 수 있지만, 추가적인 토큰 비용과 지연 시간(latency)을 발생시킴
- 4긴 추론 세션 중에 API 데이터 스트림이 종료되는 현상도 관찰됨
- 5Anthropic 측은 이러한 이슈를 인지하고 있으며 지속적으로 수정 작업을 진행 중이라고 밝힘
이 글에 대한 공공지능 분석
왜 중요한가?
AI 모델의 '추론(Reasoning)' 기능이 고도화됨에 따라 보이지 않는 토큰 비용이 서비스 운영 비용의 핵심 변수로 떠오르고 있기 때문입니다. 특히 결과물은 받지 못하면서 비용만 발생하는 현상은 AI 서비스의 수익성과 직결됩니다.
어떤 배경과 맥락이 있나?
최근 LLM들은 복잡한 문제 해결을 위해 'Chain-of-Thought'와 같은 추론 과정을 거치며, 이를 별도의 토큰으로 처리합니다. Anthropic은 이 과정에서 생성된 모든 토큰에 대해 과금하는 정책을 유지하고 있습니다.
업계에 어떤 영향을 주나?
AI 에이전트나 복잡한 코딩 도구를 개발하는 스타트업들은 모델의 추론 기능을 사용할 때 비용 예측 불가능성(Unpredictability)이라는 리스크를 안게 됩니다. 이는 API 비용 최적화 및 서비스 가격 책정 전략 수립을 어렵게 만듭니다.
한국 시장에 어떤 시사점이 있나?
글로벌 LLM API를 활용해 서비스를 구축하는 국내 개발자들은 'thinking' 기능 활성화 시 발생할 수 있는 비용 누수를 방지하기 위해, 출력 토큰뿐만 아니라 내부 추론 토큰의 사용량까지 모니터링하는 정교한 비용 관리 로직을 갖춰야 합니다.
이 글에 대한 큐레이터 의견
AI 에이전트 개발자들에게 '추론(Reasoning) 토큰'은 양날의 검입니다. 모델의 사고 과정을 확장하면 복잡한 논리 구조를 해결할 수 있지만, 이번 사례처럼 추론 과정이 사용자에게 전달되지 않더라도 비용은 그대로 발생한다는 점은 치명적인 운영 리스크가 될 수 있습니다. 특히 'thinking' 기능이 비정상적으로 작동할 경우, 서비스 품질은 유지되더라도 인프라 비용만 급증하는 상황이 발생할 수 있습니다.
물론 Anthropic의 입장은 명확합니다. 생성된 토큰에 대해 과금한다는 것은 기술적 구현 방식과 무관하게 모델이 연산한 자원에 대한 대가를 요구하는 것입니다. 따라서 개발자는 단순히 '결과가 잘 나오는가'를 넘어, '추론 과정의 비용 효율성'을 반드시 검증해야 합니다. 추론 기능을 사용할 때는 반드시 `max_tokens` 설정과 함께 예산 제한(budget setting)을 엄격히 관리하고, 필요 시 추론 기능을 비활성화하는 폴백(Fallback) 전략을 설계하는 것이 생존을 위한 필수 과제입니다.
관련 뉴스
댓글
아직 댓글이 없습니다. 첫 댓글을 남겨보세요.