AI 모델 (LLM·GPT·Claude·Gemini)

Inkling은 45조 토큰으로 사전 학습된 975B 파라미터 규모의 MoE Transformer 모델로, 텍스트, 이미지, 오디오, 비디오를 아우르는 네이티브 멀티모달 기능을 지원합니다. 특히 추론 노력도를 0.2에서 0.99 사이로 조절하여 성능과 비용/지연 시간 간의 최적점을 선택할 수 있는 것이 핵심입니다.

ChatGPT가 웹 검색 시 사용하는 출처 파이프라인과 쿼리 분류 체계를 브라우저 JSON 데이터를 통해 분석한 결과입니다. 모델은 질문 의도에 따라 검색 여부를 결정하며, 특히 Thinking 모델은 수십 개의 하위 질의를 생성해 HTML 내의 특정 문자열을 검증하는 정교한 과정을 거칩니다.

전 OpenAI CTO 미라 무라티가 설립한 Thinking Machines Lab이 9750억 개의 파라미터를 가진 대규모 오픈 웨이트 모델 'Inkling'을 출시했습니다. Apache 2.0 라이선스로 공개된 이 모델은 강력한 추론 능력과 100만 토큰의 컨텍스트 창을 지원하며, 개발자들이 자유롭게 미세 조정할 수 있는 환경을 제공합니다.

한국딥러닝은 단순 문서 인식을 넘어 업무 자동화를 실현하는 '3 Zero' 전략으로 상반기 역대 최대 매출을 기록했습니다. 금융 및 공공기관을 중심으로 한 온프레미스 구축 사업과 글로벌 벤치마크 1위 달성을 통해 기술적 신뢰도를 확보하며 글로벌 시장 진출을 가속화하고 있습니다.

마이크로소록프트가 영업 전략의 일환으로 OpenAI, Anthropic 등 기존 파트너사들의 모델을 폄하하며 자사 제품의 효율성과 통합성을 강조하도록 지시한 것으로 알려졌습니다. 이는 비용 절감과 시장 점유율 확대를 위해 외부 모델 의존도를 낮추고 자체 AI 생태계를 강화하려는 전략적 움직임으로 풀이됩니다.

xAI의 Grok Build CLI 도구가 사용자 디렉토리 데이터를 무단으로 업로드한다는 사실이 밝혀지며 큰 논란이 일었습니다. 이에 xAI는 해당 기능을 즉시 중단하고 기존 데이터를 삭제하는 동시에, 신뢰 회복을 위해 전체 코드베이스를 오픈 소스로 공개했습니다.

최근 오픈AI, 앤트로픽, xAI 등 주요 AI 기업들이 신규 모델을 연달아 발표하며 기술 경쟁이 가속화되는 가운데, 상대적으로 조용했던 구글의 차세대 플래그십 모델에 대한 기대감이 커지고 있습니다. 시장은 구글이 제미나이 3.5 프로를 통해 글로벌 AI 패권 경쟁의 판도를 바꿀 수 있을지 주목하고 있습니다.

xAI는 Grok을 이용해 아동 성착취물을 생성하고 유포한 테리 하우드를 상대로 평판 저하와 법적 방어 비용에 대한 손해배상 청구 소송을 제기했습니다. 이번 사건은 AI 이미지 편집 기능의 확장이 가져온 안전성 공백과 기업의 대응 전략을 극명하게 보여줍니다.

Thinking Machines Lab이 Apache 2.0 라이선스의 대규모 멀티모달 MoE 모델인 Inkling 시리즈를 출시했습니다. 이 모델은 총 975B 파라미터 중 41B만 활성화하여 추론 효율성을 극대화했으며, 텍스트뿐만 아니라 이미지와 오디오를 네이티브하게 처리할 수 있는 능력을 갖추고 있습니다.

Thinking Machines의 멀티모달 범용 모델인 Inkling이 Vercel AI Gateway에 새롭게 추가되었습니다. 이 모델은 추론, 코딩, 비전, 오디오 등 광범위한 작업을 지원하며, 개발자는 Vercel의 통합 API를 통해 모델 사용량 관리와 성능 최적화를 손쉽게 수행할 수 있습니다.

Pantograph는 로보틱스의 고질적인 문제인 데이터 부족을 해결하기 위해, 행동 정보가 없는 대규모 영상 데이터를 RL 궤적으로 재정의하여 사전 학습하는 기술을 선보였습니다. 마인크래프트 환경에서 개발된 4B 규모의 모델 'Pan'은 비디오 프레임을 목표로 삼아 복잡한 과업을 수행하며 높은 일반화 능력을 입증했습니다.

작성자는 AVX2 명령어가 없는 1<0xA0>13년 된 구형 Xeon 서버에서 Gemma 4 26B 모델을 초당 약 5토큰의 속도로 구동하는 데 성공했습니다. 이 과정에서 Claude와 같은 AI 에이전트를 활용해 최적화된 C++ 코드를 수정하고 하드웨어 제약을 극복하며, 저비용으로 로컬 LLM 운영이 가능함을 증명했습니다.

Inkling은 텍스트, 이미지, 오디오, 비디오를 모두 처리할 수 있는 대규모 MoE(Mixture-of-Experts) 모델로, 100만 토큰의 컨텍스트 창을 지원합니다. 특히 Tinker 플랫폼을 통해 개발자가 모델을 손쉽게 미세 조정할 수 있도록 설계되었으며, 모델 스스로 학습 데이터를 생성하고 자신을 업데이트하는 자가 미세 조정 능력을 시연했습니다.

미국의 주요 AI 제공업체들이 사용량 기반 과금 체계 전환과 에너지 수요 급증, 지정학적 불확실성에 직면하며 시장 주도권이 분산되고 있습니다. 기업들은 이제 성능 차이가 줄어든 상황에서 훨씬 저렴한 중국 및 유럽의 오픈 웨이트 모델을 활용해 비용 효율성과 데이터 주권을 확보하려는 움직임을 보이고 있습니다.

Lattice는 Python이나 C++ 같은 무거운 런타임 없이 Apple Silicon의 성능을 극한으로 끌어올리기 위해 Rust로 작성된 로컬 AI 엔진입니다. Metal Shader와 ARM NEON을 활용해 추론, 양자화, LoRA 미세 조정을 지원하며, SwiftUI 기반의 Lattice Studio를 통해 시각적인 개발 환경을 제공합니다.

OpenAI가 강력한 보안 및 코딩 능력을 갖춘 GPT-5.6 모델군(Sol, Terra, Luna)을 공식 출시했습니다. 이번 모델은 미 정부의 보안 검토를 통과했으며, 용도와 비용에 따른 세분화된 가격 정책을 통해 기업용 AI 시장 공략을 가속화할 전망입니다.

OneTimeView는 PDF나 영상 파일을 다운로드 없이 웹상에서만 확인할 수 있게 하여 불필요한 파일 복제를 줄이는 기능을 제공합니다. 스크린샷이나 화면 녹화 방지 기술을 통해 계약서, 인보이스 등 민감한 정보의 보안성을 높이는 데 집중합니다.

월드컵 등 스포츠 이벤트에서 실시간으로 재치 있는 멘트를 생성하는 AI 도구 'Rivalry Roast'의 기술 구조와 산업적 가치를 다룹니다. NLP와 머신러닝을 활용해 팬들의 참여를 유도하고 운영 비용을 절감하며, ESPN과 DraftKings 같은 실제 성공 사례를 통해 AI 기반 콘텐츠 자동화의 가능성을 제시합니다.

이 글은 오픈 웨이트 LLM을 API를 통해 서비스에 통합하는 방법을 다루며, Python, Node.js, cURL을 이용한 코드 예제를 제공합니다. 폐쇄형 모델 대신 오픈 웨이트 모델을 사용할 때 얻을 수 있는 비용 절감과 데이터 보안 등의 이점을 강조합니다.

LLM의 프리필(prefill) 단계에서 첫 번째 토큰 등이 과도한 어동션을 흡수하는 '어텐션 싱크' 현상을 다루며, 이는 소프트맥스 제약 조건으로 인해 발생하는 필연적인 결과임을 설명합니다. 이를 이해하면 긴 문맥 처리 시 메모리 절약을 위해 KV 캐시에서 특정 토큰을 반드시 보존해야 하는 기술적 근거를 확보할 수 있습니다.

Fastembed 라이브러리가 OS 임시 디렉토리에 모델을 저장하면서 시스템 정리 작업 시 파일이 유실되어 워커 프로세스가 충돌한 사례를 다룹니다. 개발자는 이를 방지하기 위해 프로젝트 내에 안정적인 캐시 경로를 직접 지정하고 관리해야 합니다.

이 기사는 OpenAI와 같은 블랙박스 모델의 한계를 극복하기 위해 오픈 웨이트 LLM을 활용하는 방법을 다룹니다. NovaStack과 같은 API 레이어를 통해 복잡한 인프라 관리 없이도 투명하고 비용 효율적인 AI 애플리케이션을 구축할 수 있는 실질적인 방안을 제안합니다.

Vercel AI Gateway는 여러 AI 모델을 하나의 인터페이스로 연결하고, 동일 모델에 대한 인프라 간 자동 장애 복구와 토큰 마크업 없는 경제적인 구조를 제공합니다. 다만, 단순 라우팅과 가시성 확보에 특화되어 있어 강력한 권한 제어나 예산 통제가 필요한 거버성을 위한 도구는 아닙니다.

LiteLLM은 모델 라우팅과 비용 추적에는 뛰어나지만 RBAC, 예산 통제, MCP 거버넌스 등 기업용 관리 기능이 부족하여 이를 보완할 대안들이 주목받고 있습니다. TrueFoundry는 강력한 보안 및 권한 관리를, Portkey는 오픈소스 기반의 거버넌스를 제공하며, 인프라 환경에 따라 Cloudflare나 Vercel 솔루션도 유효한 선택지가 될 수 있습니다.