AI 모델 (LLM·GPT·Claude·Gemini)

OpenAI가 Broadcom과 공동 설계한 LLM 추론용 ASIC 'Jalapeño'가 초기 실리콘 단계에서 Nvidia의 차세대 칩들을 앞서는 전력 효율을 보여주었습니다. 이 칩은 HBM4와 단순화된 메모리 구조, 그리고 AI 기반의 소프트웨어 스축(Codex, Gluon)을 결합하여 전력 제약이 심한 데이터센터 환경에 최적화된 성능을 제공합니다.

iMessage 기반 AI 비서 Poke는 AI가 생성한 모든 웹사이트에 Turso의 SQLite 기반 전용 DB를 자동으로 할당하여 데이터 격리와 효율적인 운영을 실현하고 있습니다. 이를 통해 비효율적인 쿼리나 트래픽 급증이 다른 사이트에 미치는 영향을 차단하며, 서버리스 구조를 활용해 대량의 일회성 사이트를 저비용으로 유지합니다.

LLM 기반 시스템을 프로덕션 환경에 배포하기 전 필수적인 평가 프로세스와 검증 전략을 설명합니다. 특히 에이전틱 AI 워크플로우의 복잡성을 고려한 정밀한 검증 방법과 운영 안정성을 확보하기 위한 접근법을 강조합니다.

Vercel AI Gateway가 비디오 생성 시 발생하는 HTTP 타임아웃 문제를 해결하기 위해 웹훅, 폴링, 작업 예약 등 세 가지 비동기 처리 옵션을 새롭게 지원합니다. 이를 통해 개발자는 긴 생성 시간이 필요한 비디오 생성 작업을 중단 없이 안정적으로 관리하고 자동화할 수 있습니다.

Vercel AI Gateway에 Alibaba의 Wan 3.0 비디오 생성 모델이 추가되었습니다. 이 모델은 텍스트, 이미지, 오디오를 참조하여 최대 30초, 1080p 해상도의 영상을 생성할 수 있으며, 이전 버전보다 통합된 기능을 제공합니다. 또한 웹훅을 통한 비동기 생성 방식을 지원하여 개발자의 운영 효율성을 높였습니다.

Vercel AI Gateway가 GMI Cloud와의 파트너십을 통해 MiniMax M3 및 M2.7 모델을 9월 6일까지 무료로 지원합니다. 개발자들은 전용 모델 ID를 사용하거나 제공자 우선순위를 설정하여 비용 없이 고성능 모델을 실험하고 코딩 에이전트에 적용할 수 있습니다.

OpenAI가 Broadcom과 협력하여 개발한 자체 ASIC 'Jalapeño'는 엔비디아와 AMD의 최신 GPU를 압도하는 전력 대비 성능(perf/W)을 기록했습니다. 이 칩은 특정 모델에 국한되지 않은 범용 추론을 지향하며, HBM4를 탑재하여 압도적인 토큰 처리량을 제공하는 것이 특징입니다.

NVIDIA Dynamo의 새로운 기능인 Shadow Engine Recovery는 엔진 프로세스 장애 시에도 GPU 메모리에 가중치를 유지하여 LLM 추론 복구 시간을 초 단위로 줄여줍니다. 이는 GPU 메모리 서비스(GMS)를 통해 가중치 생명주기를 프로세스와 분리함으로써 가능해졌으며, 서비스 중단 시 발생하는 성능 저하를 최소화합니다.

LLM이 생성하는 자가 설명은 모델 내부의 실제 작동 방식과 괴리가 있을 수 있는데, NeuronScope는 모델의 forward pass를 직접 측정하여 답변을 유도한 특정 뉴런과 헤드를 찾아냅니다. 이 도구는 CLI와 MCP 서버 형태를 지원하여 AI 에이전트나 자동화된 테스트 환경에서 즉시 활용 가능한 구조를 갖추고 있습니다.

OpenAI가 ChatGPT Business에 고용량의 '프리미엄 좌석' 옵션을 추가했습니다. 이 모델은 데이터 분석이나 코딩 등 헤비 유저에게 5배 더 높은 사용량과 제한 없는 사용 환경을 제공하며, 기업은 Standard와 Premium 좌석을 한 워크스페이스 내에서 혼합하여 사용할 수 있습니다.

구글 Gemini 3.6 Flash 모델의 무료 티어 사용 중 일일 요청 제한인 20회를 초과하여 발생한 API 오류 사례를 다룹니다. 이는 API 쿼터 관리가 실패할 경우 서비스가 즉각적으로 중단될 수 있음을 보여줍니다.

본 기사는 LLM 학습이 단순한 다음 토큰 예측에서 인간의 선호도를 반영하는 최적화 과정으로 어떻게 진화했는지 설명합니다. 특히 RLHF의 복잡성을 해결하기 위해 등장한 DPO, KTO, ORPO 등 다양한 선호도 최적화 기법들의 공학적 의의를 다룹니다.

AI 에이전트 메모리 시스템인 YantrikDB와 Hindsight의 성능 비교 과정에서, 기존 벤치마크의 점수 격차가 아키텍처가 아닌 답변 모델(LLM)의 차이에서 비롯되었음을 밝혀냈습니다. 동일한 모델을 사용해 재검증한 결과 두 시스템의 성능은 통계적으로 유의미한 차이가 없었으며, 오히려 YantrikDB가 훨씬 적은 토큰을 사용하여 유사한 성능을 달성했음을 증명했습니다.

AI 아바타가 자신의 음성을 다시 인식하여 발생하는 '자기 에코' 문제를 해결하기 위해, 기존 프론트엔드의 복잡한 임시방편 로직을 제거하고 WebRTC 기반의 서버 사이드 파이프론으로 아키텍처를 완전히 재설계했습니다. 이를 통해 에코 문제를 근본적으로 해결함과 동시에 인터럽트(Barge-in) 지연 시간을 2초 이상에서 수 밀리초 단위로 단축하는 성과를 거두었습니다.

구글 클라우드가 Gemini 모델을 탑재하여 기존 Oracle, MySQL, MS SQL Server의 SQL 코드를 PostgreSQL 및 AlloyDB 문법으로 자동 변환하는 기능을 발표했습니다. 이 기능은 복잡한 프로시저를 현대적인 클라우드 네이티브 방식으로 재작성하여 마이그레이션 시간을 최대 60% 단축하고 엔지니어링 노력을 45% 절감하는 것을 목표로 합니다.

애플이 M5 Ultra 기반의 Mac Studio와 M6 기반의 Mac mini를 발표하며 로컬 AI 성능을 극대화한 새로운 라인업을 선보였습니다. 통합 메모리 구조를 통해 대규모 언어 모델(LL뮬) 추론에 최적화된 환경을 제공하지만, AI 수요로 인한 메모리 가격 상승이 하드웨어 비용을 대폭 높였습니다.

LLM 에이전트의 컨텍스트 윈도우 관리를 위한 자동 압축 기능이 로컬 추정치의 오차로 인해 작동하지 않아 비용 상승과 성능 저하를 초래한 사례를 분석합니다. 개발자는 실제 API 응답의 토큰 수를 기준으로 새로운 메시지의 차이만 추정하는 앵커링 기법과, 데이터 불일치 시 즉각 경고를 발생시키는 방식을 통해 시스템 안정성을 확보했습니다.

Anthropic은 Claude 챗봇과 업무 자동화 도구인 Cowork가 사용자 정보를 실시간으로 공유하는 '공유 메모리' 기능을 도입했습니다. 이를 통해 사용자의 선호도, 인맥, 업무 스타일 등의 맥락이 두 서비스 간에 통합되어 더욱 정교하고 개인화된 업무 자동화가 가능해집니다.

OpenAI가 GPT-5.6 Sol을 포함한 플래그십 모델의 가격을 2026년 11월 21일까지 대폭 인하하는 프로모션을 진행합니다. 이번 조치는 모델별(Sol, Terra, Luna) 및 사용 모드(Standard, Batch, Flex)에 따른 세분화된 요금 체계를 도입하여 개발자들이 비용 최적화된 AI 서비스를 구축할 수 있도록 지원합니다.

Anthropic은 Claude의 채팅 기능과 Claude Cowork의 메모리 시스템을 통합하여, 사용자가 어떤 인터페이스를 사용하더라도 과거의 학습 내용을 기억하도록 업데이트했습니다. 사용자는 저장된 정보를 직접 편집하거나 삭제할 수 있으며, 실시간으로 업데이트되는 메모리를 통해 끊김 없는 AI 비서 경험을 누릴 수 있습니다.

애플이 로컬 AI 성능을 극대화한 새로운 Mac Studio를 공개했습니다. M5 Ultra 모델은 최대 5액의 통합 메모리와 강력한 Neural Accelerator를 통해 대규모 LLM의 온디바이스 실행을 지원하며, Thunderbolt 5를 이용한 다중 기기 클러스터링으로 AI 추론 성능을 획기적으로 높였습니다.

앤스로픽은 Claude 3.7 Sonnet 출시 이후의 사용자 데이터를 분석한 두 번째 경제 지표 보고서를 공개했습니다. 보고서는 코딩 및 과학 분야의 사용량 증가와 함께, '확장 사고' 모드가 전문 기술직군에서 주로 활용되고 있으며, 직무에 따라 AI가 협업(Augmentation) 또는 자동화(Automation) 형태로 작동하고 있음을 보여줍니다.

OpenAI는 러시아 계정들이 ChatGPT를 이용해 가짜 싱크탱객인 'IBI'를 홍보하며 서구권에 대한 부정적 여론을 조성하려던 시도를 포착해 관련 계정을 차단했습니다. 이번 사례는 AI 생성 콘텐츠가 단순한 스팸을 넘어, 정교하게 설계된 영향력 행사(influence operations)의 핵심 도구로 사용되고 있음을 드러냅니다.

Sentence Transformers v6.0에 추가된 MultiVectorEncoder를 사용하여 ColBERT 방식의 정밀한 검색 모델을 훈련하고 미효 조정하는 기술적 가이드를 제공합니다. 이 방식은 토큰 단위의 매칭을 통해 도메인 특화된 미세한 신호를 보존하며, 긴 문서 처리 문제도 해결할 수 있습니다.