Google Developers Blog

구글의 LiteRT와 Gemma 모델을 활용해 라즈베리 파이 5 환경에서 고성능 에지 AI를 구축하는 방법을 다룹니다. 특히 Gemma 4 E2B 모델을 통해 초저지연 추론과 효율적인 메모리 사용량을 달성함으로써 자율 주행 로봇 등 실시간 반응이 필요한 기기에서의 활용 가능성을 입증했습니다.

에이전트 플러그인은 AI 에이전트의 기술(Skills)과 MCP 서버를 하나의 표준화된 디렉토리 구조로 묶어 여러 플랫폼에서 재사용할 수 있게 하는 오픈 사양입니다. 구글, 아마존, 오픈AI 등 주요 빅테크 기업들이 공동 참여하여 도구와 스킬의 배포 및 관리 효율성을 높이는 데 집중하고 있습니다.

MCP 프로토콜이 세션 유지 방식에서 탈피하여 모든 요청이 독립적으로 처리되는 스테이트리스(Stateless) 방식으로 업데이트되었습니다. 이를 통해 기존의 복잡한 세션 관리와 로드 밸런싱 문제를 해결하고, 서버리스 환경에서도 AI 에이전트 인프라를 효율적으로 확장할 수 있는 기반을 마련했습니다.

구글 클라우드 API Gateway가 새로운 모델 라우팅 기능을 Public Preview로 출시했습니다. 이 기능은 OpenAI 호환 요청을 받아 Gemini, Claude, OpenAI OSS-GPT 등으로 동적 라우팅하며, 개발자가 엔드포인트를 하드코딩하거나 별도의 프록시를 관리할 필요 없이 최적의 모델을 선택할 수 있게 돕습니다.

실시간 AI 에이전트는 양방향 통신을 통해 긴 세션을 유지하므로, 기존의 단발성 요청 중심인 QPS나 CPU 사용량만으로는 실제 서버 부하를 정확히 측정하기 어렵습니다. 따라서 애플리케이션 내부의 활성 세션 수를 직접 추적하여 로드 밸런싱에 반영하는 정교한 인프라 관리 전략이 필요합니다.

Genkit Go에 추가된 Agent Skills는 대규모 언어 모델(LLM) 에이전트가 모든 정보를 한꺼번에 로드하지 않고, 필요할 때만 특정 전문 지식을 활성화하는 기술입니다. 이를 통해 토큰 소비를 줄이고, 스크립트와 문서를 포함한 모듈화된 지식 패키지를 효율적으로 관리할 수 있습니다.

Gemini Enterprise Agent 플랫폼의 에이전트 및 모델 평가 기능이 GA를 통해 정식 서비스됩니다. 이 기능은 2상 이상의 사전 구축된 지표와 맞춤형 적응형 루브릭(Adaptive Rubrics)을 제공하며, 개발 중 실험부터 실제 운영 트래픽에 대한 실시간 모니터링까지 통합된 평가 프로세스를 지원합니다.

이 글은 TPU의 실제 성능을 평가하기 위해 구글이 개발한 마이크로벤치마크 스위트의 구성과 활용 방법을 설명합니다. 네트워크, 연산, HBM, 호스트 전송, RPAv3 등 5개 핵심 영역의 지표를 통해 하드웨어 병목 현상을 식별하고, 'Speed-of-Light' 기준을 설정하여 효율적인 모델 학습 및 추론 환경을 구축하는 방법을 제시합니다.

이 기사는 TPU의 물리적 구조인 'slice'를 고려한 Ray Serve, Data, Train 라이브러리의 활용법을 다룹니다. 특히 vLLM을 통한 효율적인 모델 서빙과 JAX 배열로 직접 데이터를 공급하는 고성능 파이프라인 구축 방법을 상세히 설명합니다.

LLM의 역할이 단순 챗봇에서 외부 도구를 사용하는 에이전트로 진화함에 따라, 학습 중 발생하는 환경 상호작용 지연이 하드웨어 효율을 떨어뜨리는 문제가 발생하고 있습니다. 구글의 Tunix는 비동기 실행 엔진과 생산자-소비자 구조를 통해 TPU 활용도를 극대화하며 대규모 에이전트 학습의 병목 현상을 해결합니다.

Ray 프레임워크가 Google Cloud TPU를 'First-class accelerator'로 공식 지원하며, 개발자는 기존의 Ray 라이브릿지를 그대로 활용해 TPU 슬라이스에 작업을 할당할 수 있습니다. GKE와 Ray Operator를 통해 복잡한 TPU 토폴로지 관리와 하드웨어 프로비저닝을 자동화하여 인프라 운영 난이도를 획기적으로 낮췄습니다.

구글 클기 클라우드는 Gemini Enterprise Agent 플랫폼에 Parallel Web Systems의 병렬 웹 검색 기능을 네이티브하게 도입하여 AI 에이전트의 정보 정확성을 강화했습니다. 이를 통해 개발자는 실시간 웹 데이터를 활용해 데이터 보강, 자율형 워크플로우, 멀티 에이전트 시스템 등 신뢰도가 중요한 기업용 AI 서비스를 구축할 수 있습니다.

AI 에이전트 운영 규모가 커지면 단일 프롬프트 파일은 관리 불가능한 상태에 빠지며, 이는 예측 불가능한 오류와 로직 중복의 원인이 됩니다. 이를 해결하기 위해 프롬프트를 모듈화된 컴포넌트로 분리하고 빌드 타임에 검증하는 '트랜스파일링' 접근법을 통해 에이전트의 안정성을 확보해야 합니다.

Conductor가 기존 Gemini CLI 전용 확장에서 다양한 AI 도구와 호환 가능한 'Conductor Plugin'으로 전환됩니다. 이를 통해 개발자는 자연어 대화만으로 프로젝트의 사양(Spec)과 계획(Plan)을 업데이트할 수 있으며, 툴에 구애받지 않고 일관된 개발 맥락을 유지할 수 있습니다.

구글은 Pixel 10 시리즈와 Tensor TPU를 활용하여 강력한 성능의 오프라인 온디바이스 AI 생태계를 공개했습니다. Gemma 4 E2B 모델을 통해 데이터 유출 걱정 없는 개인화된 에이전트 기능과 이미지, 오디오 기반의 멀티모달 상호작용을 인터넷 없이 구현할 수 있게 됩니다.

Google은 Qwen 3.5-397B MoE 모델을 TPU v7x(Ironwood)에 최적화하여 디코드 및 프리필 작업 성능을 각각 최대 3.1배, 4.7배 개선했습니다. 이를 위해 모델별로 매번 최적화하는 대신, 검증된 연산 블록을 재사용하는 '모델 불가지론적(Model-agnostic)' 모듈형 전략을 사용하여 새로운 아키텍처에 대한 대응 속도를 극대화했습니다.

구글이 WebAssembly와 WebGPU 등을 활용하여 브라우저에서 직접 고성능 AI 모델을 실행할 수 있는 LiteRT.js를 공개했습니다. 이 기술은 PyTorch 모델의 손쉬운 변환과 하드웨어 가속을 지원하며, 기존 TensorFlow.js보다 월등한 추론 성능을 제공합니다.

Google Developer Experts들이 Sonoma Raceway에서 Antigravity와 Gemini를 활용해 실시간 AI 레이스 코치를 개발하는 데 성공했습니다. 이 시스템은 엣지(Gemma 4)와 클라우드(Gemini)의 하이브리드 구조를 통해 물리적 데이터를 분석하고, 드라이버에게 즉각적인 주행 전략을 제공하며 도메인 간 기술 격차를 해소합니다.

대규모 분산 학습 중 특정 노드가 실패하면 전체 작업이 중단되는 기존 방식과 달리, Pathways의 단일 컨트롤러 구조를 통해 학습 프로세스를 유지하며 장애에 대응할 수 있습니다. 이를 통해 체크포인트부터 다시 시작하는 비용을 줄이고 학습 효율성을 극대화할 수 있습니다.

구글의 오픈소스 프레임워크인 Genkit이 에이전트 기반 애플리케이션 구축을 위한 'Agents API'를 발표했습니다. 이 API는 대화형 AI 개발 시 필수적인 메시지 히스토리, 상태 관리, 도구 실행 루프 등을 통합된 인터페이스로 제공하여 복잡한 인프라 구축 없이도 강력한 에이전트 앱 제작을 지원합니다.

ADK 2.0은 기존 자율형 에이전트가 가진 예측 불가능성과 비용 문제를 해결하기 위해 '워크플로우'라는 새로운 기능을 도입했습니다. 이를 통해 정해진 비즈니스 로직은 결정론적 코드로 처리하고, 복잡한 추론이 필요한 단계에만 LLM을 활용하는 하이브리드 실행 모델을 구축할 수 있습니다.

구글 클라우드는 VS Code 내에서 Google Cloud Workbench 인스턴스에 직접 연결하여 고성능 컴퓨팅 자원을 사용할 수 있는 새로운 확장 기능을 출시했습니다. 이를 통해 데이터 과학자와 개발자는 로컬 IDE의 편리함과 클라우드의 확장성을 동시에 누리며 ML 생애주기를 효율적으로 관리할 수 있습니다.

구글의 ADK for Go 2.0은 그래프 기반 워크플로우 엔진을 통해 복잡한 멀티 에이전트 시스템을 체계적으로 설계할 수 있게 해줍니다. 노드와 엣지를 활용해 분기, 병렬 처리, 인간 개입(HITL) 등을 구현하며, 기존 Go 서비스에 자연스럽게 통합 가능한 구조를 갖췄습니다.

이 기사는 AI 에이전트 개발 시 발생하는 'vibe-checking(감에 의존한 테스트)'의 한계를 극복하기 위해, 데이터 준비부터 실패 분석 및 최적화까지 이어지는 자동화된 품질 평가 플라이휠 도입을 제안합니다. 특히 코딩 에이전트가 스스로 평가 지표를 선택하고 개선안을 제안하되 인간의 승인을 거치는 'Human-in-the-loop' 방식의 운영 모델을 강조합니다.