AWS Machine Learning Blog

Amazon Bedrock이 싱가포르, 태국, 말레이시아, 인도네시아, 대만 지역에서 OpenAI GPT-6 모델(Sol, Luna, Astra)을 사용할 수 있는 글로벌 교차 리전 추론 기능을 출시했습니다. 이 기능은 특정 리전의 수요가 로컬 용량을 초과할 경우 다른 리전의 여유 자원을 활용하여 트래픽 병목 현상을 방지하고 안정적인 추론 성능을 보장합니다.

이 글은 Amazon SageMaker AI에서 llama.cpp를 사용하여 텍스트 생성뿐만 아니라, 특정 선택지에 대한 확률값을 반환하는 구조화된 의사 결정 모델을 배포하는 방법을 설명합니다. 특히 SemIf 어댑터를 활용해 로짓(logits)에 직접 접근함으로써, 비정형 텍표를 파싱하는 대신 정형화된 데이터를 추출하는 기술적 경로를 다룹니다.

AWS는 Amazon EKS에서 Ray LLM DLC를 사용하여 Prefill과 Decode 노드를 분리하는 멀티 노드 추론 워크로드를 구현하는 방법을 소개합니다. 이 방식은 연산 집약적인 Prefill과 메모리 대역폭 중심의 Decode 단계를 별도 노드에서 처리함으로써, 대규모 모델의 추론 지연 시간을 줄이고 처리량을 높이는 데 기여합니다.

AWS는 Amazon Bedrock에 OpenAI의 최신 모델들을 통합하고, 에이전트 운영 비용을 절감할 수 있는 AgentCore 및 Strands 업데이트를 공개했습니다. 이번 업데이트는 모델의 지능뿐만 아니라 에이전트의 실행 속도, 토큰 효율성, 그리고 보안된 워크플로우 구축에 초점을 맞추고 있습니다.

Postman은 API 개발 환경에 AI 에이전트를 통합하며 발생하는 기술적 난제를 Amazon Bedrock의 관리형 서비스를 통해 해결했습니다. 특히 수백 개의 도구를 모두 노출하는 대신, 벡터 DB를 활용해 작업에 필요한 도구만 선별적으로 제공하는 아키텍처를 구축하여 에이전트의 정확도와 효율성을 극대화했습니다.

Amazon Bedrock AgentCore payments는 AI 에이전트가 API 호출이나 모델 추론 등 1센트 미만의 초소액 결제를 사람의 개입 없이 자율적으로 수행할 수 있도록 돕는 관리형 서비스입니다. Incarna와 BlockRun의 사례를 통해, x402 프로토콜과 스테이블코인을 활용하여 에이전트가 인프라 수준에서 지출 한도를 준수하며 안전하게 서비스를 구매하는 메커니즘을 보여줍니다.

이 글은 Amazon SageMaker HyperPod를 사용하여 여러 팀이 하나의 GPU 클러스터를 효율적으로 공유할 수 있는 참조 아키텍처를 소개합니다. AWS IAM Identity Center와 EKS 네임스페이스를 활용해 팀 간 자원 격리, 공정한 자원 할당, 그리고 팀별 비용 정산(chargeback)이 가능한 구조를 제안합니다.

Amazon Bedrock를 통해 Claude Haiku 5.5를 사용할 수 있게 되었으며, 이 모델은 이전 세대 대비 비용을 75% 절감하면서도 코딩 및 에이전트 작업에 최적화된 성능을 제공합니다. 특히 Claude Opus 5.5와 결합하여 복잡한 계획과 실행을 분리하는 효율적인 에이전트 아키텍처 구축이 가능해졌습니다.

기존 RAG 방식은 권한 정보를 복제하여 사용하기 때문에 데이터 동기화 지연이나 권한 불일치라는 보안 취약점이 있었습니다. AWS는 1단계 사전 필터링과 2단계 실시간 API 검증을 결합한 하이브리드 방식을 통해 권한 정보의 최신성과 정확성을 동시에 확보했습니다.

기존 RPA 중심의 ROI 모델은 에이전트형 자동화가 창출하는 예외 처리 및 의사결정 품질 향상 등의 가치를 반영하지 못합니다. 따라서 프로세스 재설계와 역량 강화를 포함한 '에이전트 가치 모델'을 통해 실질적인 경제적 이익을 측정하는 새로운 프레임워크가 필요합니다.

Qlik은 데이터 검색의 비효율성과 AI의 환각 문제를 해결하기 위해 Amazon Bedrock 기반의 'Qlik Answers'를 출시했습니다. 이 솔루션은 전문화된 에이전트 계층과 라우팅 레이어를 통해 복잡한 기업 데이터를 정확하고 신뢰할 수 있는 답변으로 변환하며, 글로벌 데이터 주권 및 확장성 문제를 동시에 해결했습니다.

AWS DevOps Agent가 식별한 장애 원인을 Amazon Bedrock가 분석하여 적절한 복구 조치를 제안하고, 이를 Lambda Durable Functions를 통해 실행하는 자동화 시스템을 소개합니다. 이 워크플로우는 읽기 전용 작업은 자율적으로 수행하고, 인프라 변경이 필요한 작업은 인간의 승인을 거치도록 설계되어 안전성과 효율성을 동시에 확보합니다.

기업 내 비개발 전문가들이 AI 기술에 대한 이해를 넘어 실제 구현 능력을 갖출 수 있도록 돕는 'AI 빌더' 육성 전략을 다룹니다. 6주간의 구조화된 프로그램을 통해 비개발 직군이 복잡한 멀티 에이전트 시스템을 성공적으로 구축한 사례와 그 핵심 원칙을 제시합니다.

Cornerstone OnDemand는 Amazon Bedrock과 Strands Agents를 활용해 전문화된 에이전트들이 협업하는 'Orion AI'를 구축했습니다. 이를 통해 45분이 소요되던 데이터베이스 진단 시간을 10분으로 줄이고, 수동 작업 단계를 대폭 축소하여 데이터 운영의 자동화와 실시간 모니터링을 실현했습니다.

기존 AI 어시스턴트의 한계인 '상태 비저장(stateless)' 문제를 해결하기 위해 AgentCore의 메모리 기능을 활용하여 지속적인 맥락을 유지하는 에이전트 구축 방법을 설명합니다. OpenClaw와 Amazon Bedrock을 결합하여 저비용으로 개인화된 지능형 서비스를 구현하는 서버리스 아키텍처와 배포 자동화를 다룹니다.

AWS는 ISO/IEC 42005:2025 표준을 준수하려는 기업들을 위해 AI 시스템 영향 평가 프로세스를 기존의 리스크 관리 체계에 통합할 수 있는 도구와 프레임워크를 제공합니다. 이를 통해 기업은 AI 도입 과정에서 발생할 수 있는 프라이버시, 차별, 성능 등의 리스크를 체계적으로 식별하고 관리할 수 있습니다.

이 글은 여러 팀이 대규모 가속 컴퓨팅 자원을 공유할 때 발생하는 거버넌스 문제를 해결하기 위한 Amazon SageMaker HyperPod 관리 전략을 다룹니다. SageMaker Unified Studio를 활용해 인프라 관리와 ML 워크로드 실행을 분리하고, 4단계의 제어 계층을 통해 자원 할당과 보안을 체계적으로 관리하는 방법을 설명합니다.

AWS는 SageMaker Studio UI를 통해 HyperPod EKS 클러스터의 개발 환경인 'Spaces'를 직접 생성, 구성, 시작 및 중지할 수 있는 신기능을 발표했습니다. 이를 통해 데이터 과학자들은 명령줄 도구 없이도 JupyterLab이나 Code Editor를 즉시 실행하여 대규모 모델 학습 및 추론 워크로드를 효율적으로 관리할 수 있습니다.

이 글은 Amazon Bedrock의 최신 기능을 사용하여 항공사 고객을 위한 실시간 음성 여행 컨시어지를 구축하는 아키텍처를 설명합니다. Nova Sonic의 음성-음성 모델과 MCP 프로토콜을 통해 기존 백엔드 시스템과 AI 에이전트를 유연하게 연결하고, 지식 기반(Knowledge Base)을 통해 정책 문의까지 자동화하는 방법을 다룹니다.

Z.ai의 대규모 MoE 모델인 GLM 5.3이 Amazon Bedrock에 출시되었습니다. 이 모델은 코딩 및 장기 에이전트 작업에 최적화되어 있으며, 프롬프트 캐싱과 교차 리전 추론 기능을 통해 비용과 지연 시간을 효율적으로 관리할 수 있는 기능을 제공합니다.

Anthropic의 에이전틱 코딩 도구인 Claude Code를 AWS GovCloud의 Amazon Bedrock과 통합하여 보안 및 규제 준수가 필수적인 환경에서도 AI 기반 개발을 수행할 수 있습니다. 이를 통해 개발자는 코드 수정, 테스트 실행, CI/CD 자동화 등 복잡한 작업을 수행하면서도 높은 수준의 데이터 보호와 규제 인증을 유지할 수 있습니다.

Amazon SageMaker AI 최적화 추론을 위한 새로운 'aws-ai-ml' 스킬이 출시되었습니다. 이 스킬은 MCP를 지원하는 코딩 에이전트가 벤치마킹, 배포 구성 추천, 실행 가능한 Python SDK 코드 생성 등을 수행할 수 있게 하여 모델의 프로덕션 배포 과정을 자동화합니다.

AWS는 Amazon Quick의 에이전트, 커넥터, 지식 베이스 등 주요 리소스를 계정 간에 자동화된 방식으로 복제 및 업데이트하는 'Quick Resource Migrator'를 소개했습니다. 이 솔루션은 MCP 서버를 활용해 수동 작업의 오류를 줄이고, API 기반의 멱등성 있는 리소스 프로모션과 감사 가능한 워크플로우를 제공합니다.

기존 RAG 방식은 여러 의도가 포함된 복지합 질문을 하나의 벡터로 처리하여 답변이 불완전해지는 한계가 있습니다. Amazon Bedrock Knowledge Bases와 LangChain을 결합한 에이전틱 검색은 모델이 스스로 검색 계획을 수립하고 반복 검색을 수행하여 정교한 답변을 생성합니다.