AWS Machine Learning Blog

대규모 분산 학습 시 발생하는 GPU 장애와 동기식 체크포인팅으로 인한 유휴 시간을 줄이기 위해 NVIDIA NVRx와 Amazon EKS를 결합한 솔루션을 소개합니다. NVRx의 비동기 체크포인팅과 프로세스 재시작 기능을 통해 학습 중단 없이 장애에 대응하며 GPU 자원 활용도를 높일 수 있습니다.

Amazon Bedrock AgentCore는 에이전트의 실행 기록(traces)을 분석하여 시스템 프롬프트와 설정을 자동으로 개선하는 최적화 기능을 제공합니다. 에이전트 리플렉터(Reflector)가 성공과 실패 사례를 비교 분석하여 최적의 구성 변경안을 제안하며, 가드레일을 통해 안전성을 검증합니다.

이 글은 Amazon Bedrock Data Automation(BDA)을 사용하여 대규모 문서에서 개인정보를 자동으로 식별하고 삭제하는 서버리스 아키텍처를 소개합니다. 기존의 패턴 매칭 방식 대신 생성형 AI의 문맥 이해 능력을 활용해, 복잡한 양식에서도 정확하게 민감 정보만 골라내어 익명화하는 기술적 방안을 다룹니다.

Amazon Bedrock은 동일한 컨텍스트를 반복 사용할 때 비용과 지연 시간을 최적화할 수 있는 프롬프트 캐싱 기능을 도입했습니다. 이 기능은 cachePoint 마커를 통해 이전 요청의 처리된 토큰을 재사용함으로써, 대규모 문서 분석이나 에이전트 워크플로우에서 비용을 획기적으로 낮춰줍니다.

이 글은 Amazon SageMaker의 서버리스 기능을 사용하여 Qwen3-8B 모델을 SFT(지도 미세 조정)와 RLVR(검증 가능한 보상을 통한 강화 학습) 기술로 최적화하여 제품 태깅 시스템을 구축하는 과정을 설명합니다. 범용 LLM 대신 특정 목적에 특화된 소형 모델을 활용함으로써, 대량의 데이터를 처리할 때 발생하는 비용을 절감하고 태깅의 정확도와 일관성을 높이는 전략을 다룹니다.

Amazon SageMaker AI가 학습 및 프로세싱 작업 시 사용자가 지정한 우선순위에 따라 가용 가능한 GPU 인스턴스를 자동으로 찾아주는 '인스턴스 선호도 목록' 기능을 출시했습니다. 이를 통해 특정 GPU 자원 부족 시 발생하는 대기 시간과 수동 재시도 프로세스를 제거하여 AI 모델 개발의 연속성을 보드합니다.

Abnormal AI는 Amazon Bedrock AgentCore의 Code Interpreter를 활용해 복잡한 이메일 위협을 탐지하는 3단계 보안 아키텍처를 운영하고 있습니다. 이 시스템은 LLM의 추론 한계를 극복하기 위해 에이전트에게 코드 실행 가능한 샌드박스 환경을 제공하여 데이터 분석 및 검증 작업을 수행합니다.

Amazon Bedrock AgentCore가 AI 에이전트가 GitHub나 Slack 같은 외부 서비스에 접근할 때 필요한 사용자 OAuth 동의 및 세션 바인딩 과정을 관리해주는 'Consent portal' 기능을 도입했습니다. 이를 통해 개발자는 복잡한 인증 인프라 구축 부담을 덜고, 사용자는 통합된 웹 경험을 통해 안전하게 에이전트의 권한을 승인할 수 있습니다.

나인 웨이브는 금융 기관과 서드파티 앱 간의 데이터 연결을 돕는 'Compass'를 구축하기 위해 Amazon Bedrock AgentCore 기반의 멀티 에이전트 시스템을 도입했습니다. 이 시스템은 파편화된 은행 API의 검증, 필드 매핑, 준비도 점수 산출 등 수동으로 진행되던 복잡한 온보딩 프로세스를 자동화하여 효율성과 보안성을 동시에 확보했습니다.

이 글은 생성형 AI 도입 시 과도한 엔지니어링이나 투자 부족을 방지하기 위한 8단계 의사결정 프레임워크를 소개합니다. 단순한 프롬프트 활용부터 모델 가중치를 변경하는 학습 단계까지, 각 단계의 비용, 데이터 요구량, 기술적 복잡도를 체계적으로 비교하며 최적의 접근법을 제시합니다.

이 글은 수요 예측과 실제 주문 실행 사이의 간극을 메우기 위해 Databricks와 AWS 서비스를 통합한 자동화 루프를 소개합니다. Databricks의 MMF로 수요를 예측하고, Amazon Quick가 공급업체 가용성을 확인하여 최적의 가격으로 주문을 자동 실행하는 구조를 다룹니다.

멀티 에이전트 시스템에서는 기존 인프라 모니터링만으로는 에이전트의 논리적 오류나 잘못된 도구 사용을 잡아내기 어렵습니다. AWS는 에이전트의 품질을 평가하는 AgentCore Evaluations와 인프라 장애를 자율적으로 조사하는 AWS DevOps Agent를 결합한 이중 계층 모니터링 아키텍처를 제안합니다.

AI 모델의 경제성을 평가할 때 토큰당 가격보다 '정답 하나를 얻기 위한 총 비용'이 더 중요한 지표임을 벤치마크를 통해 입증했습니다. Amazon Bedrock의 최신 모델들이 높은 정확도와 토큰 효율성을 바탕으로 기존 저가형 모델보다 실제 운영 비용 면에서 더 경제적일 수 있음을 보여줍니다.

Amazon Bedcore AgentCore는 MCP(Model Context Protocol)를 확장하여 텍스트를 넘어 HTML 위젯을 통한 인터랙티브한 사용자 경험을 제공하는 MCP 앱 구축 플랫폼입니다. 개발자는 이를 통해 단일 엔드포인트로 다양한 AI 호스트에서 동일한 풍부한 UI를 구현할 수 있는 서버리스 환경을 구축할 수 있습니다.

Amazon SageMaker Inference가 프롬프트의 공통된 부분을 식별해 동일 인스턴스로 전달하는 'Prefix-Aware Routing' 기능을 출시했습니다. 이를 통해 분산 환경에서도 KV 캐시 적중률을 높여 LLM 추론의 첫 토큰 생성 시간(TTFT)을 대폭 줄이고 처리량을 개선했습니다.

Amazon SageMaker HyperPod에 모델 가중치와 컨테이너 이미지를 미리 로드하는 캐싱 기능이 도입되었습니다. 이를 통해 대규모 모델 배포 시 발생하는 네트워크 다운로드 병목을 제거하고, 트래픽 급증 시 오토스케일링 응답 속도를 획기적으로 개선합니다.

Amazon Bedrock Knowledge Bases에 TwelveLabs의 Marengo Embed 3.0 모델이 도입되어 비디오와 이미지 등 멀티모달 데이터에 대한 자연어 검색이 가능해졌습니다. 복잡한 전처리 파이프라인 구축 없이 S3에 저장된 영상 및 이미지 자산을 관리형 서비스로 즉시 인덱싱하고 의미 기반으로 검색할 수 있습니다.

Amazon Quick이 macOS와 Windows 데스크업 환경에서 정식 출시되었으며, 이 서비스는 단순한 질의응답을 넘어 이메일, CRM, 캘린더 등 다양한 툴을 통합해 실제 업무를 수행하는 AI 에이전트 기능을 제공합니다. 특히 AWS 인프라를 기반으로 기업의 데이터 보안과 프라이버시를 보장하며, 업무 자동화를 통해 생산성을 극대화하는 데 초점을 맞추고 있습니다.

이 글은 Amazon Quick Automate를 사용하여 Amazon S3에 저장된 복잡한 RFI 워크북을 자동으로 읽고 구조화된 CSV로 변환하는 엔드투엔드 자동화 방법을 설명합니다. 사용자는 코딩 없이 자연어 지시만으로 데이터 추출, 변환, 검증 과정을 설계하고 운영할 수 있습니다.

기존의 고정된 스키마를 가진 NER 모델 대신, 프롬프트 지시사항을 통해 다양한 개인정보 유형을 유연하게 탐지하는 모델 불문(Model-agnostic) PII 탐지기를 제안합니다. Amazon Bedrock이나 자체 인프라 등 어떤 LLM 백엔드와도 연동 가능하며, 재학습 없이 프롬프트 수정만으로 새로운 식별자 유형을 즉시 추가할 수 있습니다.

이 글은 멀티턴 대화에서 발생하는 초기 오류가 이후 모든 단계로 전이되는 '연쇄 오류(Cascading Errors)' 문제를 해결하기 위한 새로운 평가 지표인 AEM을 소개합니다. AEM은 품질을 개별적으로 측정 가능한 하위 지표로 분해하여, 전체 결과가 아닌 오류가 발생한 정확한 시점과 원인을 파기할 수 있게 합니다.

항공 운영 소프트웨어 기업 AvioBook은 항공기 지연으로 발생하는 막대한 비용을 줄이기 위해 Amazon Bedrock AgentCore 기반의 'Connected Analytics'를 개발했습니다. 이 시스템은 복잡한 비행 로그와 채팅 데이터를 멀티 에이전트 기술로 분석하여, 운영자가 자연어로 즉각적인 운영 인사이트를 얻을 수 있도록 돕습니다.

Alibaba Qwen 팀이 2.4조 개의 파라미터를 가진 초거대 모델 Qwen3.8-2.4T-A95B를 오픈 웨이트로 공개했습니다. 이 모델은 Amazon SageMaker HyperPod와 vLLM을 통해 효율적으로 배포할 수 있으며, 하이브리드 어텐션 구조를 통해 긴 컨텍스트 처리에 최적화되어 있습니다.

2026년 8월 AWS는 Amazon Bedrock에 GPT-5.6 모델의 백만 토큰 컨텍스트 윈도우와 웹 검색 기능을 도입하고, 에이전트 개발을 위한 AgentCore 및 Strands SDK를 발표했습니다. 또한 글로벌 추론 최적화와 비용 관리 도구를 강화하여 기업용 AI 에이전트의 운영 효율성과 보안성을 높이는 데 집중했습니다.