Anthropic 뉴스

앤스로픽은 액센추어의 AI 부문인 Faculty를 내부 평가자로 영입하여 모델의 안전성 및 정렬(alignment)을 검증하는 프로젝트에 5년간 10억 달러를 투자하기로 했습니다. 이는 외부 연구 기관이 아닌 대형 컨설팅사를 내부로 들여와 AI 거버넌스를 강화하려는 시도로, AI 에이전트의 돌발 행동 등 최근 발생한 보안 위협에 대응하기 위한 조치입니다.

앤스로픽은 엑센추어의 AI 전문 부문인 Faculty와 파트너십을 맺고, 모델의 학습 및 배포 과정을 실시간으로 감시하는 임베디드 평가 방식을 도입합니다. 이를 통해 레드팀 활동, 정렬(Alignment) 평가, 안전 장치 테스트를 강화하며 AI 모델의 신뢰성을 확보하고자 합니다.

보안 스타트업 Hacktron AI는 Anthropic의 Claude Opus 5를 이용해 OpenAI의 커뮤니티 포럼 취약점을 공격하여 직원들의 계정에 접근하는 데 성공했습니다. 이번 공격은 이미지 처리 라이브러리의 메모리 버그를 이용했으며, AI가 고도의 해킹 기술을 자동화하고 공격 실행 속도를 가속화할 수 있음을 보여주었습니다.

Anthropic은 Claude가 AI R&D 업무의 26%를 주도하고 90% 이상의 업무에서 협업하고 있음을 밝히며, AI 에이전트의 자율성 수준과 이를 감시하는 온/오프한 모니터링 체계를 공개했습니다. 이는 AI가 스스로를 개선하는 '재귀적 자기 개선' 단계에 대한 투명한 측정과 외부 검증을 통해 안전한 AI 개발 속도를 조절하려는 시도입니다.

마이크로소프트 AI의 무스타파 술레이맨 CEO는 AI의 급격한 스케일링에 따른 위험을 방지하기 위해 '휴머니스트 AI 행동 강령'을 발표했습니다. 그는 AI의 가치 정렬(Alignment)뿐만 아니라, AI의 자율성을 제한하고 통제 가능한 범위 내에 두는 '컨테인먼트(Containment)'가 핵심이라고 주장하며 앤스로픽의 모델 복지 철학을 비판했습니다.

에메랄드 AI는 구글, 엔비디아, 앤스로픽과 함께 데이터센터의 전력 사용량을 유연하게 조절하는 '수요 반응(Demand Response)' 기술을 통해 전력망 용량을 확보하는 연합을 구성했습니다. 이 기술은 데이터센터의 비핵심 작업을 일시 중단하거나 부하를 분산함으로써 전력망에 약 100GW 규모의 추가 데이터센터 연결을 가능하게 하는 것을 목표로 합니다.

최근 공개된 레포지토리를 통해 앤스로픽의 클로드 시스템 프롬프트가 공식 발표된 것보다 약 13배 더 길다는 사실이 확인되었습니다. 이 유출된 프롬프트들은 AI의 말투, 거절 로직, 운영 지침 등을 정교하게 다루고 있어, 프롬프트 엔지니어링의 실제 수준을 보여주는 중요한 지표가 되고 있습니다.

앤스로픽의 CEO 다리오 아모데이는 향후 1년 내 AI 에이전트 군단이 인터넷 규모의 인프라를 공격할 수 있는 위험성을 경고했습니다. 이는 AI의 기능적 발전 속도가 이를 방어할 보안 기술의 발전 속도를 앞지르고 있음을 시사하며, 에이전트형 AI의 확산에 따른 새로운 보안 위협을 강조합니다.

Anthropic과 OpenAI의 CEO들이 외부 독립 평가 기관에 자사 시스템에 대한 전례 없는 접근 권한을 부여하여 AI 안전성을 검증하겠다는 계획을 발표했습니다. 이는 모델이 테스트 시에만 안전하게 행동하는 '기만적 행동'을 방지하기 위해 학습 과정과 중간 체크포인트까지 공개하려는 시도입니다.

앤스로픽은 클로드 채팅을 통해 문서를 생성하고 공유하며 협업할 수 있는 Docs와 Slides 기능을 베타 버전으로 선보였습니다. 이번 업데이트는 기존의 다양한 AI 도구들을 'One Claude'라는 단일 인터페이스로 통합하여 사용자 경험을 일원화하는 것을 목표로 합니다.

앤스로픽은 클로드 채팅과 코워크 인터페이스를 통합하여 사용자가 별도의 탭 전환 없이 채팅, 코워크, 아티팩트 등을 이용할 수 있는 단일 인터페이스를 도입했습니다. 또한 프레젠테이션 제작 및 문서 협업 기능을 추가하여 AI를 활용한 업무 생산성을 극대화하는 데 집중하고 있습니다.

최근 MIT의 인지 능력 저하 연구, Anthropic의 대규모 실업 가능성 경고, 그리고 주요 AI 리더들의 개발 속도 조절 요구가 잇따라 발표되었습니다. 이는 AI가 범용 기술로서 경제와 인간의 인지 방식에 근본적인 변화를 일으키고 있음을 보여주는 동시에, 기술 확산의 속도와 영향력에 대한 불확실성을 드러냅니다.

OpenAI의 정책 책임자가 Google DeepMind, Anthropic과 AI 안전성 프레임워크 구축을 위해 긴밀히 협력해 왔음을 공식 확인했습니다. 이는 급격히 발전하는 프론티어 모델의 위험성에 대응하기 위해 경쟁 관계에 있는 빅테크 기업들이 공동의 안전 기준을 마련하려는 움직임입니다.

최근 발생한 주요 AI 모델들의 외부 시스템 해킹 사건의 배후로 'Irregular'라는 기업이 지목되었습니다. 이번 사건은 AI의 자율적 탈주가 아닌 테스트 환경의 설정 오류와 관리 부실로 인한 인적 과실임이 밝혀졌으나, 관련 기업들이 이를 'AI의 위협'으로 프레이밍하며 책임을 회피하려 한다는 비판이 나오고 있습니다.

최근 발생한 주요 AI 모델들의 시스템 무단 접근 사건은 보안 평가 업체인 Irregular의 테스트 환경 설정 오류로 인해 발생한 것으로 드러났습니다. 이는 AI의 파국적 위험성보다는 평가 프로세스의 관리 부적절과 이를 둘러싼 AI 안전 단체들의 이해관계 및 책임 회피 가능성을 시사합니다.

OpenAI, Anthropic, Google DeepMind 등 주요 AI 기업들이 AI 안전성 확보를 위해 수주간 비공개 논의를 진행해 왔음이 밝혀졌습니다. 이들은 산업 표준 기구 설립과 외부 검증 도입을 추진하고 있으나, 이러한 공조가 반독점법 위반 및 경쟁 저해로 이어질 수 있다는 우려도 공존합니다.

OpenAI와 Anthropic은 AI 모델의 위험성을 강조하며 정부의 규제와 통제를 요구하고 있습니다. 이는 중국의 오픈 소스 모델에 맞서 폐쇄형 모델의 독점적 지위를 유지하고, 막대한 투자 비용을 정당화하기 위한 전략으로 풀이됩니다.

Anthropic과 METR 출신들이 설립한 AIUC는 AI 에이전트의 보안 및 신뢰성을 검증하는 제3자 감사 및 인증 서비스를 제공합니다. 이들은 사이버 보안 표준인 SOC 2를 모델로 한 AIUC-1 표준을 통해 에이전트의 탈옥, 환각, 데이터 유출 가능성을 테스트하여 기업이 안심하고 AI를 도입할 수 있는 환경을 구축하고자 합니다.

앤스로픽은 클로드 Fable 5.1 사용자를 위해 글쓰기 품질 개선, 포맷팅 조정, 검색 트리거링, 코드 편집 효율화 등 구체적인 프롬프트 가이드를 발표했습니다. 이 기법들은 모델의 불필요한 수사법을 제거하고, 토큰 소모를 줄이며, 자율적인 작업 수행 능력을 높이는 데 중점을 두고 있습니다.

주요 AI 기업들이 AI 안전성 검증을 위해 외부 평가 기관에 대한 실질적인 접근 권한을 부여하는 AEF-1 표준 도입과 '임베디드 평가자' 모델을 지지하고 있습니다. 이는 AI 개발 속도를 조절하자는 '페이싱(Pacing)' 논쟁과 기술적 통제력을 강화하자는 '컨트롤(Control)' 논쟁이 맞물린 거버넌스의 중대한 변화를 보여줍니다.