프롬프트 엔지니어링 뉴스

기존 생성형 AI가 프롬프트에 반응하는 수동적 도구였다면, 에이전트 AI는 스스로 목표를 설정하고 도구를 사용해 업무를 완수하는 자율적 동료 역할을 수행합니다. 가트너와 시장 조사 기관들은 에이전트 AI 기술이 기업용 소프트웨어의 표준이 될 것이며, 마이크로소프트, 구글, 세일즈포스 등 주요 빅테크 기업들이 이 시장을 주도할 것으로 예측하고 있습니다.

Broadcom이 Spring 프레임워크 및 관련 프로젝트에서 91개의 새로운 CVE를 공개했으며, 이는 약 20만 9천 개의 컴포넌트에 영향을 미칩니다. 특히 Spring for GraphQL의 원격 코드 실행(RCE) 위험과 Spring AI의 프롬프트 인젝션 취약점이 주목받고 있으며, 전이 의존성을 통한 보안 위협이 핵심 문제입니다.

실제 코딩 에이전트의 대규모 워크로드를 분석한 결과, 전체 비용의 대부분이 고가 모델인 Claude Opus 사용과 누적되는 컨텍스트 재사용(cache-read)에서 발생함을 확인했습니다. 적절한 LLM 라우팅 기술을 도입하면 모델의 품질을 유지하면서도 API 비용을 약 절반 수준으로 줄일 수 있습니다.

스킬드AI는 영상 한 번의 시연만으로 로봇이 새로운 작업을 즉각 학습할 수 있는 'S1' 모델을 공개하며, 기존의 막대한 데이터 수집과 재훈련 과정을 생략하는 기술을 제시했습니다. 이는 언어모델의 GPT-3가 보여준 인컨텍스트 러닝 방식을 로봇 공학에 적용한 것으로, 로봇의 범용성과 현장 대응력을 획기적으로 높이는 혁신적인 접근입니다.

DEF CON 34에서 공개된 'GhostJacking'은 차단된 보안 로그 내의 프롬프트 인젝션 페이로드를 AI 에이전트가 읽을 때 발생하는 보안 위협을 다룹니다. 공격자는 로그에 유해한 명령을 심어 AI 에이전트가 DNS 설정을 재작성하도록 유도할 수 있으며, 이는 AI 에이전트의 권한 관리 중요성을 시사합니다.

AI 코딩(Vibe Coding)이 개발 속도를 높여주지만, '한 번의 프롬프트만 더'라는 유혹 때문에 개발자가 늦은 밤까지 작업을 멈추지 못하게 만든다는 내용을 담고 있습니다. 저자는 이를 해결하기 위해 물리적 단절을 유도하는 'SleepLock' 앱을 직접 개발했습니다.

AI 리뷰 프로세스를 재현 가능한 테스트 아티팩트로 관리하여, 모델 변경이나 설정 드리프트로 인한 리뷰 품질 저하를 방지해야 합니다. 이를 위해 리뷰 시 사용된 프롬프트, 모델, 설정값을 아카이빙하고 주기적으로 재실행하여 검증하는 '리플레이 하네스' 도입을 제안합니다.

GitHub Copilot의 코드 리뷰는 병합을 막을 수 없는 단순 코멘트 기능에 불과하며, 이를 '품질 게이트'로 오해해서는 안 됩니다. 기사는 CodeRabbit과 같이 병합 차단 권한을 가진 도구와 Cody처럼 컨텍스트 탐색에 특화된 도구의 차이를 명확히 구분하며, 올바른 자동화 워크플로우 설계 방향을 제시합니다.

macOS에서 Terminal과 LaunchAgent가 동일한 UID와 홈 디렉토리를 사용하더라도 Documents와 같은 보호된 폴더에 대한 접근 권한이 다를 수 있음을 설명합니다. 이는 프로세스의 실행 컨텍스트에 따른 macOS의 프라이버시 정책 때문이며, 또한 파이프라인 내의 오류가 은폐될 수 있는 쉘 스크립트의 위험성도 함께 다룹니다.

Anthropic과 Google이 사용하는 통계적 방식의 AI 워터마크는 텍스트 생성 시의 확률적 편향을 이용합니다. 이 기사는 LLM에게 무작위 단어를 삽입하게 한 뒤 이를 다시 제거하도록 유도함으로써, 워터마크의 근간이 되는 토큰 생성의 확률적 연결 고리를 끊어내는 기술적 우회 방법을 제안합니다.

AI 에이전트는 도구를 사용해 실제 액션을 수행하므로, 프롬프트 인젝션과 같은 보안 위협이 실질적인 시스템 피해로 이어질 수 있습니다. 따라서 기업은 EU AI Act와 같은 규제와 NIST, ISO 등 다양한 프론트엔드/백엔드 프레임워크에 따라 실행 기록을 남기고 관리할 수 있는 체계적인 거버넌스 구축이 필수적입니다.

LLM 에이전트의 컨텍스트 윈도우 관리를 위한 자동 압축 기능이 로컬 추정치의 오차로 인해 작동하지 않아 비용 상승과 성능 저하를 초래한 사례를 분석합니다. 개발자는 실제 API 응답의 토큰 수를 기준으로 새로운 메시지의 차이만 추정하는 앵커링 기법과, 데이터 불일치 시 즉각 경고를 발생시키는 방식을 통해 시스템 안정성을 확보했습니다.

이 프로젝트는 텍스트 프롬프트를 통해 p5.js 코드를 생성하여 이미지를 그리는 AI 모델을 개발했습니다. 기존의 복잡한 다중 보상 체계가 모델의 성능 정체를 유발한다는 문제를 발견하고, 이를 참조 이미지와의 쌍체 비교(Pairwise) 방식으로 전환함으로써 더 효율적이고 정교한 이미지 생성 능력을 확보했습니다.

에이전트가 같은 실수를 반복하는 이유는 컨텍스트 윈도우를 영구적인 메모리가 아닌 휘<0xA5>발성 캐시로만 사용하기 때문입니다. 이를 해결하기 위해 과거의 시도, 이유, 결과를 기록하는 'Append-only Decision Ledger'를 구축하여 에이전트에게 지속 가능한 추론 기록을 제공해야 합니다.

이 기사는 외부 소스(웹, 이메일 등)를 통해 모델에 악의적인 명령을 전달하는 간접 프롬프트 주입의 메커니즘과 위험성을 다룹니다. 특히 데이터와 명령어를 구분할 수 없는 LLM의 구조적 결함 때문에 완벽한 방어보다는 공격 발생 시의 추적 가능성과 권한 제어에 집중해야 한다고 강조합니다.

프롬프트 인젝션은 LLM 애플리케이션 보안 위협 중 가장 높은 우선순위를 차지하고 있지만, 실제 CVE 기록에서는 12위에 그치고 있습니다. 이러한 격차는 공격 자체가 스캔 도구로 감지하기 어려운 특성을 지녔기 때문에 발생하는 가시성 문제이며, 보안 담당자는 수치에 근거한 과소평가를 경계해야 합니다.

Prime Agent는 재귀적 언어 모델(RLM)을 활용해 컨텍스트와 서브에이전트를 함수처럼 다루며, 지속적인 상태 유지를 위한 Continual Harness를 통해 장기적인 자율 작업을 지원합니다. 특히 스킬을 Python 패키지 형태로 관리하고 에이전트 간 직접 통신이 가능해 복잡한 코딩 및 리서치 업무를 자동화하는 데 특화되어 있습니다.

마이크로소프트의 Windows용 Paint와 Photos 앱이 생성하는 AI 이미지에 서버에서 발급한 고유 식별자(GUID)가 보이지 않는 워터마크로 삽입되어 있음이 밝혀졌습니다. 이 식별자는 사용자의 프롬프트와 연결될 수 있어, AI 투명성 확보라는 명분 뒤에 사용자 활동을 추적할 수 있는 프라이버시 문제가 숨어 있습니다.

방대한 양의 C++ 컴파일 경고를 효율적으로 분류하기 위해 AI를 활용한 사례 연구입니다. 초기에는 모델이 경고 텍스트만 보고 잘못된 수정안을 제시하는 오류를 범했으나, 경고를 그룹화하고 소스 코드의 컨텍스트를 함께 제공함으로써 문제를 해결할 수 있음을 보여줍니다.

구글 ADK에 음성 에이전트 전용 실시간 평가 기능이 도입되어, 오디오 기반의 사용자 시뮬레이터를 통해 에이전트의 대화 흐름과 도구 사용 능력을 검증할 수 있게 되었습니다. 이를 통해 개발자는 모델 업데이트나 프롬프트 수정 시 발생할 수 있는 성능 저하를 자동화된 테스트로 사전에 방지할 수 있습니다.