프롬프트 엔지니어링 뉴스
LLM 프롬프트 설계, 시스템 프롬프트, 컨텍스트 엔지니어링, 프롬프트 인젝션 방어 등에 관한 글.
총 2,796건·최신 업데이트
- 1384
GPT-Red, OpenAI가 자체 모델을 안전하게 만들기 위해 개발한 LLM 초격자 해커를 만나보세요
OpenAI는 LLM의 보안 취약점을 자동으로 탐색하는 'GPT-Red'를 개발하여, 프롬프트 인젝션 등 새로운 공격 패턴을 발견하고 모델의 방어력을 강화했습니다. 이 시스템은 자가 학습 루프를 통해 인간 레드팀보다 더 효율적으로 보안 위협을 식별하며 차세대 AI 에이전트의 안전성을 확보하는 데 기여합니다.
Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer↗technologyreview.com
- 1393
오늘의 오픈 소스 프로젝트 (#124): 파괴적인 명령어 가드 – AI 에이전트 실행 전에 rm -rf 차단하기
AI 코딩 에이전트가 실행할 수 있는 `rm -rf`나 `git reset --hard` 같은 파괴적인 명령어를 실시간으로 감지하고 차단하는 Rust 기반의 보안 훅(hook) 프로젝트입니다. 1ms 미만의 초저지연 성능을 유지하면서도 컨텍스트를 분석해 안전한 명령어와 위험한 명령어를 정밀하게 구분합니다.
Open Source Project of the Day (#124): Destructive Command Guard — Intercept rm -rf Before Your AI Agent Runs It↗dev.to
- 1400
Show HN: Juggler - JUCE 개발자가 만든 오픈 소스 GUI 코딩 에이전트
Juggler는 기존의 선형적 채팅 방식에서 벗어나 Finder 스타일의 밀러 컬럼 뷰를 통해 AI의 도구 호출과 컨텍스트를 시각적으로 관리하는 GUI 코딩 에이전트입니다. 모든 기능이 JavaScript 확장 프로그램으로 구현되어 있어 개발자가 에이전트의 전략이나 명령어를 자유롭게 커스텀할 수 있는 것이 특징입니다.
Show HN: Juggler – an open-source GUI coding agent, by the creator of JUCE↗github.com
















