프롬프트 엔지니어링 뉴스
LLM 프롬프트 설계, 시스템 프롬프트, 컨텍스트 엔지니어링, 프롬프트 인젝션 방어 등에 관한 글.
총 2,745건·최신 업데이트
- 903
엔비디아, 치솟는 기업용 AI 비용 해결책은… 라우터?
엔비디아가 프롬프트 요청을 적절한 모델로 자동 배분하여 비용과 성능을 최적화하는 소프트웨어 플랫폼 'NeMo Switchyard'를 공개했습니다. 이 기술은 단순 작업은 저렴한 소형 모델에, 복잡한 작업은 고성능 모델에 할당함으로써 대규모 언어 모델(LLM) 사용 시 발생하는 막대한 추론 비용을 최대 74%까지 절감할 수 있습니다.
Nvidia's latest solution to soaring enterprise AI costs is...a router?↗theregister.com
- 905
NVIDIA GB300 NVL72에서 조정 가능한 추론 기능을 갖춘 2.4T 파라미터 모델 Qwen3.8-2.4T-A95B 서비스
알리바바가 공개한 2규모의 오픈 웨이트 모델 Qwen3.8-2.4T-A95B가 엔비디아 블랙웰 기반 GB300 NVL72에서 압도적인 추론 성능을 구현했습니다. 이 모델은 MoE 구조와 하이브리드 어텐션 기술을 통해 최대 100만 토큰의 긴 컨텍스트를 효율적으로 처리하며, 사용자가 작업에 따라 추론 깊이를 조절할 수 있는 기능을 제공합니다.
Serve Qwen3.8-2.4T-A95B, a 2.4T-Parameter Model, with Configurable Reasoning on NVIDIA GB300 NVL72↗developer.nvidia.com
- 910
Backboard CLI: 터미널 벤치마크 2.1에서 85.4%, 공식 리더보드 제출
Backboard CLI가 최신 터미널 벤치마크인 Terminal-Bench 2.1에서 Anthropic과 OpenAI의 에이전트를 앞지르는 압도적인 성능을 기록했습니다. 이는 특정 모델에 종속되지 않고 작업 분해와 컨텍스트 관리를 최적화한 '하네스(Harness)' 기술의 승리로 평가받으며, Backboard는 해당 CLI를 곧 오픈소스로 공개할 예정입니다.
Backboard CLI: 85.4% on Terminal-Bench 2.1, submitted to the official leaderboard↗dev.to
- 911
저희 작은 팀이 터미널 벤치에서 클로드 코드와 코덱스를 능가했습니다.
캐나다 스타트업 Backboard의 CLI 에이전트가 Terminal-Bench 2.1 리더보드에서 Anthropic과 OpenAI의 공식 에이전트를 상회하는 85.4%의 점수를 기록했습니다. 이들은 모델 자체의 성능보다 에이전트의 계획, 위임, 컨텍스트 관리 능력이 실제 작업 성공률을 결정짓는 핵심 요소임을 강조하며 해당 기술을 오픈소스로 공개할 예정입니다.
Our small team just outscored Claude Code and Codex on Terminal-Bench↗dev.to
- 912
스칸 AI, 직원들의 실제 업무 방식을 관찰하는 것이 엔터프라이즈 AI의 핵심이라고 판단하며 6300만 달러 투자 유치
Skan AI가 Cathay Innovation과 Dell Technologies Capital의 주도로 6300만 달러 규모의 시리즈 C 투자 라운드를 성공적으로 마쳤습니다. 이 회사는 기업 내 소프트웨어 사용 방식을 관찰하여 업무 프로세스를 데이터화하는 '업무 컨텍스트 그래프' 기술을 통해 엔터프라이즈 AI 솔루션을 제공합니다.
Skan AI raises $63 million betting that watching how employees actually work is the missing layer of enterprise AI↗venturebeat.com
- 915
에이전트 컨텍스트 레이어: AI 데이터 거버넌스를 하는 기업은 그렇지 않은 기업보다 두 배 더 많은 잘못된 답변을 감지
101개 기업을 대상으로 한 조사 결과, AI 에이엇 응답 오류의 68%가 비즈니스 맥락의 누락이나 불일치에서 비롯된 것으로 나타났습니다. 특히 의미 체계를 운영하는 기업은 그렇지 않은 기업보다 훨씬 높은 수준으로 잘못된 답변을 감지해내고 있습니다.
Agent context layers: Enterprises governing their AI data are catching twice as many bad answers as the ones who aren't↗venturebeat.com
- 917
GitHub Copilot을 MITM 프록시 뒤에 배치하면서 얻은 것들
저자는 MITM 프록시를 이용해 GitHub Copilot과 같은 Electron 기반 AI 앱의 네트워크 트래픽을 분석하며, AI 기능이 내부적으로 어떻게 작동하는지 역공학했습니다. 특히 Chromium과 Node.js의 네트워크 스택 차이를 활용해 데이터 흐름을 추적하며, AI 서비스에서 '컨텍스트'가 제품의 핵심 요소로 진화하고 있음을 보여줍니다.
What I learned by putting GitHub Copilot behind a MitM proxy↗lighthousenewsletter.com











