프롬프트 엔지니어링 뉴스
LLM 프롬프트 설계, 시스템 프롬프트, 컨텍스트 엔지니어링, 프롬프트 인젝션 방어 등에 관한 글.
총 2,073건·최신 업데이트
- 564
Show HN: VectorArtGen - 텍스트 프롬프트에서 편집 가능한 SVG 벡터 아트를 생성하세요
VectorArtGen은 사용자가 입력한 텍스트 프롬프트를 기반으로 편집 가능한 SVG 형식의 벡터 그래픽을 생성하는 AI 도구입니다. 주제, 스타일, 색상 등을 상세히 묘사하여 로고, 일러스트레이션, 아이콘 세트 등 다양한 디자인 자산을 손쉽게 제작할 수 있습니다.
Show HN: VectorArtGen – Generate editable SVG vector art from text prompts↗vectorartgen.com
- 566
모바일 LLM 추론을 위한 프리필 청킹 및 프롬프트 배치: Android에서 첫 번째 토큰 지연 숨기기
모바일 기기 내 LLM 실행 시 긴 프롬프트 처리가 전체 추론 성능과 UI 반응성을 저해하는 문제를 해결하기 위해, 프롬프트를 작은 단위로 나누어 처리하는 청킹 프리필 방식을 제안합니다. 이를 통해 스냅드래곤 8 Gen 3에서 약 10%의 처리량 손실을 감수하면서도 첫 토큰 지연 시간을 265ms까지 낮추는 구체적인 최적화 기법을 다룹니다.
Prefill Chunking and Prompt Batching for Mobile LLM Inference: Hiding First-Token Latency on Android↗dev.to
- 570
모델별로 초안 프롬프트를 수정하는 사전 연구 자료 아시는 분 계신가요?
한 개발자가 사용자의 거친 초안 프롬프트를 Claude, GPT, Gemini 등 각 LLM의 특성에 맞춰 최적화된 형태로 재작성해주는 자동화 도구 아이디어를 제안하며 관련 선행 연구를 찾고 있습니다. 이는 단순히 문장을 다듬는 것을 넘어 모델별 고유한 강점과 약점을 활용하는 '모델 맞춤형 프롬프트 적응' 기술에 초점을 맞추고 있습니다.
Anyone know prior research on rewriting a rough prompt per model?↗dev.to
- 575
Show HN: TokenPath - LLM 출력의 토큰 단위 인용, 어텐션으로부터 읽기
TokenPath는 LLM의 출력값과 원문 사이의 어텐션(Attention) 메커니즘을 분석하여, 답변 내 특정 토큰이 문서의 어느 부분에서 기인했는지 정확하게 찾아주는 기술입니다. 기존의 RAG나 프롬프트 기반 인용 방식보다 훨씬 정밀하며, 비용은 7배 저렴하고 속도는 5~6배 빠르다는 강점이 있습니다.
Show HN: TokenPath – token-level citations for LLM output, read from attention↗tokenpath.ai
- 578
Spring AI + Langfuse: ObservationFilter를 활용한 스트리밍 추적
기존 Spring AI의 CallAdvisor 방식은 스트리밍 응답 추적에 한계가 있으며, 실행 흐름을 방해할 수 있는 StreamAdvisor 대신 ObservationFilter를 활용한 새로운 접근법을 제안합니다. 이 방법은 모델 호출 로직을 건드리지 않고도 프롬프트와 응답 데이터를 Langfuse와 같은 관측 도구에 효율적으로 전달하여 정교한 트레이싱을 가능하게 합니다.
Spring AI + Langfuse: Tracing Streaming with ObservationFilter↗dev.to
- 580
더 많은 GPU를 추가하는 것을 멈춰라: Weka의 새로운 스토리지 플랫폼, AI 모델의 사전 계산된 토큰을 100% 캐싱하여 로드 감소
Weka는 GPU 메모리 부족 문제를 해결하기 위해 사전 계산된 토큰을 저렴한 플래시 스토리지에 캐싱하는 새로운 플랫폼을 선보였습니다. 이는 긴 컨텍스트 창과 반복적인 연산을 처리할 때 발생하는 GPU 자원 낭비를 줄여 비용 효율적인 AI 운영을 가능하게 합니다.
Stop adding more GPUs: Weka's new storage platform reduces load by caching 100% of an AI model's pre-calculated tokens↗venturebeat.com












