Итеративное улучшение промптов через измерения

Итеративное улучшение промптов через измерения

При работе с промптами важно последовательно двигаться от no-shot к many-shot, измеряя прирост качества на каждом шаге. Без примеров LLM может давать непостоянные результаты: менять критерии анализа, игнорировать важные аспекты или выдавать слишком длинные ответы. Добавление примеров помогает стабилизировать выход и сфокусировать модель на нужных аспектах.

Связи

• Прогрессия промптинга: от no-shot до many-shot — Базовая концепция, которую source note применяет к измерению качества
• Методы снижения подхалимства LLM — Описывает смежную проблему нестабильности и решение через few-shot
• Частота мониторинга определяет размер потерь — Объединяет принцип измерения на каждом шаге для контроля качества
• Страх негативной обратной связи убивает развитие — Подчеркивает важность измерения и критической оценки для улучшения системы

---

Источник: Telegram, 2024-05-15