Итеративное улучшение промптов через измерения

При работе с промптами важно последовательно двигаться от no-shot к many-shot, измеряя прирост качества на каждом шаге. Без примеров LLM может давать непостоянные результаты: менять критерии анализа, игнорировать важные аспекты или выдавать слишком длинные ответы. Добавление примеров помогает стабилизировать выход и сфокусировать модель на нужных аспектах.

Связи

• 20240515_0701 Прогрессия промптинга: от no-shot до many-shot — Базовая концепция, которую source note применяет к измерению качества
• 20240802_0850 Методы снижения подхалимства LLM — Описывает смежную проблему нестабильности и решение через few-shot
• 20240403_2472 Частота мониторинга определяет размер потерь — Объединяет принцип измерения на каждом шаге для контроля качества
• 20240705_0797 Страх негативной обратной связи убивает развитие — Подчеркивает важность измерения и критической оценки для улучшения системы

---

Источник: Telegram, 2024-05-15