Many-shot как мини fine-tuning на лету

Many-shot как мини fine-tuning на лету

С увеличением размера контекста окна появляется возможность делать many-shot промптинг — фактически мини-тренинг модели прямо в запросе, подавая большое количество примеров включая edge cases. Это открывает возможность для циклов самоулучшения: AI ассистент может понимать, каких примеров не хватает, находить или генерировать их, добавлять в контекст и обучаться в реальном времени.

Связи

• Прогрессия промптинга: от no-shot до many-shot — Описывает прогрессию, кульминацией которой является many-shot как мини-тренинг
• Итеративное улучшение промптов через измерения — Дополняет идею циклов самоулучшения методологией измерения качества на каждом шаге
• Методы снижения подхалимства LLM — Иллюстрирует применение few-shot для решения конкретной проблемы поведения модели

---

Источник: Telegram, 2024-05-15