Build-eval — интерактивное создание тестовых наборов

Build-eval — интерактивное создание тестовых наборов

Anthropic добавила инструмент build-eval, который проводит интервью с разработчиком для создания eval-набора. Система проверяет качество самого теста: однозначность кейсов, стабильность оценщика (не меняет ли он вердикт на одинаковых ответах), достаточность точности для обнаружения улучшений. Это решает проблему создания надежных тестовых наборов для AI-систем.

Связи

• EvalCoach — промпт для проектирования тестирования AI-продуктов — Оба инструмента используют AI для автоматизации процесса проектирования качественных систем тестирования.
• AI-интервьюер для масштабирования обратной связи — Использование формата интерактивного AI-интервью для извлечения качественных данных из человека.
• AI-агенты как инструмент захвата вдохновения в моменте — Метод интервью как способ упрощения ввода сложной информации и борьбы с «чистым листом».
• Градуальное развертывание AI-улучшений через A/B тесты — Логическое дополнение: применение созданных тестовых наборов для безопасного внедрения изменений.

---

Источник: Telegram, 2026-09-29