Трёхслойная проверка качества: детерминизм, LLM, люди

Трёхслойная проверка качества: детерминизм, LLM, люди

Проверка качества работы агентов строится как сэндвич: детерминированные проверки внизу (синтаксис, форматы), LLM-as-judge в середине (семантика, соответствие контексту), люди сверху (финальная оценка ценности). Важно прогонять агентов без контекста на типичные задачи команды ДО того, как их дать людям — это экономит время и фильтрует явно неудачные решения.

Связи

• Eval-проверка ценности Team OS через агентов — Предлагает конкретный сценарий для реализации оценки ценности (верхнего слоя) через сравнительное тестирование.
• Снижение нагрузки контроля через архитектуру проверок — Обосновывает архитектурный подход к снижению человеческой нагрузки через многоуровневые автоматизированные фильтры.
• Тестирование AI-агентов через комбинацию экспертов и LLM — Раскрывает гибридный метод тестирования как необходимый баланс между масштабируемостью и экспертной оценкой.
• Evaluation-driven разработка для LLM-продуктов — Позиционирует многослойную оценку как часть общего процесса разработки, управляемого метриками и тестами.
• LLM без травм и эмоциональной памяти — Объясняет отсутствие ценностного слоя у AI, что делает участие человека в проверке незаменимым.

---

Источник: Workshop transcript, 2026-06-12