Interaction-as-a-Judge: оценка через наблюдение за реальным взаимодействием

Interaction-as-a-Judge: оценка через наблюдение за реальным взаимодействием

Подход Interaction-as-a-Judge предполагает предоставление судье не только кода приложения, но и записи реального взаимодействия с ним. Это позволяет оценивать выполнение требований на основе фактического поведения системы, а не только анализа кода или текстовых описаний. Метод особенно эффективен, когда LLM может имитировать выполнение (как в примере с терминалом Linux), но за этим нет реального действия.

Связи

• LLM-судья нуждается в полном контексте для оценки — Обосновывает критическую важность полноты контекста для объективной работы LLM-судьи
• Наблюдение за пользователями как исследовательский метод — Перенос методологии «наблюдения через плечо» из UX-исследований на аудит поведения AI
• Трёхслойная проверка качества: детерминизм, LLM, люди — Размещает метод Interaction-as-a-Judge в структуре многослойной проверки качества нейросетевых агентов
• Evaluation-driven разработка для LLM-продуктов — Рассматривает LLM-as-a-Judge как ключевой инструмент в парадигме разработки, управляемой оценками

---

Источник: Telegram, 2026-10-20