LLM-судья нуждается в полном контексте для оценки

LLM-судья нуждается в полном контексте для оценки

Когда LLM-агент выступает судьёй для проверки работы другого агента, ему необходим доступ к тем же источникам данных, что и проверяемому агенту. В примере с генерацией статей судья оценивал только текст статьи, не видя документацию и исходные обращения клиентов, что привело к ложному одобрению некорректного контента. Аналогично в проверке кода: агент утверждал о готовности без реального запуска, что выявило необходимость требовать фактическое выполнение проверок.

Связи

• Interaction-as-a-Judge: оценка через наблюдение за реальным взаимодействием — Предлагает метод реализации полного контекста через запись реальных действий системы для судьи.
• Требование реального выполнения проверок агентом — Переводит вывод о необходимости фактических проверок в конкретное операционное правило для агентов.
• AI не проверяет исходные посылки, даже имея доступ к данным — Дополняет тему: даже наличие контекста не гарантирует его использование без явного требования.
• Error Recovery как критический компонент AI-агентов — Связывает отсутствие контекста у судьи с системным риском потери связи агента с реальностью.

---

Источник: Telegram, 2026-10-20