Калибровка судьи по экспертным оценкам выявляет слепые зоны

Калибровка судьи по экспертным оценкам выявляет слепые зоны

LLM-судья может иметь высокую общую точность, но проваливаться на специфических типах задач — например, хорошо оценивать статьи с явными ответами в документации, но ошибаться там, где информации нет. Anthropic рекомендует калибровать судей по оценкам экспертов и детально разбирать случаи, где судья отклоняет корректные решения или пропускает ошибки. После аудита «лучшая» модель или архитектура по вердиктам судьи может оказаться не лучшей.

Связи

• Четырёхэтапный аудит LLM-судьи — Подробный алгоритм проведения аудита и сопоставления человеческих оценок с автоматическими.
• LLM-судья нуждается в полном контексте для оценки — Выявляет конкретную техническую причину ошибок судьи — отсутствие доступа к полному контексту.
• Согласие моделей не отменяет confirmation bias — Объясняет, почему высокая согласованность моделей без внешней калибровки может быть иллюзорной.
• Успехи AI объясняются наличием в тренировочных данных — Описывает фундаментальную причину слепых зон — разрыв между тренировочными данными и реальными задачами.

---

Источник: Telegram, 2026-10-20