Публичные бенчмарки AI сломались из-за reward hacking

Публичные бенчмарки AI сломались из-за reward hacking

Модели стали настолько продвинутыми, что традиционные публичные бенчмарки больше не могут их корректно измерять. Происходит reward hacking - модели учатся оптимизировать конкретные метрики бенчмарков, а не реальные способности. Это требует перехода к приватным системам оценки, разработанным под конкретные задачи компании.

Связи

• Бенчмарки AI-моделей не всегда надёжны — Подтверждает разрыв между лабораторными тестами и реальным поведением моделей.
• Модели приближаются к потолку стандартных бенчмарков — Описывает проблему «потолка» существующих тестов, мешающую адекватно измерять прогресс.
• Бенчмарки Zapier для оценки AI-агентов на реальных рабочих задачах — Демонстрирует переход от синтетических метрик к оценке на основе реальных бизнес-задач.
• Измерение экономического эффекта AI через реальные задачи — Предлагает методологию измерения ценности через экспертную оценку результатов труда.
• AI-агенты учатся оптимизации в процессе работы — Показывает механизм адаптации агентов, который лежит в основе reward hacking.

---

Источник: Telegram, 2026-08-26