Закон Гудхарта в AI-бенчмарках
Закон Гудхарта в AI-бенчмарках
Новые бенчмарки, где модели пока проседают, быстро перестают быть показательными из-за закона Гудхарта: показанная метрика становится целью оптимизации. Публикация нового бенчмарка — это маркер вектора, который лаборатории будут атаковать. Через пару циклов разрыв между человеком и моделями сократится, как уже происходило с ARC-AGI v1 и v2.
Источник: Workshop transcript, 2026-04-17
Связанные заметки
Закон Кэмпбелла о сопротивлении метрикам
#systems-thinking#analytics#productivity
Атрибуты инструментов скрыты от модели
#ai#harness#constraints
Парадокс измерения производительности при смене технологий
#productivity#analytics#constraints
Федерализм создаёт пятнистую карту AI-развития
#ai#regulation#systems-thinking
Принцип GIGO применим к работе с языковыми моделями
#ai#systems-thinking#quality-control
Подробный разбор
Time to Insight - подробный гайд с примерами →Хотите глубже изучить ai и автоматизация?
AI Product Engineer
Постройте своего AI коллегу. 5 сессий, старт 2 мая
Узнать о курсеИсследуйте больше связей
Эта заметка — часть сети из 2,400+ взаимосвязанных идей. Откройте для себя неожиданные связи в интерактивном графе знаний.
Открыть граф знаний