Success rate кардинально меняет оценку возможностей AI

Success rate кардинально меняет оценку возможностей AI

Выбор порога success rate драматически влияет на интерпретацию бенчмарков AI-моделей. В METR бенчмарке Opus 4.6 показывает 12 часов автономной работы программиста при 50% надёжности, но всего 1 час 10 минут при 80% надёжности — разница в 10 раз. Это означает, что модель может решать более сложные задачи, но с меньшей предсказуемостью, или более простые задачи с высокой уверенностью.

Связи

• METR как бенчмарк автономности AI — Дополняет данные о росте автономности важным нюансом о выборе порога надежности.
• Стратегия «семь раз дешёвая модель, один раз дорогая» — Предлагает инженерное решение проблемы низкой надежности через теорию вероятностей и повторы.
• Относительный прирост может обманывать при принятии решений — Общий концептуальный подход к критическому осмыслению статистических показателей и интерпретации процентов.
• METR как прокси: неравномерность прогресса AI по доменам — Рассматривает другие методологические ограничения того же бенчмарка для адекватной оценки прогресса.

---

Источник: Telegram, 2026-04-30