Mythos превосходит измерительные возможности METR

Mythos превосходит измерительные возможности METR

Новая AI-модель Mythos демонстрирует настолько высокие результаты, что существующий набор задач METR не может адекватно её оценить. Это указывает на необходимость обновления бенчмарков для измерения возможностей продвинутых AI-систем. Когда модель достигает потолка измерительной системы, сама система становится ограничением для понимания реальных возможностей.

Связи

• Метрики как proxy — устаревание и необходимость обновления — Описывает общий принцип устаревания метрик-прокси, когда они перестают отражать реальность.
• Ограничение как ментальная модель прибыли — Рассматривает измерительную систему как ментальную модель, ограничивающую восприятие новых возможностей.
• METR как бенчмарк автономности AI — Дает контекст конкретного бенчмарка METR, возможности которого переросла новая модель.
• Success rate кардинально меняет оценку возможностей AI — Демонстрирует, как интерпретация того же бенчмарка METR меняется при разных параметрах.
• Бенчмарки AI-моделей не всегда надёжны — Подтверждает тезис о ненадежности стандартных тестов при оценке продвинутых AI-систем.

---

Источник: Telegram, 2026-05-09