Овертренировка на бенчмарках как аналог спортивного программирования

Суцкевер проводит аналогию: студент, потративший 10000 часов на спортивное программирование, будет хуже в реальной карьере, чем тот, кто потратил 100 часов. Спортивное программирование не коррелирует с реальными задачами. Аналогично, предтренировка и чрезмерная опора на эвалы и бенчмарки делают модели «студентами первого типа» — отлично решающими тестовые задачи, но недостаточно подготовленными к реальной жизни.

Связи

• 20190405_0440 Кросс-страновой перенос эффективных ключевых слов — перенос успеха с тестовых рынков может не работать в реальности
• 20190415_0433 Анализ поведенческих траекторий для выявления успешных паттернов — фокус на бенчмарках вместо реальных паттернов использования модели
• 20190221_0300 Структура принятия продуктовых решений через три уровня — определение критериев успеха до эксперимента против оптимизации под метрики
• 20190528_0496 Модульность как конкурентное преимущество — монолитная оптимизация под бенчмарки против адаптивного подхода

---

Источник: Telegram, 2025-11-25