Опасность локальной оптимизации метрик

При выборе наиболее приспособленной версии продукта возникает сложность с определением fitness-функции. Отдельные метрики могут улучшаться в краткосрочной перспективе, но вредить другим показателям долгосрочно. Например, агрессивные пуши могут повысить конверсию, но увеличить долю пользователей, запретивших уведомления, что снизит ретеншн. Это классическая проблема локального оптимума.

Связи

• 20240826_0959 Когнитивные искажения фаундеров в аналитике — Смена приоритетов на краткосрочные задачи вредит долгосрочной стратегии — параллель с локальной оптимизацией
• 20210207_1059 Ограничение выбора как продуктовый паттерн — Оптимизация одной метрики через ограничения может фрустрировать пользователей — та же проблема локальных улучшений
• 20250626_1990 Ретроспективный анализ как инструмент калибровки стратегии — Сравнение план/факт помогает выявить ошибки локальной оптимизации и скорректировать стратегию
• 20231219_1888 Бритва Оккама в стартапах — Выбор простейшей гипотезы противостоит соблазну оптимизировать сложную многоступенчатую метрику

---

Источник: Telegram, 2021-04-25