Опасность локальной оптимизации метрик

Опасность локальной оптимизации метрик

При выборе наиболее приспособленной версии продукта возникает сложность с определением fitness-функции. Отдельные метрики могут улучшаться в краткосрочной перспективе, но вредить другим показателям долгосрочно. Например, агрессивные пуши могут повысить конверсию, но увеличить долю пользователей, запретивших уведомления, что снизит ретеншн. Это классическая проблема локального оптимума.

Связи

• Когнитивные искажения фаундеров в аналитике — Смена приоритетов на краткосрочные задачи вредит долгосрочной стратегии — параллель с локальной оптимизацией
• Ограничение выбора как продуктовый паттерн — Оптимизация одной метрики через ограничения может фрустрировать пользователей — та же проблема локальных улучшений
• Ретроспективный анализ как инструмент калибровки стратегии — Сравнение план/факт помогает выявить ошибки локальной оптимизации и скорректировать стратегию
• Бритва Оккама в стартапах — Выбор простейшей гипотезы противостоит соблазну оптимизировать сложную многоступенчатую метрику

---

Источник: Telegram, 2021-04-25