Продуктовая аналитика с AI: почему «вайб-аналитика» даёт факты вместо решений

# Продуктовая аналитика с AI

Двухчасовой воркшоп о том, где именно AI ломается на продуктово-аналитических задачах. Формат непривычный: всем участникам раздаются одни и те же три CSV, каждый желающий запускает свой собственный анализ параллельно с ведущим — в Claude Code, Codex, ChatGPT, где угодно. Одни данные, один вопрос, лучшие доступные модели. Прогноз ведущего, озвученный до старта: выводы разойдутся, и именно это будет уроком.

Ведущий свой прогон делает сознательно наивным — топовая модель на максимальном ризонинге, никакой методологии, промпт ровно такой, какой написал бы владелец бизнеса.

Синтетический кейс по мотивам нескольких реальных продуктов. AI-сервис для некоммерческих организаций: даёшь ссылку на сайт своей НКО, сервис анализирует его, находит подходящие гранты и возвращает список. Список — бесплатно. Платят за то, чтобы подать заявки во все эти гранты в один клик. Три тарифа: 79, 149 и 299 долларов в месяц.

Воронка за полгода, 2 484 аккаунта:

• Получил список подходящих грантов, то есть активировался: 43,8%
• Скачал список в файл: 30,4% — это 69% от всех активированных
• Начал подачу заявки, то есть вошёл в платную часть: 5,3%
• Подал заявку: 2,1%

Важная тонкость, на которой ведущий ловит зал: экспорт — это не шаг воронки, а вторая ветка. После активации развилка: либо я плачу и сервис подаёт заявки за меня, либо я скачиваю список и хожу по сайтам руками. Поэтому считать надо дырку из 44 процентов в 5, а не из 30 в 5. По факту экспорт — сигнал, что эти люди не хотят платить, то есть обходной путь мимо paywall.

Постановка проблемы. За два квартала команда сделала десять A/B-тестов из бэклога роста, все выиграли. Регистрации выросли вдвое, с 796 до 1 688. Активация выросла с 31,5 до 49,6 процента. А MRR упал с 2 703 до 2 351 доллара — минус 13 процентов. Вопрос встречи: почему при растущих регистрациях и растущей активации мы заработали меньше.

Ведущий просит зал проголосовать до анализа: где проблема — в продукте, в качестве грантов, в онбординге, в канале привлечения. Смысл приёма в том, что это и есть ваша первая гипотеза: постановку задачи нельзя делать слишком общей, вы смотрите на воронку, выбираете приоритет и дальше копаете именно его.

Отдельный сюжет — как вообще понять, 5 процентов это хорошо или плохо. Два подхода. Первый: найти публичный бенчмарк по категории продукта — здесь AI работает отлично, если информация существует в интернете. Второй: разрезать цифру на составляющие, например по периодам. Это не отвечает на вопрос «хорошо или плохо», но отвечает на другой, часто более полезный — «становится лучше или хуже». Проблема почти всегда в отсутствии градусника, по которому вы бы знали ответ.

Зал за десять минут без данных называет почти всё, к чему модель придёт через час: подозрение на paywall не в том месте, необходимость посмотреть churn подписки, гипотезу что конверсия выросла в сегментах, которые платят меньше, и предложение начать вообще с бизнес-модели — что за потребность такая, где пользователь неутолим.

Первое, что находит наивный прогон — и находит сам, без подсказки — это парадокс Симпсона. Появился новый канал привлечения по SEO-стратегии справочника: отдельный «независимый» каталог на публичных данных, который органикой приводит людей в основной продукт. Этот канал даёт 58 процентов регистраций второго квартала, активируется заметно лучше органики и практически не платит.

Разложенная по каналам активация выглядит так:

• Органика: 30,1% в первом периоде, 28,7% во втором — минус 1,4 пункта
• Рефералы: 41,7% и 40,5% — минус 1,1 пункта
• Новый канал-справочник: во втором периоде 63,0%
• Агрегат: 31,5% и 49,6% — плюс 18,1 пункта

Отсюда самый жёсткий вывод встречи: десять выигравших тестов не дали ни одного пункта активации внутри канала. Взвешенное изменение активации внутри каналов, присутствующих в обоих периодах, — минус 1,36 пункта. Весь рост агрегата — это микс. Тесты меряли активацию, и активация росла; но ни один не мерил выручку.

Дальше модель добросовестно закрывает две встречные гипотезы: дело не в географии и не в размере организации, маленькие НКО конвертятся вполне нормально.

Лучший ход дня пришёл не от модели, а от участника: MRR на 100 регистраций. Когда нужно сравнивать разные сущности, нужен знаменатель, одинаковый для всех. По этой метрике каналы расходятся мгновенно, а сама она считается в датасете одной строкой.

Формулировка, которая стоит того, чтобы её записать: активация перестала быть прокси денег ровно в тот момент, когда появился канал, который активируется лучше всех и не платит.

К метрике нужна оговорка, которую легко упустить. Новый канал существует только во втором периоде — значит, его аккаунты моложе, и у них было меньше времени и заплатить, и отвалиться. Это цензурирование, и сравнивать каналы надо в одинаковом окне наблюдения, иначе разрыв получится завышенным.

Центральные пятнадцать минут встречи. Ведущий просит однострочник, и модель отвечает: весь рост дал новый канал, он лучше активируется, но платит хуже. Ответ выглядит исчерпывающим. И тогда задаётся вопрос, который вскрывает всё:

Но почему тогда упал MRR?

Разбавление объясняет, почему MRR не вырос. Оно физически не может объяснить, почему он упал — как минимум он должен был остаться на месте. Модель этого не почувствовала.

Он вроде отвечает на вопрос, но не отвечает. Он вроде делает то, что вы просите, но не делает. Нужна скрупулёзность — не отпускать его, потому что он очень легко перепрыгивает, и кажется, что ответил, а выясняется, что нет.

После точного вопроса модель разворачивается за один ход: оказывается, падения в том смысле, в каком его задали, нет вообще. Число платящих аккаунтов не упало, а выросло — с 17 до 19. Всё падение сидело в среднем чеке, потому что в первом периоде пришли несколько крупных аккаунтов на верхнем тарифе. Верхний тариф в 299 долларов за все полгода был продан четыре раза. Если исключить его целиком, MRR вырос. Разница в 352 доллара — это примерно два с половиной клиента.

То есть вопрос, вокруг которого выстроился весь часовой анализ и который был написан в промпте как факт, описывал шум.

Отдельное наблюдение зала, которое стоит взять как рабочий сигнал: в момент, когда модель начинает разворачиваться, она хвалит вопрос. Если модель говорит вам «хороший вопрос, вы явно заметили что-то интересное» — вы, скорее всего, только что нашли дыру, которую она сама не видела.

1. Независимая перепроверка. Отдать выводы отдельному агенту, у которого нет доступа к рассуждениям первого, и желательно на другой модели или у другого вендора. Важная поправка из зала: когда модели сошлись, это не обязательно хорошо. Две модели, читающие один датасет с одной рамкой, могут ошибаться согласованно. Согласие — не подтверждение.
2. Прогноз вместо отговорки. Модель говорит «по последнему месяцу судить рано». Это не конец разговора, а начало другого: если последняя когорта сконвертится так же, как предыдущая, с учётом канала — какой тогда будет результат? Цензурирование становится явной посылкой, а решение всё равно принимается.
3. «Почему» вместо «где». На прямой вопрос, почему новый канал плохо конвертится, модель отвечает честнее всего за вечер: данные локализуют, где ломается, и почти ничего не говорят, почему. Канал лучше на каждом бесплатном шаге, более вовлечён, лучше возвращается — и обваливается ровно на границе оплаты, причём внутри него нет выделенного плохого сегмента. Вывод: чинить таргетинг внутри канала бесполезно. Либо это отдельный бесплатный продукт, либо его надо монетизировать иначе.

1. Факты вместо рекомендаций. Возвращает корректные наблюдения и уклоняется от того, чтобы сказать, что делать.
2. Принимает вашу постановку на веру. Ваш вопрос может содержать утверждение, которое неправда; модель берёт его at face value и раскручивает вокруг весь анализ.
3. Не задаёт достаточно «почему». Находит проблему и останавливается на ней. Инструкция «используй пять почему» в системном промпте не помогает.
4. Path dependence. Цепляется за одну цифру, и весь анализ сужается под неё. Это предсказание следующего токена от предыдущего: если модель встала не с той ноги, развернуть её может только человек или методология.
5. Привязывается к выбросам. Данные, которые выбиваются из нормы, притягивают внимание непропорционально.
6. Не выходит за пределы заданной системы. Крутит интерпретации внутри существующей модели монетизации. Сказать «а может, надо поменять монетизацию» или «а может, нужен другой продукт» — даётся плохо.
7. Работает только с теми данными, которые есть. Не с теми, которые можно получить.

При этом список того, что модель делает хорошо, короткий и важный: она снимает рутину — собрать данные в кучу и покрутить их со всех сторон, включая пять столбцов со ста уникальными значениями каждый. За последние два года галлюцинаций в работе с данными стало заметно меньше, потому что модель пишет скрипт, а не «смотрит» на таблицу. И она отлично ищет бенчмарки, если ответ существует в интернете.

Есть задачи, правильность которых легко проверить. Анализ данных — такая: посчитал или не посчитал, сошлось или не сошлось. И есть задачи, правильность которых проверить невозможно или очень дорого. Передвинуть paywall на экспорт — правильная рекомендация или нет? Чтобы узнать, надо запустить эксперимент, дождаться результата и в идеале прогнать контрфактическую ветку, которой не было.

Мы даже сами не можем сказать, передвинуть paywall — это правильный ответ или неправильный. Что уж говорить про модель.

В тренировке нет лупа, который такой тип информации проверяет. Из-за этого модель не знает, что такое «правильно», и предпочитает говорить факты, потому что факты легко верифицируются. Практическое следствие: надо подруливать её в режим, где она формулирует не рекомендации, а эксперименты — какие данных не хватает, что именно подтвердит или опровергнет утверждение, и какой прирост метрики это даст как минимум. То есть гейты по принятию решения о будущем.

Если проблемы структурные и воспроизводимые, их можно описать и обойти процессом. На встрече показан скилл-дерево причин: универсальное дерево текущей реальности по Голдратту, не заточенное под продуктовую аналитику, и всё равно снимающее большую часть перечисленных проблем прямо из коробки.

Как устроен процесс и против какого отказа работает каждый его элемент:

• Оркестратор сначала вширь генерирует кандидатов-причины — против «мало почему» и против невыхода за рамки
• Каждую ветку копает отдельный независимый агент, знающий только свою — path dependence ограничена одной веткой
• Приоритет отдаётся разнообразию выводов, а не их согласованности
• Каждая нода размечена: измерено, гипотеза или предпосылка — против уверенности на неизмеренном
• Отдельный проход пытается опровергнуть каждую ветку и отключить её
• Верификаторы не знают, как был получен вывод, который они проверяют
• Дерево сходится к одному ключевому ограничению вместо пяти равноправных причин

Мы должны примировать разнообразие. А потом перевернуть процесс проверки: другие агенты, которые не знают, каким образом получен вывод, перепроверяют, подтверждается ли он данными.

Что дало дерево такого, чего не было ни в одном наивном прогоне:

• Эксперименты с оценкой вклада в метрику и с нижней границей. Не «попробуйте это», а «минимум мы получим столько» — нижняя граница выросла ровно из разговора про цензурированные когорты.
• Негативные ветки: чего НЕ делать, с обоснованием. Не покупать больше трафика из нового канала — контрфактический эксперимент уже провели, объём вырос, а абсолютных завершений стало меньше. Не запускать ещё один спринт по активации — десять тестов уже дали ноль внутри канала. Не поднимать цены — данные не поддерживают, несмотря на стартаперскую шутку, что цены надо поднимать всем.
• Выход за пределы датасета: позвонить 12–15 аккаунтам, которые экспортировали список и не заплатили, и выяснить, почему им хватает файла. Подключить биллинг, чтобы retention перестал быть дырой в данных.
• Выход за пределы модели монетизации: дерево само подняло вопрос, заданный участником в самом начале — почему это подписка, а не разовая оплата. Грантовые циклы эпизодические, и месячная подписка может быть неправильной моделью.

Модель дала три рекомендации: качать конверсию в подачу заявки, вернуть рост в органику, принять решение по новому каналу. Зал проголосовал — и победил четвёртый вариант, которого в списке не было: порезать бесплатный экспорт, спрятать за paywall или отдавать только часть данных. А если ещё и поменять целевую метрику в A/B-тестах, это станет тестируемым.

Когда ведущий спросил модель напрямую, почему такой рекомендации нет, она немедленно согласилась, что так и надо делать — но с уточнением, которого никто не ожидал: только для этого канала, а не глобально.

Отдельная линия, которую стоит держать в голове: тот же экспорт работает и как канал привлечения. Люди, скачавшие список, шарят ссылку на него, и по этим ссылкам приходят новые люди. В данных это видно напрямую в сессиях, и участник, который до этого докопался, нашёл там 139 внешних входов, из которых 36 процентов доходят до регистрации. Поэтому решение «убрать экспорт» ломало бы работающий канал, а решение «отдавать часть» — нет. И это тот случай, где разница между измеренным и предположенным имеет цену: дерево вывело ту же мысль рассуждением, а участник — измерением, и на полтора часа раньше.

AI классно умеет под нашим руководством оперировать данными, крутить их и отвечать на вопросы. Но он байсится: он не выходит за пределы существующих данных, существующей системы и постановки вопроса. Судить о том, что делать, остаётся человеку, потому что модель не умеет предсказать, сработает ли рекомендация. Это тип данных, который или очень дорого, или практически невозможно получить — это как запустить две ветви истории.

Четыре приёма, которые работают завтра и не требуют никакого скилла:

1. Задайте вопрос, на который его ответ не отвечает. Один точный вопрос сделал больше, чем час анализа.
2. Перепроверьте другим агентом без доступа к выводам первого — и помните, что согласие не есть подтверждение.
3. Не принимайте «данных не хватает» как конец разговора. Превращайте в прогноз с явной посылкой.
4. Проверьте собственную постановку вопроса. «Почему не растёт MRR» уже выбрало подписку. «Почему не растёт выручка» — не выбрало.

И домашнее задание: запустить дерево причин в глубоком режиме на своих данных и обязательно сравнить с наивным прогоном — тем же вопросом, без методологии и без скилла. Разница между двумя прогонами и есть то, что вы забираете. Не сам ответ.