AI для продакт-менеджеров: Неявное знание и будущее knowledge workers

# Подкаст: AI для продакт-менеджеров

Меня зовут Байрам, я занимаюсь предпринимательством лет 15 уже. Делал много разных проектов. Наверное, самый успешный пока это App in the Air — приложение для часто летающих пассажиров. Сейчас занимаюсь проектом ONSA.AI — автоматизация B2B продаж.

Начал увлекаться AI где-то в 15-16 году. Тогда не было LLM-ок, был Machine Learning. Тем не менее, тогда уже я показывал кейс DeepMind, когда Google купил DeepMind, и их знаменитый кейс игры в Arkanoid с помощью reinforcement learning.

Два больших прорыва. Первый — Machine Learning проекты всегда это было про "давайте наберем кучу данных, отлейблим их, натренируем, и тогда модель будет делать одну вещь очень хорошо."

Что случилось с ЛЛМ-ками — из-за того, что их натренировали на всем интернете, теперь не нужно приносить очень много данных, чтобы решать задачки совсем разного характера. С одной стороны, ты можешь понимать сентимент отзыва в App Store. С другой стороны, вытащить из текста параметры перелета в структурированном виде.

То, чем в App Engine нам пришлось заниматься глубоким ML, это попило крови у многих из нас. Сейчас, когда я за один запрос могу это сделать, заплатив доли центов — это удивляет и радует.

Из-за того, что эти ЛЛМки имеют в себе весь интернет, да еще постоянно докручиваются под распространенные задачи knowledge workers, они начинают достаточно хорошо выполнять задачи, которые делает любой knowledge worker — предприниматели и продакт-менеджеры included.

Забавно, что достаточно просто начать пытаться решать задачку, как удивляешься насколько хорошо LLM может это сделать. Значит, можно убрать затраты времени на понимание или генерацию текста. Сейчас уже и картинки с видео.

Рутинная, регулярная работа продукта — это примерно три большие вещи:

1. Анализ качественной и количественной информации — продуктовая аналитика, отзывы, саппорт
2. Формулирование требований к продукту, сравнение с конкурентами, документирование
3. Взаимодействие с командой разработки, дизайна, коммуникация требований

Однозначно аналитика — продуктовая аналитика. Продукты зачастую не знают, где что лежит с точки зрения данных, как работает фича в коде. Приходится много глазками прочитывать отзывы и саппорт.

LLM может сделать лучше: быстрее создать summary того, что происходит, с конкретными кейсами под каждую категорию. Разбить на три основные проблемы за последнюю неделю, привести для каждой по три кейса. При этом тысяча проанализирована.

В pre-LLM эпохи продакту нужно было знать машинлернинг, делать текстовую кластеризацию. Огромное количество человеко-часов, цикл итерации недельный или месячный.

С LLM-кой подгрузил контекст, задаешь вопрос, ловишь на ошибке, даешь инструкцию. Главное — очень быстрая обратная связь, не нужно других людей.

Разработчики не любят, когда их дергают продукты с вопросами. Более того, разработчики могут ответить неправильно — по памяти, а не из кода.

Как Маск говорит (цитирует Карпаты): "вся правда в коде." Если есть возможность в код заглянуть — отлично. Не только затраты на коммуникацию снижаются, но и точность информации, и взаимоотношения — не мучаешь ненужными вопросами.

Прототипы — лучший способ коммуникации информации. Лучше, чем длинные документы или wireframes.

Как я на хакатоны готовлюсь: проговариваю идею, обстукиваю об LLM, потом прошу сделать видео интерфейса. В динамике лучше представляешь, приходят новые идеи.

Создание прототипов помогает самому лучше понять, что хочешь разработать, и скоммуницировать это команде.

Сейчас революция когнитивная. С помощью парового двигателя решили вопрос физической силы. Сейчас решаем вопрос когнитивной силы. Есть еще третий — эмоциональный.

Knowledge workers, которые использовали когнитивные функции для работы и зарабатывания денег, находятся под прямым ударом. Так же, как те, кто копали лопатой, а не экскаватором.

Копатели лопат остались, но в специфических энвайрментах — где большой экскаватор заехать не может.

Риск будет больше там, где больше всего денег уходит на людей. Те функции, где на knowledge workers уходит больше всего доля — те и будут первые.

Важна легкость верификации — насколько результат работы легко валидируем. Почему LLM-ки хорошо работают с кодом и математикой? Потому что эти области хорошо верифицируемы.

То, что Хаек называл tacit knowledge — знание внутри тебя, очень персональное. Его не существует глобально, оно только твое, поэтому на рынке возникают дисконнекты.

Пример: у меня широкая стопа, испытываю проблемы с обычной обувью, поэтому могу делать бизнес для людей с широкой стопой. Глобального такого знания пока нет.

Что-то, что возникает из-за твоего уникального тебя и соприкосновения с окружающей средой.

Одна из ресёрчеров Антропика (раньше была в OpenAI) говорит, что надо развивать три компетенции:

1. Interpersonal communication — общение с другими людьми. Вытаскивание латентных потребностей.
2. Вкус — сложно определить, но проявляется в том, в каком направлении копать, искать гипотезы.
3. Hands-on опыт — где важно физическое присутствие, эмоциональное. Тот набор инпутов, который не может получить ЛЛМ.

Вкус развивается через музеи, литературу, арт, путешествия, взаимодействия с непохожими людьми. Мультидисциплинарность и мультибэкграундность — даже знание двух языков сильно меняет, как видишь и формулируешь.

Самая большая проблема — LLM не может постоянно самообучаться. Приходится делать много костылей: CLAUDE.md файл с напоминаниями, скиллы с комбинацией промптов и детерминированных скриптов.

Ключевой пункт — она не запоминает, не учится. Это не столько про память, сколько про обучение в процессе и запоминание правильных путей. Текущая архитектура в этом плоха.

Интерфейс должен быть более "зуммед-аут", чем текстовые чаты с каждым агентом. В чате нельзя быстро схватить контекст, надо листать историю.

Возможно, это что-то ближе к интерфейсам игр-стратегий — где ты как бог над всем, миньоны делают, показывают индикаторы и метрики.

Как авиадиспетчер видит самолеты — точки и кружки, переговаривается не постоянно, а при событиях.

Конечно, пугает. Вопрос — что делать со страхом? Мое мнение — эмбрэйзить его.

У каждого свои причины страха. Когда я боюсь? Когда не знаю и не понимаю. Значит, надо понять.

Архитектура и принципы работы ЛОМ-ки глобально не поменялись с 22-го года. Меняется то, что называется harness — обвязки, костыли, инжиниринг.

Нужно выбрать вертикальную область и уходить глубоко в нее. Использовать свой опыт для конкурентного преимущества. Тогда на любой апдейт будешь смотреть под своим углом, для твоих конкретных задач.