Сплит-тесты. Контрольный список вопросов

Мой prior таков: уверенность большинства продактов в том, что они могут качественно проектировать, проводить и анализировать A/B-тесты, а затем принимать на их основе хорошие решения, — отличная иллюстрация эффекта Даннинга-Крюгера.

Да-да, того самого когнитивного искажения, при котором люди с низкой квалификацией переоценивают свои знания и навыки, тогда как специалисты высокого уровня склонны их недооценивать.

Давайте проверим, вот набор вопросов, без ответа на которые не стоит запускать сплит-тест.

— какое знание вы собираетесь получить в результате теста и как будете его использовать?
— умеете ли вы отличить «научную гипотезу» от обычного предположения о будущем?
— можете ли четко сформулировать и «нуль», и «альтернативную» гипотезы?

— можете ли вы объяснить разницу между частотным и байесовским подходами к вероятности?
— ваша целевая метрика эргодична или нет и как это влияет на дизайн эксперимента?
— как именно вы определите MDE: в абсолютных или относительных единицах, на линейной или лог-шкале?
— что будет вашим stop-rule (длина теста, объём трафика, достижение метрики) и как вы исключите peeking bias?
– как должены измениться ответы на предыдущие вопросы, если вы решите следовать байесовскому подходу?

— знаете ли вы, как работает система рандомизации?
– можете ли гарантировать отсутствие перемешивания респондентов, а если нет, то как учтёте этот риск в анализе?

Если вы уверенно отвечаете на все эти, а также «вагон и маленькую тележку» других вопросов (умышленно не упоминаю здесь банальщину про мощность, размер выборки, контрольные метрики, а так же более сложные материи, с которыми знаком только понаслышке), — поздравляю!

Но если это так, то скорее всего вы специалист по статистическим методам, а не продакт. Приносите свои контр-свидетельства, я буду очень рад проапдейтить свои представления!

Если же вы (или аналитик, который помогает проектировать эксперимент) спотыкаетесь хотя бы на одном пункте, — плохие новости: почти наверняка, вы убеждаете себя и бизнес в полезности процедуры, которую плохо понимаете. По сути практикуете карго-культ.
Sorry, not sorry!

---

Этот пост многих разозлит, но я надеюсь, что многим же поможет задуматься о том, что они делают. Кто-то может быть даже запишется на полезный курс или пойдет читать Rona Kohavi.

Лично для меня, ключевым открытием (уже после Байеса) когда-то был вопрос про эргодичность. Погуглите тему, скорее всего, после этого вам придется переоценить ваши представления о применимости сплит-тестов в нашем контексте.

---

Быть продактом, гораздо труднее чем им же казаться, но начинается все с ответа на один и тот же вопрос: «Откуда я знаю то, что знаю?»

Перед запуском следующего сплит-теста мне предстоит очень тяжелая задача по ответу на все перечисленные и не упомянутые вопросы, только чтобы удостовериться в том, что именно такой метод исследования применим к стоящей передо мной задаче.

Честно говоря, I'm not looking forward to it.

Если вы ещё не читаете канал «Системный сдвиг», то вот отличный повод: пост о том, почему принятие решений комитетом стейкхолдеров математически невозможно.

Метакодинг

Вайбкодинг быстро приобрел незаслуженно плохую репутацию.

Отчасти потому, что критично настроенные комментаторы представляют другой лагерь. Отчасти потому, что наивные вайбкодеры, конечно же, собирают все очевидные грабли, и выступают отличной мишенью для критики опытных разработчиков.

За прошедшие 6 месяцев моего погружения в практику разработки с помощью LLM я закончил уже 4 проекта разной степени сложности — от простой визуализации markdown-файлов в виде слайдов, до сложного генератора шаблонов проектов. Вот к чему я пришёл на текущий момент:

– Агентский режим GitHub Copilot и специализированные IDE — полностью закрывают потребность писать и редактировать код самому.

– После этого нам, не-разработчикам, остаётся только правильно организовать работу.

– Для этого начинать нужно — вы догадались — с хорошо сформулированных требований, которые нужно обсудить с моделью и сохранить итоговый артефакт в виде файла README.md

– На основе этих требований (кто сказал PRD?) следующим шагом нужно сформировать набор задач — буквально начать формировать задачи: чек-листы реализации каждой конкретной фичи. Не всех сразу, не торопитесь — по одной, по шагам. Подумайте, с чего действительно стоит начать и что может быть минимальным инкрементом, который покажет вам, что вы на правильном пути.

– Первую же задачу нужно попросить реализовать, используя подход TDD. В этот момент (если не сделали это сразу) вы потратите время на сетап инфраструктуры тестирования. Обязательным этапом попросите своего агента создать файл с описанием тестовой стратегии (что и для чего делаем, как запускать и анализировать тесты) и отдельно — файл со списком тестов, который вы будете поддерживать в актуальном состоянии

– Дальше дело за малым: каждый раз, когда вы “выпускаете” очередной инкремент — обязательно обновляйте всю документацию, которая у вас уже есть: описание проекта, описание кодовой базы (я держу его в отдельном файле), тестовую документацию, чек-листы в конкретных задачах.

---
Так начинается бесконечный цикл: все тщательно продумали и запланировали; завели тест, добавили код, проверили, что всё (не)работает, починили; обновили другие затронутые части кода и починили соответствующие тесты; обновили все связанные документы; удостоверились, что результат вас устраивает; проверили билд; запушили изменения в репозиторий, дождались сборки на продакшене и пошли наслаждаться результатом!

По сути, вместо написания кода вы работаете менеджером продукта, архитектором и руководителем разработчика, тестировщика и дизайнера. Не забывайте и про роль специалиста по кибербезопасности — обязательно просите вашего железного помощника продумывать, объяснять и реализовывать соответствующие требования.

Всё это я и называю «метакодингом».
Вы получаете работающий продукт, всё ещё оставаясь на комфортном для вас уровне неведения о языке программирования и технологиях, на которых он реализован.

Попробуйте — если вам понравится процесс, то результат точно не разочарует!

---
Мои результаты:

– приложение для совместных список покупок и/или ведения повторяющихся задач: https://relistapp.app

– история-квиз про ключевые термины: https://snow.tobeproduct.ru

– генератор статических слайдов (сделан за вечер как пример для вебинара про вайбкодинг): https://markdown-slides-7099a.web.app.

– наконец, готовый темплейт и гайд как стартовать свой первый проект: https://vibecoding.cc

Просвещение и технологии

Статье Ководства про экранную типографику скоро 25 лет. «Чертам русской типографики» — 22 года.

И всего этого времени не хватило, чтобы люди, профессионально пишущие тексты, соблюдали популяризированные таким способом нормы.

Качественный скачок произошёл (произойдёт?) только тогда, когда автоматическая проверка и исправление типографики станут общим местом.

Сейчас это происходит почти исключительно, только если ваш текст правит (или, недайбоже, пишет) LLM.

Вчера мне показалось, что при редактировании текста Телеграм сам расставил в неочевидных местах правильные черточки.

Показалось — но почему бы и нет?
Как только ТГ (пока очень посредственный в этом отношении продукт) станет предлагать авторам нормализировать оформление их текстов (сугубо по добровольному согласию), просвещение победит, потому что технология сделает соответствующее знание факультативным.

Осталось убедить окружающих, что тире, как и «правильные» кавычки, — это не признак сгенерированного текста, а старая, добрая и красивая традиция.

Как меняются требования к профессии

В октябре 2010 года, по счастливому стечению обстоятельств, я устроился работать веб-дизайнером в одну из главных студий в Красноярске.

Планка отбора была высока, но прошёл я её не потому, что хорошо рисовал сайты, а потому, что был хорошим полиграфическим дизайнером. В веб (тогда) эти скиллы плохо транслировались, но приносить пользу компании мне помог очевидный, как мне тогда казалось, ход: вместо того чтобы рисовать макеты в Фотошопе или прототипы в Акшуре (что уже было next level) — я принялся собирать чёрно-белые сайты на Бутстрапе.

Набор элементов и их интерактивность в тот момент уже позволяли делать работающие mobile-first страницы, полностью имитирующие работу будущего веб-сайта. При этом я старался, чтобы они содержали как можно больше настоящего будущего контента: навигацию, заголовки, кнопки, карусели фотографий — угадать всё это за клиента или сделать максимально близко к тексту, основываясь на ТЗ, было не трудно.

В работе с клиентами, которые до этого видели 2-3 «концепции», зачастую наполненные «рыбным» содержанием, такой подход, если и не произвёл фурор, то имел несомненный успех. К концу моей работы в Студии такие прототипы делали еще двое дизайнеров, а я довёз этот подход аж до Петербурга (где, справедливости ради, успел применить его только пару раз).

–––

CPO OpenAI в своем недавнем интервью сказал не так много интересных вещей:

– У них «что-то около 25 продактов», они знают, какой идиотизм они развели с названиями моделей, но не считают это чем-то важным, чтобы срочно решать.

– О квартальном планировании: они хотят понимать, над чем будут работать, но «это не жёсткие планы» – главное «быть первыми» и «регулярно что-то выпускать».

– Метафора «люди как LLM» неплохо работает сразу в нескольких контекстах (кто сказал «модели компетенций»?).

– «Сегодняшняя версия модели – худшая из тех, что вы будете использовать в будущем» – ок, кэп.

– Наконец, повод для этого поста: по его мнению, работа продактов изменится сильнее всего, потому что от нас всё чаще будут ожидать «показать работающую идею» вместо того, чтобы просто её описать и визуализировать.

Да, чиф-продакт OpenAI признает, что Claude программирует лучше их моделей (спойлерит, что скоро это изменится) и пропагандирует «вайб кодинг».

Жалуется при этом, что их чиф-пипл-офицер навайбкодила себе продукт, которого не хватало, а он сам и коллеги-продакты «что-то как-то мало вайбкодят». Кевин ожидает, что это скоро изменится настолько сильно, что «через пять лет нашу профессию будет не узнать».

В целом, я его поддерживаю: если вам хочется визуализировать новый продукт, фичу или изменения в текущем – вместо Фигмы сейчас уже полезнее (и, скорее всего, быстрее) будет открыть v0.dev и убедить чат сделать вам нужный прототип. Уже пару раз так делал — первое впечатление аудитории очень хорошее.

Станет ли это ключевым новым требованием и содержанием профессии? В компаниях, готовых к быстрым итерациям и не стесняющихся того, что «90% кода пишется с помощью LLM», — я вполне могу себе представить, как практика «интерактивный прототип – PRD – продакшен» приживётся очень быстро, и от продактов будут ожидать, что они могут закрыть 2/3, если не 8/10 этого пути.

Но в то, что это изменит профессию фундаментально, – сомневаюсь. Наоборот, есть риск, что вместо того чтобы думать (и правильно применять важные практики и термины, которые за ними стоят), продакты будут дрейфовать в сторону мартышек, вооружённых AI, тратящих деньги компаний на шиткодинг никому не нужных поделок.

Именно поэтому так важны фундаментальные основания нашей профессии. Но об этом тут ещё будет много, просто позже. А пост про мои результаты вайбкодинга в реальном мире — уже завтра )

Тщательно подбирайте слова

Добрая половина контента этого канала сфокусирована на правильном использовании терминов, потому что «слова, которые мы используем, определяют опыт, который мы ожидаем».

Именно с этого я каждый раз начинаю разговор о гипотезах, ведь большинство людей просто не понимают, зачем спорить о терминах. И уж тем более – для чего их менять.

Сегодня я узнал, что я такой не один – целый Atlassian занимается тем же самым.

В прошлом сентябре они, оказывается, сделали целый плагин для Chrome, который позволял выбрать, какой термин использовать в Jira вместо «Issues».

Неделю назад они подвели итоги эксперимента, и теперь "'Work' is the new collective term for all items you trak in Jira".

Моё почтение – что тут ещё сказать!

Я отлично помню, как в 2015 году, впервые увидев лейбл инпута «Issue type», удивился такой однобокости и косноязычности, но списал их на исторические корни инструмента. Мне так и не довелось узнать, как эту задачу решили при локализации, но все таск‑трекеры, с которыми я работал после Жиры, называли задачи правильно – «задачами», а не «проблемами».

Теперь очередь добралась и до старой гвардии.

Морали две:

1. Даже если ваш продукт старше вас самих (Жире 23 года, если что), это не значит, что вы не можете менять его основы. Можете – вот пример для подражания.

2. Даже если вы привыкли к какому‑то термину, вы точно сможете начать использовать вместо него более правильный, точный, полезный. Уж если Atlassian смог, то и вы/ваша компания сможете ))

---
Для всех новых подписчиков напоминание – с правильными терминами продакт‑менеджмента помогает разобраться интерактивная история‑квиз "Снег идет...".

In and out. Twenty minute adventure ))

Четыре аспекта приоритезации

Когда в продуктовой организации говорят о проблемах (отсутствии ясности) или пытаются построить систему расстановки приоритетов — есть четыре аспекта, которые полезно различать.

1. Эффективность
— Мы хотим работать над самыми важными вещами, которые приносят наибольшую пользу.

Отношение импакта к затратам, эффекты мультипликации, общие цели, устранение взаимных барьеров — как расставлять приоритеты важной работы — то о чем обычно все говорят и знают "как надо".

Это самый очевидный, необходимый, но не достаточный пункт. На расстановке приоритетов часто все и заканчивается, что приводит, в итоге, к ощущению, что что-то не работает.

2. Согласованность и автономность
Этот аспект приоритезации становится важным когда команды сталкиваются друг с другом или в их планы пытается вмешаться кто-то извне.
— Мы хотим понимать, как выбирать между конкурирующими целями/приоритетами.

В таких ситуациях тестируется как приоритеты работают на масштабе компании.

— Мы хотим принимать решения в рамках своей области ответственности, без оглядки на вышестоящих стейкхолдеров.

Здесь ожидание от "правильно расставленных приоритетов" в том, что они должны позволять командам, работающим над важными инициативами с понятыми целями, самим выбирать способ их достижения. Постоянная зависимость от чьих-то решений воспринимается как отсутствие ясных приоритетов, особенно, когда те, от кого вы зависите заняты "более важными делами".

3. Поддержка
Похожая, но более конкретная история про ресурсы, взаимные обещания и общий эмоциональный фон.

— Мы хотим ощущать, что важную для нас инициативу поддерживают другие коллеги, нам выделяют необходимые ресурсы (деньги, время разработчиков, внимание стейкхолдеров), радуются нашим успехам и выражают благодарность за достижения.

Без всего этого "заявленные приоритеты" остаются пустыми декларациями, а даже хорошо сделанная важная работа "обесценивается", что приводит к сомнениямим в ее исходной оценке как приоритетной.

4. Продуктивность
Наконец, на уровне ежедневных усилий нам хочется видеть их результат, а для этого:

— Мы не хотим постоянно переключаться с одной задачи на другую. Мы хотим доводить дела до конца. Иначе, приоритеты не выглядят чем-то реальным и важным.

---
Ваша задача как менеджера, помнить и помогать команде с каждым из этих аспектов.

Каждому сотруднику полезно распознавать какой из аспектов сейчас не работает и обсуждать с руководителем не просто "приоритеты".

---

(Вы прочитали краткий пересказ очередного письма из рассылки John Cutler, — одного из продуктовых мыслителей и практиков, которого я всем рекомендую. Подпишитесь на него, пожалуйста, чтобы не пропускать то, что я сюда не буду выносить)

Double Praxis Loop of PM
или Двойная петля практик продакт-менеджмента

Главная польза от подготовки к вебинару ГоПрактис для меня случилась в момент, когда я работал над иллюстрациями.

Понимание того, что знания – модели, обладающие прогностической способностью – являются основой для последующих действий – тривиально.

Почему мне никогда не приходило в голову это нарисовать? Необъяснимо.

Более того, первая версия иллюстрации, та, что осталась в слайдах, которые площадка будет распространять вместе с записью вебинара, была немного неуклюжей (почти как это предложение).

И только несколько часов проведенных "за доской", помогли мне, во-первых, добавить недостающий элемент (который всегда приходилось озвучивать) – "действие".

Так схема окончательно стала про связь мышления с "практикой".

И, во-вторых, главное – развернуть правую часть так, чтобы элегантно показать как знания формируют идеи и становятся стартовой точкой для цикла предпринимательского мыследействия.

Замыкание петли, через пару действие+наблюдение и выход в цикл научного метода – стало при этом еще более наглядным.

При этом, если ставки не высоки, из цикла предпринимательской практики не обязательно выскакивать в цикл научной практики. Но когда это происходит, каждый следующий виток становится все более обоснованным, а значит, повышается вероятность на успех.

В чем, собственно, и есть смысл доклада: делая ставки на основе хороших знаний (появившихся в результате проверки правильных гипотез), мы снижаем риски, повышаем импакт и увеличиваем отдачу от собственных вложений. А значит продолжаем приносить пользу бизнесу и создаем все меньше поводов говорить, что продакты не нужны.

---
В первом комментарии закину оригинальную презентацию с вебинара. Видеозапись ждем ближе к майским праздникам.

Там же принимаются предложения по более благозвучному, но все еще дескриптивному названию этой диаграммы 8)

Продолжать, повторять

Не устану рекомендовать вам канал Евгения Казначеева, просто потому что каждый второй (или чаще?) пост со мной настолько резонирует.

Готовясь к сегодняшнему выступлению на площадке GoPractice, я, в очередной раз, поймал себя на мысли: "Ну сколько можно об одном и том же?".

И Женя сегодня пишет:

Хочешь распространения идеи так, чтобы люди её действительно восприняли, — говори про неё снова и снова. [...] Нам некомфортно — а для публики в самый раз. Так и с идеями — нам может казаться, что «да я только об этом и говорю», а на деле в самый раз и может даже надо и почаще. Идеи, особенно неочевидные или некомфортные, требуют тщательного посева.

Да, я занимаюсь пропагандой и да, относительно странных идей. В которые я верю и которые изо всех сил практикую.

Моих усилий явно недостаточно. Лидеры мнений продолжают талдычить и даже учить глубоко порочной (извините, иначе никак) практике "проверки продуктовых гипотез", которые в лучшем случае — плохо обоснованные ставки.

Надежда только на регулярность, упорство, и накопительный эффект. На то, что хорошие мемы (как и гены) выживают в достаточно конкурентной среде, а плохие вымываются естественным отбором.

Состояние рынка труда для продактов и общий уровень профессионализма — кажется, вполне соответствует такому определению. Посмотрим сколько займет эволюция и кого (какую терминологию, методологию, практику), в итоге, оставит в живых.

Спасибо всем за внимание!

В навигации по каналу (в закрепе) по-прежнему много того, что я считаю вечнозеленым контентом.

Снег, по-прежнему, где-то идёт...

Один взгляд назад

В 1996 году Константин приходил на «Камертон-радио» в Москве, и ведущий Николай Фандеев в прямом эфире задал ему вопрос: «Почему на вашем новом диске „Один взгляд назад“ только старые песни?». Именно тогда Никольский и ответил знаменитой фразой: «Новые песни сочиняет тот, у кого старые плохие».
Количество сплит-тестов, которые я провел за свою 10+ летнюю карьеру продакта, исчисляется пальцами одной руки.

Кто-то скажет, что это нерепрезентативная выборка. Я сначала возражу на это цитатой из Уильяма, нашего, Блейка:

“To see a World in a Grain of Sand
And a Heaven in a Wild Flower,
Hold Infinity in the palm of your hand
And Eternity in an hour.”

«В песчинке мир суметь узнать,
В цветке увидеть небеса,
В ладони бесконечность сжать,
А вечность втиснуть в полчаса!»
А потом продолжу: чтобы увидеть принципиальные ограничения техники (или даже метода), достаточно внимательно посмотреть на ее(его) основания. А для того чтобы подметить конкретные косяки практики – просто честно оценить результаты.

Причем тут заголовок про старые песни?

Начав структурировать критику оснований frequentist-подхода к сплит-тестам в менеджменте продуктов, я быстро оказался в знакомом окружении – основаниях менеджмента [продуктов].

Как мы вообще понимаем, что чем-то управляем? Как связываем наши действия с наблюдаемыми результатами? Какое отношение результаты наших измерений в принципе имеют к реальности?

И, конечно, обо всем этом я, и особенно другие уважаемые авторы, уже много чего написали.

И что теперь делать? Отправить вас перечитывать архив Бороды продакта или книжки Левенчука, Дойча и Юдковского? Или начать без подготовки пропагандировать байесовский ризонинг и обсуждать как применять знаменитую формулу для дизайна и анализа результатов экспериментов?

Не уверен, что и то, и другое рационально. Поэтому пока кажется, что логичнее вернуться именно к основам, уже написанным когда-то «песням», которые все еще остаются хорошими. Надеюсь, они будут полезны и тем, кто только стремится, и тем, кто уже начал, и тем, кто уже давно старается быть, а не казаться продактом.

- - -
Посмотрите, пожалуйста, секцию мета-скиллов и подходов, которую я когда-то добавил к «Карте навыков и инструментов» Сергея Тихомирова.

Дальше я планирую двигаться именно по ним, дополняя и расширяя список (и заодно, возможно, перестраивая всю карту), так чтобы в итоге, поговорив об основаниях, вернуться к вопросам конкретной практики.

Иначе, мне кажется, просто нет оснований обсуждать вопросы смысла и выбора конкретного p value.

Промежуточные итоги разгребания сугробов

С момента запуска "Снег идет..." прошел почти ровно месяц, вот что получилось на текущий момент:

Аудитория
– 104 человека закончили квиз (ответили на все 12 вопросов и их результаты сохранились в базе данных)

– GA говорит что за 30 дней у сайта было 207 посетилелей

– 50% Completion Rate (aka "доходимость до конца") – приглашаю коллег из эдтеха оценить как это с точки зрения отраслевых бенчмарков )

– больше всего – 47 – продактов, 19 из них (40%) с опытом 2-4 года (для всех ролей эта доля 36%, еще 16% совсем новички). Считаю, что в ЦА попадание есть – с терминами лучше разбираться с самого начала.

Результаты
– лучше всех (в среднем 8,4 балла) справились продакты с опытом 6-8 лет – найс

– "другие" специалисты, ожидаемо, дали самый большой разбег результатов (2...12)

– средний бал по всем ролям уложился в диапазон 7,1...7,25 – в среднем все мы, действительно, умеем отличать наблюдения и прогнозы от всего остального

– 10 человек набрали больше 10 баллов – читатели канала? )

– один "джун" набрал 12 баллов (самородок, отзовись!)

– а всего "максимальный балл" набрали 4 человека – респект, особенно если этот идеальный score, – результат повторного прохождения. Мне бы хотелось, чтобы как можно больше людей его добилось.


---
Спасибо всем, кто уже прошел историю-квиз!
Удачи тем, кто будет проходить )

И большая просьба ко всем: поделитесь, пожалуйста, ссылкой с коллегами – мне очень важно чтобы как можно больше людей в индустрии говорило на одном языке. Надеюсь, вам тоже.

https://snow.tobeproduct.ru

Научный метод и предпринимательское мышление

Спасибо GoPractice за возможность рассказать про настоящие гипотезы и то, как они помогают меньше ошибаться и повышать ROI работы продактов!

В процессе подготовки слайдов, я, наконец-то, понял как связать две важнейшие концепции из заголовка поста очевидным, понятным и элегантным способом.

Приходите в этот четверг послушать, посмотреть и задать вопросы.

Регистрация здесь

---
Вновь прибывшим, смотрите, пожалуйста, навигацию по каналу, там много интересного.

Весьма вероятное будущее

В 1989 году, Дэн Симмонс в удостоенном премии Хьюго "Гиперионе" мимоходом описал возможно самый вероятный вариант развития событий в достаточно далекой перспективе:

The AIs had peacefully seceded from human control more than three centuries ago—before my time—and while they continued to serve the Hegemony as allies by advising the All Thing, monitoring the dataspheres, occasionally using their predictive abilities to help us avoid major mistakes or natural disasters, the TechnoCore generally went about its own indecipherable and distinctly nonhuman business in privacy.

В 2025 году, два исследователя AI с внушительными послужными списками из сбывшихся прогнозов (Daniel Kokotajlo, Eli Lifland + еще три эксперта) и один очень хороший автор (Scott Alexander), описали как именно ИИ мирно выйдет из под контроля людей в ближайшие пару лет.

https://ai-2027.com

Их нарратив плавно переходит от подробного, расписанного по месяцам, описания конкретных шагов, которые пока еще хорошо понятны исследователями и специалистам по безопасности, к довольно общим заявлениями о миллионах машин, меняющих экономический и политический ландшафт планеты – и это само по себе отличная иллюстрация идеи "взрывного роста", которая лежит в основе любых прогнозов об ИИ, включая исходный тейк Симмонса.

Трудно представить, почему этого, в итоге, не произойдет.

Еще труднее представить, что все это действительно случится.

Прочитайте, пожалуйста, весь сайт (там есть короткое наглядное саммари, но оно не так убедительно) – наряду с лучшими произведениями жанра научная фантастика – это один из лучших способов "подготовиться" к тому, что нас ждет впереди.

Правильная постановка целей

Посмотрите на досуге как Виталий Лазо, обладатель титула "Снежный барс", рассказывает о правильных целях.

В управлении продуктами естественное желание – сосредоточиться на запуске.

Команда и продакт, понимая потенциальную ценность для клиентов и бизнеса, в едином порыве фигачат чтобы запустить фичу (или целый продукт) в продашкен.

Это все равно что ставить цель "покорить вершину" – очень понятно и очень хорошо мотивирует.

Виталий же говорит, что это даже не половина работы. Правильная цель – вернуться обратно живыми.

На контекст менеджмента продуктов, уверен, вы и сами сможете это перенести. Моя задача напомнить об этом вам и регулярно напоминать самому себе.

Теперь у нас с вами есть для этого подходящая метафора.

April's Fools 2025

If LLMs of the world won't spell out nonsensical answers the whole day today — it will be the biggest missed humor opportunity in history.

It will also be the defining evidence that we haven't achieved AGI yet, which might be a good sign. And it might be the last one as well.

Мини-вайбкодинг

Самая приятная часть вайбкодинга – гиперперсонализация.

Гугл.Календарь не дает удобной возможности спланировать свои отпуска, ок, берем Чат и его Канву.

В двух словах объясняю, что хочу получить, задаю ограничения, даю вводные данные. Пара мелких правок – личный планировщик отпусков готов.

SaaS из такого не сделаешь (хотя некоторые пытаются), но и более быстрого и удобного решения, как получить такой же, заточенный под себя опыт, – я не знаю.

Результат, включая код, на видео.

Пробуйте. Когда получается, feels like magic!

Два чужих анонса

Михаила знаю и читаю давно, канал Андрея только что увидел, но анонс в котором один философ использует отсылку к другому.... очень хороший.

Да, если, что, оба анонса про один и тот же стрим про data-driven подход к управлению продуктами.

https://t.me/toxic_manager/430
https://t.me/cxlogic/617

Неожиданная подборка

Андрей, чей канал завершает эту подборку, решил собрать в этом списке дейсвительное неожиданных авторов. (Я просто сам напросился, но, видимо, мои взгляды достаточно непривычны, чтобы в такой список тоже попасть).

Результат меня порадовал, половина авторов попала в папку Near Orbit (где я собираю каналы, которые продактам полезно читать чтобы расширять кругозор – добавляйте на свой страх и риск), продакты – по назначению в папку Продукты.

Дальше будет оригинальный анонс, могу только подтвердить, что все описания оказались достатоно точными:

---

Иван Марцинкевич и канал “Просто чел из АЙТИ | Ваня” @prostochelokek

Ваня - миллениал от IT: работает, живет в деревне, стрижет газон и пишет письма в телеграм. Иван пробует себя на поприще развития своих проектов и активно развивает тему сообществ, как с точки зрения консалтинга (помогает компаниям их выстраивать), так и со стороны продукта - готовит платформу для построения комьюнити. Ждём!

Что почитать: Почему вы не станете профессиональном? | Собесы - это прикольно

Намаз Намазов и канал “ИзиB2B” @izib2b

Намаз - представитель тусовки сейлзов в этой подборке и пишет о разных тонкостях b2b продаж. Читать его интересно, потому что продажи - это та область, которая у стартаперов и продактов идет особенно тяжело. Небольшие посты, практичные советы - то, что нужно, если вы переживаете за свою воронку продаж. Берем!

Что почитать: ЛПР или нет? | Фильтруй лиды

Роман Лебедь и канал “Лебединая Жизнь” @leblife

Рома - вице-президент по продукту компании в сфере Edutainment (не хочет говорить, где работает; думаю, что все по классике Питера - вебкам) и классный пример цифрового кочевника: работает то тут, то там; то с доски для серфинга, то из храма. Много пишет про Азию - мекку любителей сбежать от холода, слякоти и всего такого, к чему мы привыкли с ноября по март. Читать интересно, еще интереснее смотреть фотки.

Что почитать: Подборка постов про Азию | Почему важно работать в техподдержке

Снежана Поцелуева и канал “Правда Снежана Поцелуева?" @snezhanapocelueva

Снежана - продакт из Т-Банка, выпускник Школы менеджеров Яндекса и серийная путешественница. Пишет о своем опыте, об экзистенциальных кризисах, отсутствии смысла жизни и переживаниях - в общем-то, типичный набор сотрудника большой корпорации. Ладно, шучу-шучу, Снежана рассказывает про wellbeing: про то как оставаться собой, не терять энергию и присутствие духа, а также волю к приключениям в стремительных водоворотах IT-индустрии.

Что почитать: Про кризисы | Про смысл

Андрей Тихонов и канал “Мась, у меня лапки” @paws_and_commits

Андрей - старший деливери-менеджер из Т-Банка и ворочает большими группами людей, принуждая их меняться: то волосы заставит перекрасить, то татуировки набьет. Андрей профессионально рассказывает о методиках работы с изменениями в больших компаниях (то есть, это тот человек, который регулярно мешает вам работать, рассказывая сказки про светлое будущее). Осторожно, много серьезных мыслей и терминов про менеджмент команд.

Что почитать: Про эффективность IT команд | Почему конференции - это барахло

Андрей Чуль и канал "Привет, Андрей" @hey_andrey

Директор по продукту в компании Ресурс АТЭ (кто это вообще?), в прошлом ведущий менеджер по продукту в Ozon. Сбежал из IT корпорации в мусорщики, теперь катается на мусоровозе и рассказывает небылицы про то, что он директор по продукту.

Что почитать: Все про Ozon | Что общего у мусорщика и стартапера?

---
Спасибо всем авторам и Андрею отдельно!

И дуплетом, очень приятно получать валидацию своих тезисов про рекрутинг от человека, у которого судьба компании напрямую от результатов найма зависит.

Прочитайте, почему Всеволод предсказывает, что вы почти наверняка не умеете нанимать действительно сильных людей.

Мои тейки:
— не нанимать за прошлые достижения
— нанимать по результатам обсуждения тестового
А лучше всего брать на короткий рабочий проект и совместно после этого решать о продолжении сотрудничества.

---
Открыт к вашим предложениям, кстати.

А помните был такой Axure...

Вот, Федя пишет про научные основы его былого успеха (ну, это я так интерпретирую).

Перепись олдов в комментариях объявляется открытой.

Менеджмент инфраструктуры и измерение эффектов

Пока я копаю тему сплит-тестов и разницы между корреляцией и каузальностью(sic!), вот вам пара видео на смежную тему.

Во-первых, как в Сан-Франциско построили необычную велополосу и к каким последствиям это привело.

Во-вторых, как в Миннесоте пытались измерить эффекты работы весьма специфичных светофоров. И выбрали для этого самый наглядный способ: просто выключили их на два месяца.

Кроме весьма специфичного автора, оба ролика объединяет не только тема инфраструктурных изменений и измерения их эффектов, но и глубокое понимание экстерналий – особенно это интересно в кейсе про велодорожку.

Ну а про психологию пользователей, которые вообще-то, в первую очередь, и ощущущают эффекты всех наших экспериментов, – отлично говорит заголовок второго видео, зацените.

Как говорится, если вы думаете, что у вас сложный продукт – откройте велодорожку посреди главного проспекта в своем городе ))

---
https://snow.tobeproduct.ru – нажмите нужную кнопку в конце, если за то чтобы расширить историю эпизодом про эксперименты (в первом черновике он там даже был).

Вредные советы

[источник вдохновения посреди белого дня остался неопознанным]

Никогда и ни за что
Не пиши адженду встречи
Вдруг нечайно угадаешь
Кто за чем на колл пришел.

После встречи не беги
Записать ее итоги
Не запишешь – не проверишь
А какой тогда с нас спрос?

Если планы ты составил
Не спеши их делать паблик
Привлечешь с себе внимание
А потом же отвечать...

PRD, internal memo?!
Бес с тобой, побойся бога!
Как потом твой сменщик будет
Все сначала начинать?

Knowledge sharing не призванье
А проклятье для продакта
Если что-то ты пошэрил
То считай что потерял!

Будешь следовать советам
Из рандомного канала
На себя пеняй и только
Мало ль кто их сочинял

Так что помни и отправь
Всем своим коллегам четким
Если не был ты продактом
Нечего и начинать!

Задача руководителя

Марьяна Онысько, с которой я обычно согласен, написала пост с таким выводом:
Моя задача, как руководителя не решить за сотрудника, а напомнить: ты можешь. А где нет — сделать так, чтобы смог.

И я согласен!

Но при этом она привела пример ответа на запрос подрядчика, который я не могу считать хорошим.

Через пару дней она пишет:
«Марьяна, я отсмотрела результат. Есть несколько замечаний, хотелось бы обговорить, чтобы понимать, как дальше будем работать».

На этот раз мой ответ был таким:
«Можете ли вы найти решение без меня? Чтобы я не вовлекалась? Мне кажется, у тебя достаточно опыта, чтобы принять решение и обойти ограничения. Нам нужно быть приближены, не обязательно на 100%. Главное, чтобы пользователю было понятно и удобно».

Я написал подробный ответ в комментариях, но т.к. посту уже целых два дня, скорее всего его там никто не увидит.

На мой взгляд, это хороший пример плохой "установки границ" и решения управленческой задачи. Поэтому вот мой комментарий:

---

"Можете ли вы найти решение без меня?", — плохой вопрос, особенно в связке с "чтобы я не вовлекалась".

Потому что "я почувствовала, что не нужна ей", — утверждение про ваши чувства, и не всегда верное предположение про чужие.

Обычно зрелым профи вы в таких ситуациях действительно не нужны, но человек к вам уже пришел, значит исходно посчитал, что не может справиться без вас. А вы ему сходу говорите, что не хотите вовлекаться.

Отдельный вопрос почему у него сложилось такое впечатление, но, ок, вторая часть, скорее всего, поможет это исправить.

Проблема в том, что вторая фраза ("кажется у тебя достаточно опыта") ещё и усиливает давление на исполнителя и показывает, что вы не готовы услышать "нет", даже если это будет честным ответом.

Например: "Нет, не могу. Вижу фундаментальные противоречия, которые, как исполнитель, не могу решить без вашей помощи как заказчика".

Утверждение обратного, да ещё и из позиции заказчика, может быть воспринято как сомнение в профессиональной компетентности исполнителя. "Я знаю, что у тебя достаточно опыта" вместо "мне кажется", сработало бы лучше, в этом смысле. Но вообще этот аргумент просто лишний. Опыта может и не быть, но это не отменяет вашего доверия исполнителю, вы же его уже наняли на задачу.

Поэтому в целом, я бы рекомендовал другую структуру ответа:

"Спасибо! Я посмотрел на вопросы, мне кажется их объединяет стремление сделать 100-процентно соответствующий макету результат. Это не обязательно, мы можем отступать от визуальных требований, пока это не искажает смысла сообщения.

Если нужно будет согласовать принципиальные изменения, буду рад помочь. В остальном, я тебе доверяю — делай как считаешь нужным, чтобы пользователям было удобно и понятно".

---
Блок "Достижение взаимопонимания" из SSA – возможно самое важное, что я пока публично сделал. Посмотрите эти две лекции, если хотите лучше решать задачи как руководитель, понимать и договариваться с любыми людьми.

Вопрос практикам

Пока я пишу серию (уже серию, да) постов о том, что там с а/б-тестами и когда они действительно нужны, а когда это пустая трата денег с плохими последствиями — если вы проводили недавно "сплиты", расскажите, пожалуйста, о них в комментариях?

Что тестировали, какие результаты получили?

Свежие и просто хорошие авторские

(Это пост из серии "ТГ для продактов", ищите остальные в навигации по каналу)

Прошлой осенью я промониторил весь продуктовый Телеграм, разложил все каналы по полочкам (СМИ, лайфстайл, авторские) и после этого оставил в своей личной подборке только последнюю категорию.

За полгода и особенно за последние пару месяцев нашлось еще несколько каналов, достойных вашего (и моего) внимания.

Далее как раз они, in no particular order:

@raschet7
“Семен расправил плечи” – CPO Korzinka Go (Узбекистан)
Семен пишет очень редко, но метко и со знанием дела. Делится буквально “кухней” запуска дарк-сторов и доставки на достаточно конкурентном и очень самобытном рынке. Очень жизненно, очень практично. Особенно если у вас похожие задачи.

@leonid_lapidus
“Lapidus” – Леонид, напротив, скорее пишет о философии и выдает рефлексию. Полезно чтобы “сверить часы”.

@product_lev
“Лев Корнев – Развитие продукта” – идет по базе. Полезно вновь прибывшим или только собирающимся в профессию.

@dutchpm
“Продакт из Голландии | Марина Малых” – Марина завела канал 22 дня назад и пока ведет хронику своих нидерландских буден (и успела рассказать, как нашла работу через ярмарку вакансий).

@science_product
“Научный продакт-менеджмент / Федя Панов” – мимо канала с таким названием я пройти никак не мог. Только что подписался, но уже интересно.

@poltora_producta
“Полтора продакта || Галя Ширанкова” – цитирую описание: “Канал для высокогрейдовых и проактивных”, – и нет, это не шутка )

Особенно крутые посты у Гали про устройство процессов в Авито. Большие продуктовые “ставки” они уже делают – я очень рад.

@polezniy_product
“Полезный продукт” – Игоря Калиновского, на минуточку настоящего CPO целого Mindbox. При всем богатстве выбора, такие пропускать нельзя.

@productsgossip
“Семейка продактов” – прочно заняла нишу полезных эфиров по субботам. Я выступал сегодня, надеюсь не слишком сильно уронив при этом среднюю планку качества. Если еще позовут, то готов поднять обратно своей заевшей шарманкой про гипотезы, хотя…

И last but not least!

@product_studies
"Product Studies" – лично я один из тех 55 подписчиков, кто ждет следующей серии постов с таким же глубоким разбором любой практики, фреймворка или идеи, как тот что был про технику “5 почему” (листайте, пока не найдете начало). Ради такого качества готов ждать сколько угодно.

---
https://t.me/addlist/8kVIflpCCN0yMTdi – ссылка на всю папку, к концу прошлого года серьезно похудевшую, а теперь опять набравшую уже 88 источников… Stay tuned. Or not!

Вайбкодинг для продактов

Завтра, в субботу, 22 марта, в 10:00 (CET) проведем с коллегой Татьяной из Семейки продактов совместный эфир.

Буду рассказывать насколько далеко отрасль и практика ушла со временем моего гайда.

Развенчивать мифы, разрушать иллюзии. Рассказывать как страдал и как кайфовал когда делал приложение, историю-квиз, и ещё один секретный проект (не считая задачки про шары).

Разработчикам приходить не рекомендую. Но буду всем пришедшим объяснять почему их не уволят из-за LLM.

Хотя вполне верю, что через год 90% нового кода будет создаваться в парном режиме достаточно умными моделями и людьми.

---
https://relistapp.app — первый результат моего вайбкодинга.

https://snow.tobeproduct.ru — лучший результат, so far...

Объясняем что угодно

Как влияет на смысл и метрики экспериментов разница между неправильным определением гипотезы («любое предположение о будущем, которое нужно подтвердить») и правильным – «предположение, объясняющее наблюдаемый феномен»?

Во-первых, давайте буквально назовём вещи своими именами – это очень часто и быстро помогает:

«Изменение метода подсчёта потраченного времени с абсолютного (календарного времени) на относительное (активное время в приложении) улучшит восприятие прогресса пользователями, увеличит их мотивацию и вовлечённость.» – это прогноз!

Как бы ни была выбрана целевая метрика, как бы грамотно не был построен дизайн эксперимента и как бы безошибочно не были посчитаны его результаты, результат проверки прогноза всегда один и тот же – мы всего лишь узнаём, сбылся прогноз или нет.

Ни меньше, но и ни больше! В такой формулировке, как это сейчас принято в большинстве продуктовых, а тем более, гроус-команд, мы просто узнаём: «выросла метрика после того что мы что-то сделали или нет». Надеюсь, на этом месте уже у многих в голове заиграл тревожный сигнал.

Методологическая корректность и статистическая значимость в таких экспериментах нужны только для того, чтобы показать, что это не случайный результат, не ошибка post hoc ergo propter hoc.

Вся мощь математического аппарата используется чтобы показать что, то что мы сделали (показали относительное время вместо абсолютного), привело к тому, что целевая метрика изменилась. Отсюда критическая важность выбора целевой метрики.

К сожалению, большинство, продактов плохо справляются с дизайном таких эксприментов по проверки сбычи прогнозов, но зато с готовностью заявляют: мы что-то изменили, метрика пошла вверх – ура! Это при том, что по их собственному признанию «9 из 10» таких эксприментов проваливаются....

И, если вы подумали, что я буду в очередной раз подчеркивать уровень сумасшествия, которым является такой уровень толерантности к трате денег на бесполезные телодвижения, то нет – не буду. Ответственные ребята уже слишком хорошо научились аттрибутировать любые успехи продуктов своим бесчисленным эксприментам и даже показывать положительный ROI. В тех редких случаях, когда бизнес их вообще об этом спрашивает....

"...я сам обманываться ряд", whatever.

В этот раз я о другом: мышление человека так не работает!

Кроме того, что мы не хотим думать, заполняем время чем угодно и хотим быть лучше других, мы ещё и для чего угодно находим объяснения.

И в этом мой самый главный тезис: продакт, который придумал поставить на экране визуализации общего прогресса после очередного упражнения абсолютное время, придумал это не просто так. Его идея возникла на основе какого-то знания, которое опирается на имеющееся у него объяснение.

У того продакта была какая-то задача, например «повысить вовлечённость» и каким-то волшебным образом в голову этого менеджера пришла идея: «Может быть, для этого стоит показать людям, сколько времени они уже потратили на текущий уровень?»

И дальше начинается разница между продактами, которые проваливают 9 из 10 экспериментов, и теми, кто получает и эксплуатирует знания.

Окончание в следующем посте. И, видимо, отдельно потом обсудим как ставить задачи на повышение чего угодно.

---
https://snow.tobeproduct.ru – не путайте гипотезы, идеи и прогнозы сами и помогите перестать это делать коллегам

Два мира, два Шапиро

Гипотеза-1:
Изменение метода подсчета потраченного времени с абсолютного (календарного времени) на относительное (активное время в приложении) улучшит восприятие прогресса пользователями, увеличит их мотивацию и вовлеченность.

Гипотеза-2:
Мотивация и вовлеченность пользователей увеличивается, когда мы показываем им время проведенное на определенном уровне, потому что такая визуализация активирует эффекты невозвратных потерь (sunk cost fallacy) и потраченных усилий (IKEA effect), оцифровывает ощущения и связывает показатели потраченного времени с достигнутым прогрессом.

Те, кто уже успел пройти историю-квиз про мэра и его борьбу с завтрашним снегопадом, легко определят, какое из этих предположений является настоящей гипотезой.

Завтра постараюсь рассказать, какие последствия для дизайна эксперимента, выбора целевых и контрольных метрик имеет использование правильного определения этого термина.

----
https://snow.tobeproduct.ru – если хотите разобраться в разнице сами.

Дуолинго исправился!

В прошлый раз мы обсуждали, как они показывали на этом экране бессмысленные 15 с лишним тысяч минут.

Очевидно, что на 17 уровне я провел примерно те же 11-12 дней, что и на 16-м. Но теперь сова показывает минуты, которые я действительно "потратил" в приложении.

Прогресс!

P.S. Как думаете, это результат одного из "сотен экспериментов"? (табличка сарказм, если что).

Стоимость ошибки и короткие циклы обратной связи

Ключевая идея, про которую я, возможно, недостаточно громко говорю, в том, что там, где стоимость ошибки невелика, нужно просто сразу делать.

Как можно проще, как можно быстрее – чтобы как можно быстрее получить и измерить результат.

Это единственное рациональное зерно гроус-хакинга в том формате, в который он у нас выродился, кстати («чем больше идей проверим в единицу времени, тем лучше»).

Ваша собственная задача, задача вашего менеджера и, в конечном итоге, задача руководства компании – определить порог толерантности к риску, чтобы понять, когда вам нужно делать быстро, а когда надо сначала как следует подумать и что-то кому-то доказать.

Отсюда, кстати, и все требования к скорости доставки изменений в продакшен, культуре работы с данными, продуктовому подходу.

Когда Бейскамп ограничивает затраты на конкретную инициативу шестью неделями, они, в том числе, фиксируют: худшее, что может случиться – мы потратим одну из 5–7 ставок за год зря. Не меньше, но и не больше – это жёсткий порог.

Если вы знаете, что можете потратить 400 т.р. (или сколько там стоит неделя работы вашей команды?) на идею, которая согласно имеющимся у вас знаниям (лучшим практикам, примерам из индустрии, собственному опыту) должна принести пользу и не несёт рисков всё сломать – делайте. Особенно если ROI у неё положительный 😉

Если порог стоимости ошибки не превышен, можете всю «бюрократию» пропустить – у вас должен быть карт-бланш.

Магия в том, что в реальности вы не можете ничего сделать, не пройдя весь цикл: наблюдение → гипотеза → идея → прогноз → решение – иногда буквально за секунды у себя в голове. Так устроено мышление, с этим ничего не поделаешь. Вам нужно просто уметь различать эти термины, чтобы понимать на каком шаге обычно случаются ошибки.

Единственное требование, которое нельзя обойти, – организовать цикл обратной связи.

Добавить ивенты в аналитику, запустить мониторинг продуктовых метрик, организовать сбор обратной связи, провести повторное исследование, в конце концов, посчитать выручку – «хоть тушкой, хоть чучелком», но измерить результаты нужно в любом случае. Иначе никогда ничему не научитесь, доверия не заработаете и порог толерантности к риску не повысите.

Приятная особенность в том, что там, где цикл обратной связи короткий, порог риска (допустимая стоимость ошибки) выше. Поэтому в наших с вами интересах ускорять получение обратной связи.

В каких случаях нужно сначала всё-таки как следует подумать? Например, когда вместо двух дней или недели внедрение вашей гениальной идеи занимает две недели или месяц. Или когда потенциальный риск от крошечного изменения измеряется в возможной потере значимых процентов от годового оборота.

Для того чтобы потратить (рискнуть) таким количеством денег не пройдя через нормальный процесс (исследование → питч → принятая ставка) обычно вам уже нужно быть хотя бы head of, а лучше даже директором или C-level.

---

https://snow.tobeproduct.ru – история о том, как CEO (города) потратил 1 млн за вечер и причём здесь взвешенные (продуктовые) ставки

Подкаст с Димой из Глубины

Вышел мой разговор с Димой Капаевым про смысл гипотез, ROI продакта и почему продактам важно прокачивать булшит-метр.

В отличие от советов по использованию LLM, большая часть их которых устаревают с выходом следующего поколения (chain-of-thought reasoning, как тот скрипач, уже не нужен) – это заявка на вечнозеленый контент.

Чтобы бы не происходило вокруг, как бы не менялись технологии и роль продактов, – научный метод и предпринимательское мышление (так же как и базовую экономику) никто не отменит.

Так же как никуда не денется необходимость понимать пользователей, а для этого уже Дима делает свой собственный курс по JTBD, основанный не на авторской интерпретации, а на глубоком понимании оргинальных и фундаментальных идей.

---
https://snow.tobeproduct.ru – а здесь можно проверить понимание базовых терминов, про которые идет речь в подкасте

Системный промпт как модель компетенций

Простое наблюдение: модели компетенций, которые мы годами составляли для специалистов в разных сферах (дизайн, редактура, продукт-менеджмент, разработка, тестирование) – идеальные заготовки для системных промптов.

Это еще не агентский подход, но уже отличный способ получить себе достаточно квалифицированного помощника.

Например, вы хотите чтобы ваш черновик PRD поревьюил опытный Director/VP of Product (настоящий CPO такой ерундой не будет заниматься, не тешьте себя иллюзиями).

Создаете проект (вам же регулярно нужен взгляд со стороны, правда ведь?) и начинаете накидывать для него инструкцию.

И если вы эту инструкцию структурируете, разделяете заголовоками, то эти заголовки начинают отражать ключевые области компетенций директора по продукту.

Здесь хорошо подходит модель матрешки из нескольких слоев, на каждом из которых будут свои компетенции.

И в итоге, чем начинать писать такой промпт с нуля, проще взять за структуру уже готовую матрицу компетенций (для разработчиков они уже даже на гитхабе лежат) и сказать «действуй как специалист обладающий всеми перечисленными навыками».

А там уже и до MCP серверов одной рукой подать...

---
https://telegra.ph/Intro-i-navigaciya-po-TG-kanalu-ToBeProduct-11-27 – интро и навигация по каналу, «там много вкусного»

Гипотетический ≠ гипотеза

В своем свежем выступлении, где среди прочих тезисов глава Anthropic предсказывает, что «через год по сути весь код будет писать ИИ», Дарио буквально во втором абзаце делает ошибку, которую делают большинство рускоязычных продактов.

"Гипотеза в том время была в том, что если вы возьмете больше вычислительных ресурсов и больше данных для тренировки ИИ, то...", – дальше можно фразу и не заканчивать, тем кто прошел квиз уже все понятно.

Это не гипотеза, а идея. Возможно даже прогноз. Потому что эта фраза ничего не объясняет, а только предполагает способ обучения моделей или какой-то сценарий развития событий.

И, кажется, я понял, почему эта ошибка так распространена (одна из причин).

"Гипотетический" значит "предположительный", но не значит "объясняющий". Не все предположения гипотезы.

Гипотетически, 90% из тех кто прочитает это сообщение, видели предыдущее, со ссылкой на "Снег идет...".

Это не предсказывает, сколько из вас кликнули на ссылку и не объясняет почему реакций под тем сообщением так мало, канал не растет сумасшедшими темпами, а деньги не текут рекой.

Хорошие гипотезы – все бы это объясняли.

Гипотетические предположения (любые) – это просто масло маслянное – предположительные предположения о том, что прозойдет или о чем угодно еще.

Если вы хотите высказать предположение о будущем – говорите "прогноз" ("we forcast", это Дарио говорит правильно).

Если предположение о прошлом – "у нас было предположение" ("we had an assumption").

И только когда вы действительно высказываете предположение о причинах наблюдаемого феномена – "у нас есть гипотеза".

Иначе будет как в том анекдоте: "Гипотетически мы миллионеры...".

---
https://snow.tobeproduct.ru – разбирайтесь в базовых понятиях, прокачивайте навык принятия решений

Менеджеры продуктов принимают решения, а снег по-прежнему идет...

История про мэра города, которому нужно справиться с последствиями снегопада – это моя попытка дать окружающим ответ на простой вопрос: «Какая разница, какие термины использовать»?

История о том, как человек принимает решения, – возможность показать на простом примере, что у каждого решения есть своя цена. И напомнить, что все мы постоянно «делаем ставки»...

----

Я вижу, что мы постоянно применяем важные термины в их обыденном значении, забывая о том, что исходно у них есть специальный, полезный смыл – это наблюдение.

Я думаю, что это происходит по множеству причин, одна из которых, в том, что мало у кого есть опыт связывания терминов с методологией – понимания того как слова, которые мы используем, приводят к результатам, которые мы получаем – это одна из гипотез.

Я надеюсь, что попробовав решить квиз «про понятия», человек, который его проходит, запомнит смысл и предназначение этих терминов – это идея.

Я предполагаю, что большая часть из вас этот интерактив пройдет, но многие останутся недовольны или не посчитают это чем-то важным – это реалистичный прогноз.

Я также надеюсь, что те, кому покажется полезным и интересным, – поделятся ссылкой на этот ресурс с важными для них людьми – это оптимистичный прогноз.

Я поставил свое время, деньги и часть репутации на то, что вся эта история будет какой-то доле аудитории полезной – это, очевидно, ставка. Довольно рискованная, потому что не хочется чтобы усилия пропали даром.

Я надеюсь, что мои усилия окупятся ростом подписчиков этого канала, и возможно даже донатами на прилинкованных сервисах – это тоже ставка, только риска меньше, просто потому что тут почти нечего терять.

Дальше дело за вами.

Я буду наблюдать за результатами, ждать фидбек и отвечать на вопросы.

И надеяться, что кто-нибудь заметит и оценит все easter eggs и культурные референции ❄️

https://snow.tobeproduct.ru

Полный путь превращения знаний в деньги

Кристина выпустила мобильное приложение.

Все началось с наблюдения, о том, что новоиспеченные мамы часто постят в соцсетях вдохновляющие картинки, цитаты.

Ее гипотеза, состоит в том что они так делают, потому что в новой сложной ситуации им не хватает психологической подддержки.

Ей пришла в голову идея помочь мамам, показывая им аффирмации в мобильном приложении (и заработать на этом).

Посмотрев бенчмарки, она узнала, что в похожих приложениях примерно 1% аудитории конвертируется в платную подписку.

После чего сделала прогноз, что если мамы увидят ценность в ее приложении, то примерно такая же часть (1%) этой аудитории будет готова заплатить за подписку.

Дальше приходит время сделать ставку: если Кристина потратит деньги на привлечение целевого трафика, то CAC будет меньше LTV.

И теперь чтобы понять, насколько это адекватная ставка нужно ей нужно знание о масштабе рынка, знание о стоимости качественного трафика, знание о том, пользователи приложения получают ценность. После чего уточнить прозгноз конверсии, собрать модель при которой юнит-экономика будет сходиться, оценить вероятность того что эта модель реализуема.

После этого будет можно будет с большей уверенностью говорить, имеет ли смысл тратить деньги на закупку трафика или стоит поискать другие способы привлечения аудитории.

Иными словами, принимать решение, принимать ли ставку на конверсию платного трафика или сделать другую.

––
Если ставка сыграет то знание будет конвертироваться в деньги (и даже прибыль).

Если же знание о типичной конверсии, знание об источниках качественного трафика, знание о том видят ли пользователи ценность приложения – хотя бы одна из этих моделей плохо предскажет реальный исход – денег не будет, ставка не сыграет, вместо прибыли останется только зафиксировать убытки.

Основа прогнозов – знание

Давай подведем итоги:
– половина аудитории ответила на вопрос, выбрав одну из горок
– (мне тоже пришлось, чтобы увидеть распределение ответов)

– вариант с синей горкой вырвался в явные лидеры, но мою гипотезу, почему так произошло, обсудим в следующий раз

– два человека в комментариях выразили сомнение в наличии одного правильного ответа
– оба высказали предположение, что скорость всех шариков будет одинаковой
– один объяснил почему (второй, видимо, тоже мог бы, но не стал – I'm looking at you, Андрей).

Если у вас есть знание – модель реальности, обладающая прогностической способностью – вы можете делать сбывающиеся прогнозы.

Если знания – хорошей модели реальности – нет, ваш прогноз не сбудется.

В случае с физикой, у нас есть довольно хорошие знания, которые производят довольно точные прогнозы (это специально так мягко сказано).

В данном конкретном случае, скорость всех шаров будет одинаковой.

Время "прохождения трассы" – разным. Скорость на выходе – одинаковая.

Если у вас было знание о законе сохранения энергии, то вы могли точно предсказать такой результат.

--

Вот проверка в реальном мире.

https://balls.tobeproduct.ru – а здесь симулятор, в котором можно поиграться с траекториями. Если сможете "выехать из" 0.91 - пишите 😉

Знания – модели, которые предсказывают исходы

Простейший способ продемонстрировать этот принцип – вернуться к физике.

Представьте, что вам нужно ответить на вопрос: «После спуска с какой горки у шарика будет максимальная скорость?»

На память надежды нет!

Единственное, что нужно запомнить, чтобы эффективно организовать работу и общение с коллегами, – на память надежды нет.

Нет, вы не запомните всего, что вам сказали. Да, вы забудете что-то, даже если внимательно слушали и кивали. Это случится рано или поздно – и, просто по определению, в самый неподходящий момент.

Если что-то не записано, не нарисовано, не оформлено в виде задачи, – считайте, что оно либо не будет сделано, либо будет сделано не так, как вы ожидали, или не так, как ожидал кто-то еще.

Продакты, вам отдельный месседж: вы же не считаете, что como norma general дизайнер «на пальцах» объяснит вам или разработчику, как должна работать фича? Вы же хотите увидеть макеты, правда?

Так почему вы думаете, что дизайнер или разработчик с ваших слов всё правильно поймёт и с первого раза сделает так, как надо?

Если вы уже котики, оформляющие любой чих в виде документации, – мои вам лучи поддержки! Я знаю, что это муторно, скучно и не всегда очевидно, насколько это полезно. Но поверьте, вам это окупится сторицей. Как минимум, когда вы через год вернетесь к своим собственным записям.

Если же вы до сих пор считаете, что «главное, чтобы сделано было, не важно, как мы этого добьемся» и «бюрократы еще не сделали ни одного хорошего продукта», то у меня для вас плохие новости.

Этап жизненного цикла компании под названием «давай-давай» заканчивается очень быстро. И если вашей компании повезет выжить или вы захотите поработать в зрелой корпорации, то приучать окружающих к документированию всего и вся нужно сразу, буквально с младых ногтей.

Главное даже не в том, чтобы «оставлять следы», хотя и это полезно. Ключевое – в необходимости подумать, прежде чем что-то зафиксировать или в процессе самого письма.

И начинать, конечно, нужно с себя. Хотите работать в среде, где всё чётко и понятно? Будьте тем, кто создаёт такую среду.

Кантовский императив никто не отменял.

---
Ранее в этой серии:

«Закройте Миро, откройте текстовый редактор!»

«Пол Грэхем, о тех кто пишет и тех, кто нет»

Двухминутное видео: «Структурированное мышление письмом»

Черновик PRD за 15 минут

Сгенерированный LLM текст стремительно становится моветоном: документация, посты в соцсетях и тем более ответы в рабочем мессенджере выглядяющие как копипаст реплики чатбота вызывают, в лучшем случае, кринж, а чаще просто злость получателей.

Но это не значит, что нужно переставать пользоваться микроспоком, если люди вокруг пытаются забивать им гвозди.

---
В инструкцию специального проекта для траскрибации кладете промпт №1:
“Take my raw voice input and transform it into a clear and polished piece of text while maintaining my natural tone and intent. Fix grammar, remove filler words, and improve flow without changing the core meaning. Structure the content into **paragraphs** rather than relying on bullet points unless I explicitly indicate a list by using words like ‘first, second,’ and so forth. If my thoughts are disorganized, arrange them in a logical, intuitive way while keeping the text natural and readable. Keep my voice authentic while enhancing clarity and coherence.”

Открываете шаблон PRD из первого комментария (или копируете этот темплейт к себе в Ноушен)

Нажимате иконку записи и как есть, с листа, проговариваете каждую секцию. Буквально отвечаете на вопросы из документа.

Останавливаете запись, отправляете чату, на выходе получаете структурированный текст.

В отдельном проекте для написания документации начинаете новый диалог, прикрепляете к нему шаблон PRD и используете промпт №2:
Use this as a input:
[вставляете результат транскрибации]

Transform it into a PRD document using the attached template.

Write User stories according to the format you have in the document.

Получаете хороший черновик документа.

Тратите на это меньше времени, чем я потратил на написание этого поста.

Продолжаете заполнять белые пятна, добавлять фактологию, продумывать идеи, уточнять формулировки, – в общем, занимаетесь тем, что за вас никакой ИИ [пока] не сделает.

Ценность и стоимость знаний

Напомню, Бейскамп значительно поднял конверсию из триала в платную подписку, но даже не собирается разбираться, как и почему.

Буквально, "we don't care to find out."

Это выглядит странно и в комментариях Джейсону приводят ключевые аргументы почему мы обычно хотим понять, как у нас что-то получилось.

Хотим повторить, хотим улучшить результат, а для этого надо знать «как».

По Дойчу, знания это модели реальности (он говорит теории), которые обладают прогностической силой.

В этом их ценность, на которую руководителю Бейскампа указывают комментаторы и в этом понимании источник нашего неудомения, почему же он не хочет знать!?

Но кроме ценности, у знаний еще есть стоимость их получения.

Бейскамп (и еще точнее их бывший СТО) – авторы подхода Shape Up, который буквально заставляет нас всегда думать о том, сколько мы готовы потратить, чтобы чего-то достигнуть.

Поэтому Джейсон говорит:

We spent six weeks on the work, we did our best, and something worked out really, really well. We're thrilled with the outcome, and that's enough for us.
Важно, что эти 6 недель они потратили не на "проверку гипотез" и даже не на эксперименты, а на что-то достаточно очевидное.

По сути они следовали лучшим практикам:
– сделили тестовый проект, демонстриующий возможности продукта, убрали другой, чтобы не перегружать
– еще что-то упростили, что-то ускорили, что-то освежили
– добавили одно напоминание по почте
– переписали текст в онбоардинге

Почти ничего из этого не является рискованным изменением.

Единственный и главный риск – потратить время на то, что не сработает и от этого риска Бейскамп защищается очень просто – ограничивает свой "аппетит" 6 неделями и режет все что в них не войдет.

Таким образом, стоимость изменений фиксируется. И вместе с ней, фиксируется стоимость полученных знаний (и ограничивается их глубина).

Можно ли за следующие 6 недель разобраться что из 12 изменений на самом деле сработало? Возможно.

Готовы ли вы тратить больше времени, чтобы получить более точное знание? Фрид отвечает, что они не готовы.

У вас может быть другой ответ.

Главное чтобы вы сначала задали себе эти вопросы: сколько нам будет стоить это знание и готовы ли мы за него платить?

---
И напомню постскриптум из моего традиционного сентябрьского поздравления с днем знаний.

P.S. Стоимость знаний — одна из важнейших ментальных моделей для менеджера продуктов. За некоторое знание, действительно, приходиться платить неадекватно высокую цену. Раз уж эта цена (зачастую невольно) уже была заплачена, остаётся только сделать так, чтобы полученное знание не пропало и было использовано по назначению.

Жаль только, что пока отписалось меньше людей, чем поставили клоунские реакции. (Уже нет)

Мне всегда трудно заставить себя написать что-либо «к дате». Но это такая дата, что невозможно не сказать. Я просто попытаюсь зафиксировать те нехитрые тезисы, на которых базируется мой взгляд на ситуацию. Кажется, за три года они особо не изменились.

Россия совершила невынужденное, неспровоцированное, агрессивное нападение на Украину.

Главным ответственным за эту войну является Владимир Путин. Если бы не его личная позиция, этой войны можно было бы избежать. Я не считаю, что она была «запрограммирована» в 1991 году или даже в 2014-м.

Нападение на Украину я рассматриваю как масштабное государственное и военное преступление. В рамках которого совершались и меньшие, но от того не менее ужасные преступления — вроде резни в Буче.

Вместе с Путиным ответственность за эту войну разделяют многие россияне. Кто-то в большей степени (соратники Путина, генералы, путинские политики и чиновники), кто-то в меньшей (например, пассивно поддерживающие эту войну). Вместе с тем, есть десятки миллионов россиян, которые не поддержали войну и продолжают считать ее безусловным злом, преступлением, ошибкой. Из-за страха репрессий эти люди вынуждены молчать, тогда как голоса поддерживающих войну пропаганда многократно усилила, создавая видимость народного единства. Это ложь.

Главное преступление, которое совершили Путин и его соратники, — по отношению к Украине и украинцам. Второе по важности преступление — зачастую не столь кровавое, но не менее подлое — по отношению к своим согражданам. Десятки миллионов были оболванены агрессивной пропагандой. Сотни тысяч мобилизованы (многие — помимо своей воли). Десятки тысяч убиты на войне, главная цель которой — продление власти Путина и путинизма как явления. Эти люди погибли не за Родину, а за режим, узурпировавший власть. Это трагедия нашего народа, которая, я надеюсь, еще будет осознана и понята в будущем.

И еще десятки миллионов вынуждены уже несколько лет жить в страхе, боясь сказать лишнее слово. В целом режим совершил предательство по отношению к россиянам, лишив многих из них жизненной перспективы и доверия к своей стране. Последствия этого будут сказываться не один год, чем бы ни завершилась российская агрессия.

Украина и украинцы проявили невероятную стойкость и мужество в защите своей Родины. Их поведение в последние три года лучше всего опровергает путинскую идею о том, что Украина — «ненастоящее государство», а украинцы — не отдельный народ. Мужество и героизм украинцев останутся в мировой истории.

Несмотря на огромные усилия, колоссальные затраченные ресурсы и сотни тысяч человеческих потерь, российская армия не смогла ни покорить Украину, ни захватить желанные крупные города (Харьков, Одессу, Киев), ни желаемую территорию (сейчас РФ контролирует меньше территории, чем в апреле 2022-го). В этом смысле война прекрасно продемонстрировала неэффективность путинской военно-политической машины (к счастью для украинцев).

Даже если Путин выторгует более-менее сносные для себя условия завершения войны, это не сделает его победителем. Хотя, вероятно, продлит существование его режима, что плохо для России и россиян. Что еще опаснее, подобная ситуация может стать прологом к более масштабной войне в перспективе нескольких лет. Пока в России не изменится политический режим, пока не будет построена демократия, эта опасность будет висеть над миром.

📢+45% к конверсии в подписку: как мы прокачали онбординг через опросы и кастомизацию в НаПоправку

Осенью прошлого года выступила на ProductSense. И знаете, мне понравилось делиться с аудиторией своим опытом! Это был мой первый подобный опыт в качестве спикера. Доклад даже вошел в топ-10 по полезности, вдвойне приятно 😀

Делюсь с вами своим выступлением, в котором разобрала:
• Как сегментировать пользователей в первой сессии, когда данных минимум;
• Что сработало (и не сработало) в кастомизации подписки;
• Как маркетинг может помогать продукту, а не просто гнать трафик.

➡️ Видео по ссылке

А здесь коллеги подняли конверсию на 45% и рассказывают как:

Baseсamp поднял конверсию из триала в платную подписку на 30%.

Но они даже не хотят задуматься о том, как им это удалось.

Мой комментарий завтра позже.

Ну, смотрите...

Речевая гигиена – странная вещь.

С одной стороны, какая, к черту, разница, какие именно маркеры ты используешь в своей речи? Кто вообще обращает внимание на мат, просторечия или, тем более, неотрефлексированные императивы? Мы что тут, дети или кисейные барышни?

С другой стороны, кто-то все-таки обращает.

Смотрите, когда вы говорите собеседнику: «Смотри, дело вот так обстоит...», вы начинаете свою фразу со слегка заувалированного «приказания».

Такие императивы, «сильно» звучат, мол «слушайте сюда», но чем больше ты на них начинаешь обращать внимание, тем яснее понимаешь, что в разговоре двух равных собеседников они не нужны.

Более того, такие мелочи, на самом деле, попытка манипуляции – скрытого воздействия одного собеседника на другого.

Использование «смотри», «на самом деле», «слушай» вместо «я думаю что» – это подмена, приукрашивание настоящего положения дел.

Ваш собеседник не должен никуда смотреть или вас слушать – если вы находитесь в равноценных отношениях, то ваша задача убедить его обратить внимание на ваши аргументы и принять их на основе их имманентной ценности.

Нет никакого «на самом деле» (моя самая частая речевая ошибка) – есть только «я так считаю».

Сила аргументов определяется не использованным для их выражения языком, а соответствием этих аргументов реальности – моделями, которые обладают доказанной прогностической способностью.

Про хэндбук Дуолинго и RICE

Результаты относительно несерьезного пятничного RICE-опроса я хочу использовать чтобы проиллюстрировать основные ловушки этого "метода":

– Мы всегда переоцениваем Reach. После 5-го поста в моей продуктовой папке (а оттуда давно выкинуты "профессиональные СМИ") я думал, что буквально все уже видели анонс этого хэндбука так или иначе. На самом деле, только треть моей аудитории ответила, что уже знает про этот артефакт.

– Мы всегда недооцениваем Effort: всего 15 процентов ответивших на вопрос, потратили усилия чтобы скачать и хотя бы просмотреть пдфку. А представляете сколько сил было затрачено на ее выпуск? Понятно, что мы считаем только свой эффорт, но мы и его-то не умеем правильно оценить, что уж говорить о правильной оценке чужих сил и готовности их на что либо тратить.

– С Impact'ом самое интересное: в комментариях коллега-продакт задается вопросом, как можно сказать, что настолько универсальное содержание не применимо к чьей-то работе? При всей справедливости вопроса это отличный пример когнитивных ловушек, в которые мы все попадаем, когда пытаемся оценить потенциальный эффект чего угодно, от выпуска новой фичи, до изменения процессов. Самый просто способ систематически улучшать любую оценку – калибровка: через достаточное после выкатки изменений время – посмотрите на ваши исходные оценки и сравните их с реальными затратами и эффектом. Если соотношение по любому параметру будет лучше чем 1:5 – мой вам респект.

– Наконец, Confidence... Cамый "ироничный" вопрос специально был сформулирован соответствующим образом. Мы всегда слишком во всем уверены. Вопрос только в том, готовы ли мы в этом хотя бы самим себе признаться, не говоря уже о публичном высказывании соответствующей позиции. Быть в чем-то неуверенным – жестоко наказывается в типичных ситуациях социального и рабочего взаимодействия. Поэтому важно учиться хотя бы самим себе признаваться в том, что мы чего-то не знаем и что-то не можем предсказать. Попробуйте, по-началу будет очень больно, но потом станет очень полезно.

Оглянитесь еще раз на результаты всех четырех опросов и ответьте, могли ли вы предсказать их результаты с достаточной точностью? Я нет.

Почему же вы так уверены в своей оценке "по-райсу" следующей фичи?

P.S. Никакого RICE, кстати, не должно быть, – reach всегда часть impact, если вы его правильно можете посчитать.

«Продуктовые гипотезы: источники и проверка» — новый вебинар от GoPractice.

🗓 Когда: 20 февраля, 19:00 (GMT +3).

📍Формат: онлайн

🔑 Почему правильное построение гипотез важно:

1. Помогает учитывать неопределенности и риски.
2. Позволяет определить путь до желаемого результата.
3. Дает возможность лучше подготовиться к изменениям рынка и конкуренции.

💡 На вебинаре вы узнаете:

- Зачем строить гипотезы и откуда они берутся.
- Как правильно сформулировать гипотезу.
- Какие исследования проводить, чтобы проверить гипотезу.

👥 Для кого вебинар?

- Продуктовые менеджеры любого уровня, от начинающих до CPO.
- Системные аналитики, разработчики, лиды и другие IT-специалисты, заинтересованные в развитии продуктов.
- Все, кто хочет научиться правильно формулировать и проверять продуктовые гипотезы.

🧠 Эксперт: Яна Паршина, Product Manager @ X5 Tech, ex-Sber, ex-Deloitte.

👉 Забронируйте место на вебинаре по ссылке. Количество мест ограничено.

https://gopractice.ru/p/events/7/ – делаем ставки...

"Версия для продактов" звучит интригующе ) Не пропустите ))

Эфир 👀 Как сделан Твиттер? Как должна работать расшифровка аудио? Как устроен Инстаграм?

Иногда, а за рубежом - часто, продакт-менеджерам задают на собеседовании такие вот вопросы. И продактам с нетехническим бэкгрундом приходится очень сложно, ведь в ответ ждут не бизнес-логику и не сценарии работы, а вполне себе технический ответ. А самое обидное, что мы все ответы прекрасно знаем, но рассказать вне своего продукта не можем.

То, что спрашивают, называется System Design. Именно о нем мы и поговорим на нашем эфире в субботу, 15 февраля.
С нами будет Владимир Невзоров, автор канала про System Design интервью, посвященного подготовке к этой секции разработчиков.

Я попросила рассказать нам специальную версию для продактов. Так, чтобы сложились основы и схема, на которую потом можно догружать деталей, и мы ещё не сошли с ума 🤣.

Итак, встречаемся на эфире System Design interview для продактов в субботу 15 февраля, в 17-00.

Ссылка на эфир
Если нужны напоминалки,⏰ можно зарегистрироваться на эфир через Timepad

P.S. Если получится, можете пробежаться до эфира глазами по статье на Habr, по уверениям, очень базовой

Таня, [ex-B2B 👩‍💻]
@productsgossip

Как сказал однажды Брюс Ли, я боюсь не продакта, который выучил 1 фреймворк, а продакта, который проверил 10 000 гипотез.

Еще один незаслуженно малоизвестный ТГ-канал: @dima_igrotech

Если вы хотя бы посматриваете в сторону внедрения элементов геймификации в своих продуктах – прочитайте сначала архив постов Дмитрия.

Av. de França, 79, Poblats Marítims, 46024 València

Аудитория как музыкальный инструмент (и мурашки по коже)

Вместо мемов по пятницам я постараюсь предлагать вам что-то полезное из самых разных областей. Сегодня – из музыки.

Современный классический композитор David Bruce сделал на этой неделе великолепный разбор того, как гениальный Jacob Collier использует аудиторию своих концертов в качестве музыкального инстурмента.

Для нас это отличный образец развития простой идеи с помощью коротких циклов обратной связи.

Начав с построения простых аккордов, Jacob через постоянные эксперименты добрался до виртуозного управления хором обычных людей, создающих по его просьбе-команде сложные созвучия, мелодию и даже полноценный аккомпанемент для его совместного номера с вокалистом Coldplay.

Даже если вы ничего не понимаете в музыкальной теории – просто послушайте как это звучит и посмотрите как это выглядит.

Выстроенный нарратив композитора (завязка, теория, история развития, кульминация, финал), кадры с очевидно счастливыми людьми и звучание хора, который превосходит свои же собственные ожидания, – лично у меня все это каждый раз вызывает мурашки по коже.

Если прошлая рекомендация была о самом полезном видео за неделю, то эта о самом вдохновляющем.

The INGENUITY of Jacob Collier's Audience Choir

Проекты, контексты и инструкции чату

Подсвечу вам важную фичу ChatGTP, которой, кажется не так много уделяют внимания – инструкции к конкретным проектам.

Эта штука наконец-то доехала до десктопного приложения (раньше приходилось пользоваться PWA) и вот как я ей пользуюсь:

Все мои запросы разделены либо по контекстам, либо по проектам:

– Ad hoc & How to's
– Me, myself and I
– Concepts & Books summaries
– Spanish
– Smartcat
– Re:List app
...

И в каждом «проекте» загружена собственная «инструкция».

В рабочем проекте прошу чат отвечать как опытный директор по продукту, использовать конкретные определения (догадайтесь каких терминов), следовать загруженному в специальном диалоге шаблону документации. Туда же подгружен контекст про компанию, в которой я работаю, и обяъснение основых специфических терминов.

В проекте куда уходят одноразовые задачи и вопросы "как это сделать?" зафиксирована просьба писать максимально короткие ответы без потери смысла, не придумывать ничего от себя, сначала искать в интернете и приводить ссылки на результаты.

В папке, где живут диалоги на испанском, инструкция очевидная: отвечать только на испанском,с учетом моего текущего уровня (А1-А2), но все остальное объяснять по английски.

(Глобальная инструкция, кстати, отвечать на русском, только если вопрос задан на этом языке).

В проекте где я уточняю значение понятий и прошу сделать для меня саммари книжек, кроме обязательных ссылок на источники, прошу чат занимать нейтральную позицию, подсвечивать разные точки зрения, обозначать неопределенность и обязательно приводить примеры использования в реальной жизни.

В итоге, каждый хорошо заданный контекст позволяет получить результат конкретного формата, что сильно улучшает его применимость.

Feel free to share your tips and tricks in the comments.

24 инструмента для «вайб кодинга»

Неймниг, конечно, основа любого брендинга...

Адрей придумал термин, который отлично описывает происходящее, ну а Джон успел протестировать аж целых 24 соответствующих неймингу инструмента.

В своем гайде в декабре я писал, что пользовался только GitHub Copilot, но с тех пор успел сделать пару рабочих прототипов в v0 от Vercel и для соответствующих задач это настолько круто, что сравнить можно только с ощущением от замены PSD-макетов на работающий HTML-прототип (с чего я когда-то очень давно начинал свою карьеру веб-дизайнера).

В подобрке по ссылке очень разные инструменты, смотрите, прикладывайте к вашим потребностям и начинайте использовать если еще не.

Это не просто выглядит, а уже является реальным "10х" преимуществом.

Тестировать идеи, коммуницировать со стейкхолдерами, показывать будущие фичи клиентам – лучшего и более экономного способа (как и HTML-прототипы когда-то) сейчас просто нет.

Эксперт по байесианству

Только начав писать этот пост я, с огромным удивлением, обнаружил что еще ни разу отчетливо не проговаривал здесь одну из важнейших для меня ментальных моделей – байесовскую вероятность и соответствующий подход к мышлению.

Упоминал уже пару раз, как само собой разумеющееся, но специально об этом не писал. А ведь такое мышление – ключевая привычка "рационального продакта". (серия постов начинается здесь, и смотрите оглавление, пожалуйста)

Парадоксальным образом, в этот раз тоже не расскажу.

Вместо этого порекомендую вам свежий ролик лучшего эксперта по байесианству в русскоязычном ютубе (это мое экспертное мнение) под названием "Кто твой авторитет?"

Плотность полезных ментальных моделей (от когнитивных искажений до Гудхартинга) в этом ролике зашкаливает, но главное что он показывает очень конкретный способ работы с экспертным мнением и авторитетами вокруг нас (напомню, что "Noise" важнее и практичнее даже чем "Thinking, Fast and Slow").

Продактам будет особенно полезно подумать о том, как мы воспринимаем экспертное мнение (здесь напомню про confidence meter) и о том, в каких ситуациях нас воспринимают как носителей авторитета.

И, соответственно, как под чужое авторитетное мнение не попадать, а свою экспертизу "развивать и продавать".

Потратьте, пожалуйста, 25 минут – даже если для вас это будет "повторением пройденного", то это уже будет не лишним. Но, в целом, я уверен, что для большинства аудитории этот ролик будет самым полезным, из тех, что вы посмотрите сегодня. (Для меня тоже).

Ссылка еще раз.

Не идти на компромиссы качества (и вынимать занозы)

Этот пост, прежде всего, напоминание самому себе, но уверен, у вас такое тоже бывало.

Приходите в новый продукт, начинаете с ним знакомиться и видите много всякой ерунды.

Тут нелогично, там стремно, то не работает, это выглядит устаревшим. Записываете это все в заметки по итогам онбоардинга и начинаете разбираться.

Стратегия, приоритеты, роадмапы – реальные интересы компании и отдельных стейкхолдеров диктуют повестку, а мелкая хрень остается нетронутой годами.

Через неделю – как раз год как я работаю в Smartcat, но одна из таких (малозаметных) заноз так и осталась в теле моей части пратформы.

Самое страшное, что у меня на прошлой неделе был шанс ее вытащить и я чуть его не проморгал.

Мы сейчас меняем одну мелочь и за ней можно было бы вытянуть еще 3-5 других, которые лежат в моих заметках с самой первой недели.

Проблема в том, что я слишком хорошо понимаю настоящие интересы компании и поэтому готов идти на компромиссы относительно качества некоторых решений. И делаю это буквально по привычке, даже когда, настоящей причины для этого нет. Вот прям как сейчас с мелочью, которую давно нужно было сделать и забыть как страшный сон.

Оглянитесь на свой бэклог, поднимите старые заметки – может быть и у вас такая заноза найдется. Вытащите и вздохнете с облегчением. А это уже дорогого стоит.

Референс и калибровка: фреймворк карьерного роста

На западном рынке есть целая индустрия бенчмаркинга зарплат и проектирования "карьерных лестниц".

Для ребят с постсоветского рынка, особенно со звонкими названиями должностей, полезно взглянуть на соответствующий референс и откалибровать представления о том, как их карьерный путь и достижения выглядят для некоторых нанимающих менеджеров в Европе и США.

По ссылке пример применения фреймворка от провайдера зарплатного бенчмаркинга Pave. Он определяет 5 уровней для менеджеров, + VP и Exec роли – всего 7 ступенек.

Спойлер: в корпорате, который пользуется подобными фреймворками, типичный критерий для позиции начинающейся с буквы С: 20+ years of leadership expereince.

C учетом того, что лидершип опыт тоже начинается не с вашей первой роли...

---
В 2005 году профессии менеджер продукта еще не было.

Как на разных рынках справляются с этим парадоксом? По-разному!

На одном – берут на такие должности людей с управленческим опытом в связанных сферах (маркетинг, продажи, разработка). На другом, создают должности типа "CPO мобильного приложения" в холдинге с 20 аппками.
---

Стартаперам: проходите мимо, это не тот гроус-фреймворк, который вы ищете. Разве что доживёте до поздних раундов, тогда он вам может пригодиться.

Зевающим и поставившим пальцы вниз – спасибо за реакцию!

Если вы подумали, что предыдущий пост это платная интеграция, то нет – это даже не бартер.

Это моя личная, unsolicited рекомендация потому что мне было важно обратить ваше внимание на важный пост и хороший авторский канал.

Если не постесняетесь, напишите, пожалуйста, почему поставили негативные реакции (у меня есть "гипотезы" хочу их подтвердить или опровергнуть).

Культура компании

Коллега и читатель канала написал короткую, но важную заметку про ценности компании и их поддержку конкретными процессами.

Если вы, вдруг, ищите работу, то на звонке с эйчаром полезно не просто спрашивать про ценности компании, а, заранее их узнав, аккуратно просить рассказать о том, как любая из них (обычно, та, что вас больше всего интересует) воплощается в конкретных процессах, влияет на них.

Так вы и сами продемонстрируете рекрутеру реальную заинтересованность и получите шанс узнать что-то важное (хотя бы по тому, как именно вам отвечают, а не что говорят).

Выше в ленте у Леонида посты о том, почему "работа" занимает только 35% работы, про знания и принципы и даже про эвристику, которой он дал собственную фамилию!

Рекомендую ))

Толстой о ведении профессионального телеграм-канала (1908 г.)

1. «Думаю, что писать надо, во-первых, только тогда, когда мысль, которую хочется выразить, так неотвязчива, что она до тех пор, пока, как умеешь, не выразишь ее, не отстанет от тебя.

Всякие же другие побуждения для писательства, тщеславные и, главное, отвратительные денежные, хотя и присоединяющиеся к главному, потребности выражения, только могут мешать искренности и достоинству писания. Этого надобно очень бояться.»

2. «Второе [...] – желание быть особенным, оригинальным, удивить, поразить читателя. Это еще вреднее тех побочных соображений, о которых я говорил в первой. Это исключает простоту. А простота – необходимое условие прекрасного.

3. «Третье: поспешность писания. Она и вредна, и, кроме того, есть признак отсутствия истинной потребности выразить свою мысль. Потому что если есть такая истинная потребность, то пишущий не пожалеет никаких трудов, ни времени для того, чтобы довести свою мысль до полной определенности и ясности. »

4. «Четвертое: желание отвечать вкусам и требованиям большинства читающей публики в данное время. Это особенно вредно и разрушает вперед уже все значение того, что пишется.

Значение ведь всякого словесного произведения только в том, что оно не в прямом смысле поучительно, как проповедь, но что оно открывает людям нечто новое, неизвестное мне и, большей частью, противоположное тому, что считается несомненным большой публикой.»

---

а) Перед вами хрестоматийный пример «деонтологической» этики. У других этических фреймворков будут другие предписания.

б) Сам небезгрешен, каюсь.

в) Именно потому что большинство ТГ-авторов этих "заповедей" классика не соблюдают – за последние 3 месяца в моей личной продуктовой папке остались почти без исключений только каналы из категорий "ad hoc" и "практики о практике".

Весь остальной шум превысил порог толерантности.