H₆₁ — он всего-лишь машина

👨‍🔬 Запустили АИ-ассистента по АБ-тестам от лабы

Я решил поиграть в эту игру, тк запросов на помощь становится все больше. Линейно за счет людей это качать уже не так эффективно.

Пока бот живет в корпоративном чате и обрабатывает 1 вопрос, не реагируя на историю треда.
Может такой набор юзкейсов:
1. Подсказать формулу
2. Подсказать как действовать в определенной ситуации
3. Помочь немного с кодом

📌 Главное он знает тонкости, которые с первого раза не нагуглишь или нагуглишь с ошибкой, что уже хорошо. Недели 2 поживет в бета-тесте. По сути не сильно уступает неповторимому оригиналу.
Сейчас обкатываем еще одного агента в работу с нашими страницами и тулами. Он будет дополнять ответ первого внутренними материалами, чтобы было еще релевантнее и полезнее!

🔧 Дальше уже начнет конкретные шаги предлагать и начнем встраивать на платформу. Думаю быстро уже пойдет, инфра готова и остается только тестировать и тюнить процессы

🧠 О дивный новый мир, где можно заплить за неделю-две помощника уровня мидл

P.S. А сам я сейчас начал играть с Flowise, поднял локально, закинул 15$ в OpenAI и тыкаюсь, весело и быстро можно собрать вполне рабочего агента)

H₆₀ — к истокам

Решил прорешать курс из 50 бесплатных задачек по SQL на литкоде. Буду делать по 3 штуки в день.

Чтобы было интереснее введу правила кодстайла и буду стараться их соблюдать. Их мне посоветовал мой коллега, поеделюсь ими и с вами:
1. Буду использовать шаблон WHERE 1=1
Чтобы легко добавлять или убирать условия, не затрагивая уже написанную часть запроса.
2. Разделяю логические блоки
Ставлю отступы и пустые строки между SELECT, FROM, JOIN/ON, WHERE, GROUP BY, HAVING, ORDER BY — так код проще читать.
3. Ключевые слова пишу строчными
Мне нравится вид select, from, where в нижнем регистре, и я стараюсь придерживаться этого стиля везде.
4. Использую CTE (WITH ... AS ...)
Вместо того чтобы писать один огромный запрос, разбиваю логику на несколько частей с понятными названиями.
5. Соблюдаю одинаковую последовательность
Стараюсь всегда идти по схеме: SELECT → FROM → JOIN ... ON → WHERE → GROUP BY → HAVING → ORDER BY — и сохраняю одинаковые отступы.
6. Предпочитаю явный JOIN
Использую JOIN ... ON ... вместо перечисления таблиц через запятую, чтобы логика соединений была прозрачна.
7. Избегаю SELECT *
Указываю конкретные столбцы, чтобы сразу видеть, какие именно данные я выбираю.
8. Даю осмысленные алиасы
Алиасы типа customer c помогают мне быстро понять, к каким данным я обращаюсь, без перегрузки кода непонятными сокращениями.
9. Комментирую сложные места
Если в запросе возникает хитрая логика или расчёты, оставляю короткие пояснения, чтобы и самому в будущем было проще вернуться к коду.
10. Думаю о производительности
Слежу за индексами и типами JOIN, иногда использую EXPLAIN на больших данных, чтобы понять, как запрос реально выполняется.

Удачи мне)))

P.S. Попросил GPT сгенерить пример такого запроса:

-- Использую CTE для выделения промежуточного результата
with monthly_sales as (
select
t.customer_id,
extract(month from t.order_date) as order_month,
sum(t.amount) as total_amount
from transactions as t
where 1=1
and t.status = 'COMPLETED'
group by
t.customer_id,
extract(month from t.order_date)
having sum(t.amount) > 100 -- Фильтруем слишком маленькие суммы на уровне группировки
)

select
c.customer_name,
m.order_month,
m.total_amount
from monthly_sales as m
inner join customers as c
on c.customer_id = m.customer_id
where 1=1
and m.total_amount > 5000 -- Берем только крупных покупателей
order by
m.order_month,
m.total_amount desc;

Я люблю исследования рынка продактов/ds/аналитиков, тк интересно как люди себя ощущают в рынке на разных ролях. Сам сейчас в связи с укрупнением полномочий и продакт, и аналитик, и проджект, и разраб немного)))

DevCrowd в четвёртый раз запускает исследование русскоязычных продакт-менеджеров!

Зачем участвовать?

Чтобы сравнить себя с рынком, понять, куда растёт профессия и как развивается сообщество.

Чем больше ответов — тем точнее картина: про навыки, зарплаты, инструменты, обучение и реальность работы продакта.

Поделитесь своим опытом — это помогает всей индустрии становиться взрослее и прозрачнее.

Результаты будут открыты в мае.

H₅₉ -- по всей Земле из Долгопрудной

Сейчас я еду со встречи выпускников Физтеха. Считаю обучение там все еще одним из лучших решений в моей жизни, вряд ли это когда-то поменяется. Было приятно увидеть много знакомых лиц, а также наладить контакты с кем-то новым.

Физтех -- невероятно сильное комьюнити: огромная экспертиза в любых вопросах и такая же огромная в любых вопросах поддержка. Конечно и челленджа твоих идей и действий бывает много ахах. Было несколько дискуссий о том как помочь Физтеху, что там происходит сейчас и я даже для себя наметил пару треков: запустить челлендж среди выпускников, стать ассоциированным партнеров Физтех-Союза и попробовать снова наладить сотрудничество с альма-матер по RnD.

Кстати в ходе дискуссий мы разбивались на команды и придумывали решения, забавно видеть как многие пришли примерно к одним и тем же мыслям, значит все согласны и проблему зарешаем!

Очень заряжает то как растут остальные выпускники: в учебе, карьере, даже семье. Хочется сразу и самому шевелиться еще быстрее. Помимо воспоминаний того у кого какие олимпиады и как жилось в общаге, конечно же, обсудили пару интересных коллабораций. Но о них попозже.

А какие комьюнити самые главные в вашей жизни?

H₅₈ — упорство и упоротость

Для внутреннего доклада готовим рассказ о том какие техники были применены в самом крупном кейсе по консалтингу для нашей команды и, пожалуй, самом масштабном АБ-тесте в этом году для всей компании.

Упоролись мы знатно. Сначала поставили крутую задачу оптимизации, потом придумали решение. А после оказалось, что для контроля стольких параметров в АБ не хватит населения России....

Пошла жара с уменьшением размера выборки: сплит сосисками и CUMPED — полностью наша команда затащила на уровне доказательства и оптимизации и... вот мы кратно ужали размер выборки и готовы закончить тест всего за 3мес вместо 6!

Сколько подходов вы узнаете?
Сколько применяли у себя?

H₅₇ — ask me anything

Решил устроить интерактивчик в четверг вечером и запустить AMA: ask me anything. Я пишу о чем мне интересно, но сейчас сфера моих интересов и рабочая ответственность очень разрастаются. Хочется поговорить о том, что важно вам, мои дорогие)

Так что кидайте ваши вопросы в комментарии, ставьте реакции на них, самые залайканные разберу подробно. Но я буду отвечать не только на самые популярные, постараюсь все разобрать.

Ответы упакую в отдельный пост или статью, на что-то запланирую себе серию публикаций.

P.S. я сгенерировал картинку к посту с помощью GPT 4o после нашумевшего обновления

H₅₆ — метрики самого главного продукта

Что бы кто ни говорил, но самый главный твой продукт — ты сам. Так что я считаю за его метриками следить очень и очень важно. Ведь это он тебе позволит тащить на работе, радоваться жизни, помогать близким и в конце концов писать об этом в телеге!

Чтобы следить за метриками качественно забрал сегодня наши с Женей кольца Oura 4 поколения.

Что умеет кольцо?
1. Отслеживает активность, причем очень хорошо. Всегда мотивирует подвигаться, я сегодня сразу же пошел нагуливать свою норму.
2. Следит за сном. У меня первый день носки после перерыва, так что пока нет данных
3. Следит за стрессом!! Предлагает подышать и расслабиться, когда ты стрессуешь, мелочь, но приятно
4. Строит общую метрику Resilience — способность восстанавливаться после стресса. Он ее формирует недели 2 и ты должен эту способность реально копить. Отличное напоминание о том, что готовность организма к критическим ситуациям — постоянный труд.

У нас уже было 3 поколение, я свое потерял в Ереване, но пока носил — очень приятно было носить и старался следить за здоровьем больше, чем сейчас. Так что теперь радостно вернусь в этот процесс.

Я считаю за своим состоянием следить крайне важно, ведь это делает нас и счастливее и эффективнее.
Вы как считаете? Следите за своим состоянием?

H₅₅ — найс ту мит ю

Недавно вышел пост о нашей команде в канале Карты, Деньги и Продукт. Я рассказал о том, как же все наши команды работают в связке и мы аплифтируем бизнес на много денег.
Также у меня некоторое время назад был пост-визитка

Важно заметить, что все о чем идет речь мы запустили всего за 1 год:
1. Аналитический консалтинг с денежным аплифтом в 3 бизнес-линиях: флагманские доклады на конференциях на стыке науки и больших аплифтов
2. Сеть из 14 команд по ревью экспериментов: мы начинали с 3 человек и теперь нас 40
3. Лаборатория прикладной статистики: ядро команды — все методы куются там
4. Обсчеты АБ-тестов для АБ-платформы: 10000+ экспериментов за 2024 год обсчитаны благодаря ей

С точки зрения карьеры это интересный трек, ты не растешь линейно, а создаешь возможности, ведь год назад не было этих направлений, кроме пункта 4, собственно на него меня и нанимали в начале.

Я сформулировал несколько принципов, которыми руководствуюсь я и ребята в команде:
1. Каждое исследование обязано закрывать бизнес-запрос, если не выстрелило ок, но целимся всегда в бизнесовое приложение, а не красоту научную.
2. Берем только самые большие кейсы и денежные этапы. Даже если сильнее слышно, что болит другое, станет больше ресурса — поможете другим
3. Постоянно учимся: лучшие практики у продуктовых команд спрашиваем, общаемся с коллегами в РФ и зарубежом
4. Все обязано быть доказуемо и проверяемо. Если ты не можешь обосновать выводы и за тобой их не могут проверить — их нет.

А какие принципы есть у вас?

H₅₄ — семь раз проверь один раз ML

Многие аналитики и дата-саентисты любят применять новые методы в работе. Оно и понятно: у тебя есть задача, ты прочитал статью, как что-то похожее решали в Гугл или Нетфликс и тебе кажется, что ты нашел то самое решение.

Но это большое заблуждение и далеко не каждый инструмент можно из коробки применить к своей задаче. У всего есть область применения и достоверно ты не повторишь то зачем это делали авторы, да и они могли просто ошибиться.

Любой инструмент требует настройки, любая теория проверки, это как в естественных науках, все-таки мы моделируем события реальной жизни и должны уметь их валидировать.
Провалидировать — это не один раз получить хороший результат, это не подогнать решение, мы больше не в лабе по физике.
Нужно непосредственно как у АБ теста приготовить дизайн исследования, найти валидные для проверки данные и не стесняясь прогнать в лучшем случае десятки раз.
Я сейчас много инвестирую времени, чтобы создать такую единую площадку для валидации и поиска DS решений у нас в Т.

Обычно ни один метод из статей, особенно такой чудодейственный, который позволяет не тратить деньги на эксперимент в реальной жизни не работает, если его провалидировать честным образом. У таких мощных моделей всегда много ограничений и их надо аккуратно настраивать. Не бегите за чудом, а ищите то, что подходит именно вам)

Узнал себя? Исправляйся!

Удачи в поиске и дотошности в валидации всем❤️

H₅₃ — как мы используем корреляции метрик, чтобы вытянуть больше пользы из А/B-тестов

В наших экспериментах мы считаем сотни метрик, и, конечно же, многие из них между собой коррелируют. Мы в лаборатории прикладной статистики не могли пройти мимо такой богатой информации: решили проверить, как корреляции могут прокачать анализ.

Зачем искать связи между метриками
1. CUPED, но круче
Про классический подход вы, слышали: когда берём базовую метрику (до запуска) и снижаем дисперсию результата. Мы же пошли дальше и придумали как эффективно делать CUMPED — более навороченную версию. Подробности скоро раскроем!

2. Многомерная задача
Если рассматривать наши метрики как «вектор», а ковариационную матрицу как аналог дисперсии, то открывается простор для более тонкой настройки. Это позволяет ловить сигналы, которые в «одномерном» мире мы бы пропустили.

3. Детективная работа в матрице корреляций
Часто метрики совпадают (или почти совпадают), есть зависимые группы. Увидев эти связи, можно:
- Упростить расчёты, убрав избыточные метрики
- Ускорить выводы для бизнеса
- Сохранить всю важную информацию, не теряя глубину анализа

Наша «корреляционная» дорожная карта
1. Матрица всех метрик со всеми: построили, поизучали и нашли кучу инсайтов.
2. Многомерный критерий: взяли векторы наших метрик, придумали оригинальный стат критерий с кодовым названием «Kim5+», проверили его на данных
3. CUMPED-методология: «прокачанный» вариант CUPED, где оптимально подбираем веса и параметры.
4. Сравним подходы из п.2 и п.3 и даже попробуем их комбинировать. Но это чуть позднее

Что вышло?
Результаты (а там есть на что посмотреть!) расскажем в следующих постах. Подписывайтесь и следите за обновлениями — будем делиться и математическими деталями, и реальными примерами, как это улучшило наши эксперименты.

H₅₂ — сказ о рынке АБ тестов

Сейчас копаю рынок продуктов и бизнесов в сфере АБ и продвинутой аналитики. Это отличный показатель того: живет ли рынок отлично без этого всего умного или все-таки это стандарт индустрии?

Всем известен список лучших платформ и машин для АБ:
1. Рома Филев
2. Optimizely, VWO, AB Tasty, Adobe Target, Google Optimize/Analytics, Oracle Maxymiser, Dynamic Yield, SiteSpect, Kameleoon, Unbounce, Convert.com, Freshmarketer, etc.

Так и чего там?
Согласно отчетам объем рынка сейчас $1,2млрд , а к 2033 станет $3,6млрд
Рост класс, но что-то маловато, да? Мемкоин какой-нибудь больше капитализации имеет....

НО! Давайте посмотрим еще на 2 параметра:
Объем рынка консалтинга в аналитике уже 23 миллиарда, а к 2030 году дорастет уже до 45!

А еще есть очень большой пребольшой драйвер — технологические компании со своими платформами:
1. Майкрософт 100 000 АБ в год
2. Букинг — 25 000 АБ в год
3. Амазон — 12 000 АБ в год

Т-банк между Букингом и Амазоном)

Эти АБ приносят им огромные аплифты в выручке, а значит тоже формируют рынок таких инструментов, такой экспертизы и практики по работе

Если раньше платформы таких бигтехов были недосягаемы, а сами они никогда бы не стали их продавать. Мы видим как Авито и Яндекс продают свои, зарубежом свою продает Спотифай.

Вывод такой: рынок греется, рынок растет, АБ больше не прикол от кружка математиков, а реальная бизнес необходимость, доступная уже и среднему и малому бизнесу

Будем ждать как это станет понятным всем инструментом и перестанет пугать или быть выстрелом в ногу из-за ошибок в деталях)
Рад быть частью этого рынка

H₅₁ — 20 лет развития экспериментов в Майкрософт

АБ-платформе Майкрософт 20 лет. Ребята вышли на уровень 100 000 экспериментов в год, что в несколько раз больше, чем у нас.

👀 О чем идет речь в статье?
На мой взгляд, отличной идее — давайте дадим крутым пользователям АБ-платформы писать к ней расширения.

💫 Почему это круто?
Это дает обширному числу очень дорогих специалистов распределенно контрибьютить в ваше развитие методологий, но сохранять единое ядро платформы: сервис метрик, компьют, систему управления.

💡 У нас так уже есть, но через людей:
Наша экосистема экспериментов в ядре содержит 3 составляющей:
1. Лаборатория прикладной статистики — держатели всей экспертизы по АБ и методологии
2. Клубы ЕЕ (experiment experts) — сеть команд, которая осуществляет ревью экспериментов, это сердце культуры экспериментов компании
3. АБ-платформа — она техническая реализация идей и наработок предыдущих 2 пунктов

⚡️Но у нас есть одно ключевое отличие:
Мы все практики синхронизируем, оставляя везде 1, но лучшую, по 1 лучшему инструменту для каждой задачи.

Почему так?
1. Наша экосистема продуктов слишком сильно запутана и влияет сама на себя. Это вам не Эксель и X-box, которые точно не пересекаются. Нам надо уметь все сравнивать, используя единые подходы, чтобы избежать лишних недопониманий
2. Прямо сейчас мы достаточно гибкие и все, кто создавал это с самого нуля еще в компании и готовы двигать вижн вместе: лаборатория, как и обсчетница, появились при мне и Вите, Кирилл тоже с нами все еще)

🚀 Майкрософт за 20 лет из АБ-инструментов выросли в маркетплейс решений для АБ-тестирования, а мы за год от АБ-платформы выросли в экосистему, но в своем стиле

Какой путь вам ближе?

H₅₀ — интернешонал экспириенс

Я ранее писал, что мы созванивались с Букингом и рассказывал в том числе про ЕЕ.
Буквально недавно мне предложили постетить их ежегодную конфу в Амстердаме и может получится даже рассказать про наш путь!

Очень приятно, когда труд так ценится и может быть полезен даже международному сообществу, поэтому я решил сделать 3 вещи:
1. Писать цикл статей про ЕЕ и наш АБ-путь, такой манифест и философские концепции с кейсами
2. Обязательно подготовлю полезный курс про: математику в аналитике и отдельно про правильную работу с числами в бизнесе. Очень чувствуется запрос этот при найме, я сам его постоянно ощущаю
3. Упакую наши практики по дизайну экспериментов в доступный вовне инструмент, чтобы вы могли удобно пользоваться ими и тоже что-то советовать)

Пункты 1 и 3 начну в марте, а пункт 2 в апреле, stay tuned)

H₄₈ — анонс

Я редко участвую в конфах, но несколько сезонов назад я присоединился к программном коммитете Подлодки и с тех пор не могу остановиться)
В этом сезоне я даже выступал и еще поучаствую в фан-ивенте

Тема этого сезона очень важная и максимально близкая для меня: Проверка гипотез

Я бы очень хотел, чтобы у вас была возможность поучаствовать, так что я разыграю 2 билета от себя среди подписчиков

Для участия в розыгрыше напишите вопрос про АБ-тестирование в комментарии, я выберу 2 самых интересных, отвечу на них и пришлю промокод на 100% скидку их авторам)

Итоги подведу завтра вечером, чтобы была возможность часть посмотреть в онлайне

H₄₇ — об оценке эффектов

Многие смотрят на российский рынок и видят: воистину год эффективности. Появляются новые механики монетизации, рынок перестраивается и много факторов тому причина.

Но как правильно и справедливо оценить эффект от вклада какой-нибудь бизнес-вертикали или юнита?
Многие делают "Вечный контроль" (или holdout в англ литературе) — отрубают на год или квартал у части пользователей функционал, обычно процент очень маленький и бизнес сильно не заденет, зато будет виден эффект. Кажется идеальный и честный метод, но какие у него подводные камни?

Если вы проверяете качество функции, а не бизнеса, то вы не можете просто ее "отрубить". Например нельзя отрубить пуш-маркетинг внутри приложения или отрубить МЛ в каких-либо процессах. Тк без него бизнес бы не стоял без дела, построили бы кучу if else, нашли бы вариант попроще и дешевле или дороже даже. Но точно бы что-то было.

Корректнее будет придумать здравый бейзлайн — заморозить резульаты на год, чтобы увидеть прирост от велью функции пуш-маркетинга или мл или еще как-нибудь подойти к оценке, но не просто вкл/выкл.

Про бизнес да, можно и отрубить, но тоже не так все просто. У текущих пользователей отнять нельзя — это уже другой эффект, это именно "отнять", а не "никогда не видеть". Так что лучше только у новых, но и с ними не так легко, а если им кто-то расскажет, что фича такая есть или просто увидят рекламу/у знакомых в интерфейсе. Как минимум надо будет эффект учесть и по каждому обращению фичу врубать.

Так что важно очень аккуратно на берегу договориться о том как вы честно свой вклад измерите, если есть такое желание. А то потом будет очень тяжело его доказывать, а если не докажете, то тяжело объяснять почему вы жертвовали удоством пользователей и монетизацией бизнеса ради бесполезной проверки.

Будьте внимательны)

H₄₆ — мудрость от самой известной совы

Начал читать The Duolinguo Handbook — базовые принципы Дуолингво и история их эволюции.

Сами принципы уже наводят на интересные мысли, сводятся к: думай в долгую, поднимай планку, деливери результат, показывай не словом, а делом и делай весело. Есть еще пункт про "Зеленую машину", это скорее обобщение на мой взгляд прошлых принципов

Я расскажу тут про первый раздел книжки, потом может разберу остальные. Take the long view.

Как понятно из названия это миссияцентричный подход, который говорит всегда думать о "глобальной цели/миссии", сначала он звучал как "Don’t Do Dumb S**t", что тоже отлично отражает идею)))
Ребята сформулировали миссию и несколько принципов по своим идеалам:
1. Программа для обучения актуальная и через 100 лет
2. Вера в технологии

Дальше они искали свой путь, опираясь на эти цели. Не буду все пересказывать, много прописных истин, покажу, что было необычно:
1. Технологию за новой фичей не развивают пока это не покажет свою эффективность. На века пишут не код, а делают продукт, который взаимодействует с пользователем. Так что надо развивать только то, что нужно будет надолго, а не пытаться сделать надежным и инженерно верным каждую часть. Не работает — выпиливаем
2. Исходя из миссии компания всегда тестировала способы доносить до пользователя то, что они хотят доносить. Маркетинг, мультяшность и игровые механики — логичный инструмент, который был заострен тысячами экспериментов
3. В поиске монетизации оставаться верными миссии, не закрывать пейволом кор ценность, но давать купить больше комфорта за денежки, вовлекая продукт настолько, что ты не хочешь им не платить.

Естественно это все приправлено бесконечными экспериментами, которые безусловно часть культуры от и до. Но больше про это в других главах.

Мне очень заходит читать сжатый опыт таких крутых проектов и переоткрывать для себя идеи, дополняя их виженом. Что из такого вдохновляет вас?

H₄₅ — техники самоспасения времени

У меня жестко потребляется рабочее время и постоянно происходит переключение внимания, но с требованием быть на 100% включенным. И я начал защищать свое внимание на работе и в личной жизни)

Когда я открыл ЕЕ — начало сыпаться много встреч в календаль для разбора экспериментов. Это дало огромную насмотренность, но переключение контекста стало, как в Тик-Токе. Тогда плавно мы пришли к франшизе команд и целой институции ревьюеров, стало полегче
Теперь мы открыли свой аналитический консалтинг и снова Тик-Ток в календаре.
А АБ-платформа с ее разработкой и лаборатория с ее RnD никуда не делись и там тоже много интересного и требующего внимания, по крайней мере сейчас.

Все это приправлено другим набором проектов, которые пока не выделились в отдельные треки. Но все требует зачастую ключевого участия и концентрацию внимания.
Я сначала посмотрел на Илона Маска и начал по красоте писать на встречи без адженды "а что мы хотим обсудить?" и какую-то часть удалось перенести и сделать эффективнее, но решил системно посмотреть, что можно сделать с календарем и своим вниманием?

1. Создаю "кэш" на каждый день — заметка куда скидываю все, что куда-то обещал или кто-то обещал мне, чтобы потом разобрать. Помогает не терять мелочи
2. Пишу план на неделю с 1-2 главными задачами на день, которые надо закрывать. Очень помогает держать фокус
3. Занимаю время на обеды за 2 недели. Это качественно поднимает уровень жизни
4. Стараюсь создать "день без встреч" — говорят просто сильно поднимает продуктивность, раньше такой был, год назад или чуть больше. Правда круто
5. Стараюсь сделать "окна без встреч" — непрерывно утром или вечером время на поработать без месседженра и звонков. Пока не смог ввести, как и предыдущий пункт, но сделаю обязательно

Даже с 3/5 мне стало сильно легче и я вижу как растет организованность и продуктивность лично у меня. До конца квартала хочу ввести все 5 правил и посмотреть как пойдет.

Также запланировал великую реформу папок в телеге, а инсту удалил. Стало сильно легче, все-таки, когда внимание не в расфокусе и ты не голодный, мозг дольше и лучше соображает. Всем советую
Какие у вас личные правила по эффективности?

H₄₄ — как оценить пользу от своей АБ инфры?

Наткнулся на интересную статью об оценке пользы системы АБ тестирования и инвестирования в АБ-тестирование как направление в бизнесе.

Общая мысль такая:
Классический подход говорит нам, что мы должны сложить аплифты от всех АБ и сказать что вот он эффект

В статье рассуждается, что важно еще учесть потери от тех фич, которые АБ остановил от выкатки.

Можно разгонять эту мысль и дойти до того, что без АБ фичи выкатывались бы еще чаще, учесть, а потом умножить итоговый убыток от таких действий (а это почти всегда убыток, так как неудачных идей больше, чем удачных)

Но я считаю это уже перебор и сам учет аплифтов — вещь точно правильная, но они не наслаиваются линейно, одна фича часто каннибализирует эффект другой и просто сложить не правильно. Для более честного замера делают Вечные Контроли — замораживают на квартал или более часть пользоваетелей от изменений и смотрят какой вклад это дало на таком длинном эксперименте

Лично я считаю еще очень недооцененная польза — то, что с АБ вы можете готовить просто ШИКАРНЫЕ данные для ваших моделей, которые будут сильно эффективнее работать с желаемыми вами эффектами, чем грязные данные, надерганные из исторички

Таким образом польза от АБ очень большая, обширная и я постоянно ее только переоткрываю для себя)

H₄₃ — Что посмотреть?

Я сам не имею личного топа видосов по АБ, обычно я материалы читаю, а не смотрю видео, мне так проще воспринимать.
Но знаю, что многим потреблять видеоконтент гораздо комфортнее!

Делюсь с вами списком видосов от мэтра и его личными заметками. Лично я планирую прогнать все видосы через сеточку, прочитать ее саммари и уже выбрать после что буду смотреть из них. Поделюсь с вами полуфабрикатом попозже.

После анализа этих видео сделаю свою табличку и пополню видосами на русском, которые мне лично зашли.

Думаю полезно это будет продуктовым аналитикам и продактам в части бизнес-контекста (по названию сразу понятно что есть что), а продуктовым аналитикам и дата-саентистам помогут те лекции и мокапы интервью, которые там есть

Sharin is caring как говорится)

Ставьте 🔥 если вам было бы интересно такое по статьям
Пишите в комменты видосы, которые считаете легендарными по теме и около нее)

H₄₂ — о том насколько ваша интуиция может победить статистику

Часто слышите от бизнеса "Давайте уже завершим этот эксперимент, результат же очевиден"? Или сами испытываете такое искушение?
Предлагаю простой эксперимент, который наглядно покажет опасность преждевременных выводов.

Что нужно сделать:

1. Задизайните полноценный A/B-тест:
- Определите целевой сегмент
- Выберите ключевые метрики
- Рассчитайте ожидаемый эффект
- Определите необходимый размер выборки и длительность теста

2. Запустите параллельно:
- Ваш задизайненный A/B-тест
- Несколько A/A-тестов

3. Проведите эксперимент по угадыванию результата:
- Попробуйте определить, какой из тестов является вашим A/B-тестом, а какие - контрольными A/A на разных сроках:
- После 1-го дня
- После 3-х дней
- После 7-ми дней
- И так далее

Почему это работает:

Такое упражнение наглядно демонстрирует, как легко принять случайные колебания за реальный эффект. Когда вы не можете отличить A/B от A/A-тестов, становится очевидно, почему "подглядывание" и преждевременное завершение тестов может привести к ложным выводам.

Вывод:
Не лезьте вперед Фишера в пекло и делаете аккуратно, по матчасти

H₄₁ — ты норм?

"Ты нормальный? А ничо тот факт, что ЦПТ?"

Нужно ли знать что-то кроме нормального распределения?
Если хочешь прорваться за уровень middle +, то однозначно да

Начать можно с того, чтобы ответить себе на вопрос: почему мы вообще так часто сталкиваемся с нормальным распределением?
Многие знают, что есть какая-то там ЦПТ, но что именно она дает и какие границы применимости — нет.

Яркие примеры, когда все становится плохо:
1. Вас зачем-то попросили сравнить медианы в АБ-тесте
2. У вас очень низкие конверсии
3. Ваша метрика является ratio

Заходили ли вы за зеленый кружочек на рисунке?
Есть идеи почему все идет не так в примерах выше?
А если расскажу?