Как понять что ты стал блогером?

1. Тебе чаще пишут узнать цену на рекламу в блоге, чем hrы с новыми предложениями.

2. Сегодня встретил знакомого, с которым не виделись больше 10 лет, а он говорит я тебя недавно в рекламе в Яндекс директе видел😁

⚡️ Разбираем тестовое задание в Т-Банк и строим дашборд в SuperSet

Разборы тестовых заданий — это не просто полезно, а стратегически важно, если ты хочешь попасть в сильную компанию. Вы узнаете как технически выполнить задачу и научитесь превращать данные в бизнес-инсайты, оформлять их убедительно и выделяться среди других соискателей.

22 апреля в 18:30 по МСК проведем вебинар, где Денис Иванов разберет тестовое задание в Т-Банк и построит информативные визуализации в SuperSet. Денис — ведущий продуктовый аналитик.

Что будем делать на вебинаре:

🟠 Разберем структуру тестового задания и обсудим, на что обращают внимание рекрутеры;
🟠 Вместе решим задачи по SQL разной сложности;
🟠 Покажем, как работать с SuperSet и как создавать информативные визуализации;
🟠 Обсудим, какие типичные ошибки допускают кандидаты и как их избежать.

❗️ И, как всегда, ответим на все вопросы в прямом эфире.

Важно досмотреть вебинар до конца, чтобы узнать как правильно интерпретировать полученные данные и формулировать бизнес-инсайты!

😶Зарегистрироваться на бесплатный вебинар

«Ученые доказали»🧐

После того как я погрузился в статистический аппарат и АБ тесты, фраза «ученые доказали» вызывает больше скепсиса, чем доверия. Почему так?

1. Я не знаю кто и как спланировал эксперимент. Может там были ошибки.

2. Какой уровень альфа был использован в эксперименте. Согласитесь альфа 5% и 0.1% сильно разные цифры

3. Я не знаю насколько валидно были сформированы выборки.

4. Я знаю, что любое исследование можно «накрутить» и найти «нужный» ответ.

Список можно продолжать… Согласны или я загнался и не понимаю фундаментальности научных подходов?

Aha!25
29 и 30 мая в Москве пройдет Aha!25 — техническая конференция о product science, продуктовой аналитике и эффективности бизнеса.

В том году я классно затусил на этой конфе и познакомился с большим количеством крутых ребят. Поэтому рекомендую всем посетить, если будет возможность)

✅ Для тех кому надоела удаленка
Я уже 10 лет работаю удаленно и оно надоедает, хочется общения с коллегами. Если вам надоело сидеть на удаленке как мне, то советую посетить и кайфануть от общения.

✅ Для тех кто ищет работу
Если вы ищите работу, то тоже советую посетить, т.к. ребят активно хантят, а кроме этого вы быстро можете построить себе нетворк сеть рефералок и попасть в компанию мечты.

✅ Для тех кто хочет увидеть новые практики и передовые подходы
На Ахе много интересных докладов, там вам и АБ -тесты и ML и что аналитическая душа пожелает. Смотрите, впитывайте, внедряйте у себя.

👨‍💻 Программа
Тык сюда

Когда и где?
29 и 30 мая в Москве, МГУ, кластер «Ломоносов» (Раменский бульвар, 1).

Билеты тут
Тык сюда

Промокод 15%
BORZILO15

Запись вчерашнего стрима с Леной доступна на ютубе https://youtu.be/gqbuCF8B4Cg

Через 2 минуты стартуем стрим с Леной, зум на 100 мест. Запись будет

https://us06web.zoom.us/j/82861386388?pwd=gguHOFCxOwAQT5MzNK4t2aSaz98bDK.1

А есть тут люди из Магнитогорска и ближайших территорий?

Мы с Филиппом @konhis, автором канала про геймдев аналитику https://t.me/diceanalytics думаем 27-28 апреля провести встречу в Магнитогорске. Поговорить за аналитику и прочее.

Есть желающие встретиться где-нибудь в кафе?

Ваш админ открыл сезон весенних пикников😮

А у вас что нового? Были уже на природе? Делитесь фотами в комментах😊

📊 Посты про маркетинговую аналитику и исследования

Собрал подборку из постов канала. Делитесь с коллегами и изучайте сами)

1. Универсальное правило 3М, для планирования рекламной кампании
2. Почему важно анализировать трафик интернет магазина в разрезе старых/новых пользователей?
3. 22 способа найти информацию о целевой аудитории
4. Об аудитах сайтов..
5. Сегментирование и позиционирование
6. Как узнать кто из конкурентов серьезно занимается интернет маркетингом?
7. Базовая схема сквозной аналитики
8. Кратный рост VS тюнинг конверсии
9. Как e-mail рассылки могут воровать конверсии у других источников трафика?
10. Мини-гайд по профессии веб-аналитика
11. ROPO аналитика, что за зверь?
12. От чего зависит конверсия?
13. Скринкаст про модели атрибуции трафика
14. Где брать сильные гипотезы для роста конверсии?
15. Почему отчеты в системах веб-аналитики не отражают точную ситуацию?
16. Как в яндекс метрике создать когорту и посчитать для неё конверсию на основе пользователей, а не сеансов?
17. Ошибки в работе с коэффициентом конверсии
18. Метрики - это не просто цифра
19. Аналитика веб-сайтов - общее понимание системы
20. Почему анализ конкурентов беспонтовая фигня?
21. Что делать если упала конверсия в интернет магазине?
22. Почему анализ рекламного трафика сложнее чем кажется на первый взгляд?
23. Из-за чего дохнут стартапы?
24. Почему важно знать специфику рекламных каналов чтобы делать нормальный анализ и рекомендации?
25. Почему об анализе трафика нельзя думать как об анализе источника трафика?

Почему об анализе трафика нельзя думать как об анализе источника трафика?

Рассмотрим таргетированную рекламу например вкотнтакте.

Источник - Аудитория

В самом рекламном кабинете мы задаем таргетинги, т.е выбираем сегмент пользователей на кого будет запущена реклама, но это лишь один из элементов рекламной связки.


Объявление
Следующий важный элемент - объявление, так называемый креатив.

Если вы выбрали целевую аудиторию, но сделали нерелевантный креатив, то глядя на ROMI источника трафика вы увидите, что у вас плохой показатель.

Но это не значит, что источник трафика плохой. Это возможно вы сделали нерелевантное объявление.


Посадочная страница и оффер
Следующий элемент связки - страница куда приходит пользователь, которого вы привлекли и то торговое предложение, которое вы ему транслируете.

Возможно вы правильно настроили таргетинг, правильно сделали объявление, но если страница посадки работает криво или ваш оффер не закрывает потребность ЦА, то глядя на ROMI источника вы можете подумать, что это не рабочий источник трафика, где нет вашей ЦА, но проблема будет в посадке.

Выводы
Плохой ROMI далеко не всегда вызван тем, что у вас плохой источник трафика, т.е. не целевая аудитория

Важно думать о источнике трафика не просто как о источнике, а понимать, что внутри него рекламные связки.

Аудитория >объявление >посадка.

Маркетологам это известно, но когда аналитик приходит в маркетинг, то он часто не знает о этом нюансе.

Он видит просто табличку с цифрами по каналу трафика и если ROMI низкий, то делает вывод, что источник не качественный и его нужно отключить.

Такой подход может быть роковой ошибкой для бизнеса. Т.к. отключить источник трафика легко, а вот найти источник с целевой аудиторией и хорошими объемами проблема.

Для диагностики связки можно использовать как количественные методы, так и качественные, чтобы понять где именно проблема, но это прям тема отдельного поста.

Накидайте что ли реакций, чтобы я понял интересна ли вам маркетинговая аналитика и стоит ли про нее ✍️

C Леной мы познакомились на конференции Aha 2024, потом виделись на ММ. А теперь решили провести стрим.

Раньше Лена занималась биоинформатикой. Анализом генных сетей фитогормонов растений. Теперь же она продуктовый аналитик. Успела поработать в X5, а сейчас трудится в Литрес.

Кроме этого у неё есть клевый канал про статистику и использование языка R. Там она пишет много годных статей и раскрывает нюансы работы со статистическими методами.

На стриме поговорим:
1. Что такое "Анализ генных сетей фитогормонов растений"?
2. Почему решила уйти из науки в в аналитику?
3. Что было самое сложное при поиске первой работы аналитиком?
4. В чем отличие использования статистики в науке и в аналитике?
5. Почему всем нужен реальный опыт АБ тестов даже если хорошо знаешь статистику?
6. Действительно ли надо упарываться рядовому аналитику в статистику или хватит какой-то базы?

Стрим состоится 16 апреля, в 19.00 мск. Ссылки на трансляцию скинем в день проведения стрима.

Когда сказали, что рекламная аналитика это просто.

Почему важно знать специфику рекламных каналов чтобы делать нормальный анализ и рекомендации?

Рассмотрим пример в табличке. Есть 4 канала трафика, по ним есть расходы на трафик, есть число пришедших пользователей, gmv - валовый доход.

Маржинальный доход на пользователя, рассчитан как (gmv - себестоимость - расходы на канл) / пользователи

У нас есть задача заработать определенную сумму прибыли через месяц.

Для этого вас попросили проанализировать каналы трафика и сказать куда стоит влить больше бюджета, чтобы выполнить цель по росту прибыли через месяц.

Глядя на табличку, первое что бросается в глаза, что контекст на товарные категории дает убыток. Кажется его можно отключить и перераспределить бюджет в каналы, которые даю положительную маржу на пользователя.

Вот тут начинается интересное. Сейчас поговорим про важность понимания специфики рекламных каналов.

Брендовый контекст
Это реклама по ключевым словам связанным с товарами нашего бренда.

Мы видим, что канал очень прибылен относительно других. Разумное предложение влить туда больше бюджета и масштабировать.

Но как правило брендовый контекст имеет очень малую емкость трафика и скорее всего эту емкость уже выгребли на максимум.

Даже если мы повысим ставки в рекламном кабинете, то скорее всего это приведет, только к увеличению рекламных расходов, но не масштабирует доход от канала. Т.е. скорее всего мы сильно уроним маржинальность, но не нарастим объем продаж.

Yandex organic
Это трафик из поисковой выдачи яндекса, т.е. условно бесплатные переходы на наш сайт, в качестве рекламного бюджета тут затраты на SEO.

Канал тоже выглядит прибыльным, можем масштабировать, но вспомним постановку задачи "куда стоит влить больше бюджета, чтобы выполнить цель по росту прибыли через месяц"

Т.е. нам важно достичь цели через месяц. SEO работает с задержкой.

Туда нельзя просто влить бюджет, нужно сделать новые страницы, оптимизировать их, подождать пока поисковик их проиндексирует, подождать апдейта поисковой системы.

Короче SEO требует времени, а у нас задача масштабироваться через месяц.

E-mail рассылки
Они тоже почти всегда имеют очень классные показатели рентабельности, но есть тоже нюанс.

E-mail рассылки это не канал привлечения новых пользователей, а канал повторных продаж текущим клиентам, т.е. тут тоже нельзя просто вложить в канал больше денег и получить новых продаж.

Т.е. сначала люди приходят на сайт из органики, из контекста, совершают первый заказ. Магазин получает их e-mail, т.е. подписная база растет через другие каналы.

Конечно можно сделать много рассылок по текущей клиентской базе. Это даст увеличение продаж и позволит достичь месячной цели, но скорее всего вы выжгете аудиторию и в следующем квартале этот канал отработает плохо.

Кроме этого вы рискуете попасть в спам фильтры почтовых сервисов из-за того что большое число клиентов будет отписываться и жаловаться на спам.

Контекст на товарные категории
Т.е. контекстная реклама на товары и категории вашего интернет магазина.

Как правило этот канал имеет большую емкость, это даже видно по числу привлеченных пользователей и туда можно вливать бюджеты для масштабирования.

Но мы видим, что канал работает в минус, т.е. если мы увеличим трафик, то масштабируем убыток. Что же делать?

Тут бы я предложил идти в этот канал на уровень рекламных кампаний, гео сегментов, типов устройств и попытаться найти убыточные сегменты и либо попытаться их оптимизировать или отключить.

Скорее всего там также есть и рентабельные кампании, с положительным доходом, их бы я попытался масштабировать, чтобы через месяц достичь цели по прибыли

Этим постом я хотел показать важность понимания каналов трафика при анализе рекламы и что там все далеко не линейно и очевидно.

Я знаю что тут есть маркетологи и спецы по трафику, так что дополняйте в комментах или наоборот опровергните мои доводы)

Из-за чего дохнут стартапы? ⚰️

Где-то в интернете есть статистика, что-то типа только 1 из 10 запущенных бизнесов выживает. Наверное многие слышали, про product-market fit. Т.е. ваш продукт должен быть нужен рынку, точнее у людей должна быть какая-то задача, которую ваш продукт может решить и люди готовы за это платить.

Кажется, что вот он святой грааль, стоит найти product-market fit и бизнес полетит. Не полетит. Большинство стартапов дохнет, т.к. не может сделать product-channel fit.

Если отбросить модные термины, то product-channel fit - это про то чтобы найти каналы трафика в которых будет ваша целевая аудитория, юнит-экономика бизнеса будет работать в плюс и объем трафика будет позволять масштабироваться.

Существует просто огромное множество каналов трафика, я как-то раз составлял список, у меня получилось около 50, думаю при желании можно найти еще больше.

Каждый канал будет иметь свою емкость, свою специфику управления, свою долю релевантной аудитории для вашего продукта и свою экономику.

Даже если вам удалось найти product-channel fit, то неизбежно вас ждет сюрпрайз. Каждый год стоимость рекламы стремительно растет. Если у вас есть доступ к каким-то рекламным кабинетам, то можете увидеть, что стоимость клика везде с каждым годом растет и это не какой-то маленький прирост.

В зависимости от тематики, реклама с каждым годом дорожает на десятки, а иногда и сотни процентов. Т.е. юнит-экономика постоянно смещается в отрицательную сторону, т.к. растет расходная часть.

Добавьте ко всему этому еще сложности с анализом трафика и вот вы уже мчитесь на горящем велосипеде, который необходимо постоянно тушить, чтобы бизнес не закрылся.

Поэтому я считаю, что для аналитиков, продактов, маркетологов умение анализировать рекламные каналы, а также знание багов, подводных камней и специфики является крайне важным и конкурентным навыком, если вы хотите помогать бизнесу расти.

Жиза или нет?

Почему анализ рекламного трафика сложнее чем кажется на первый взгляд?📊
Поначалу когда говорят про анализ трафика, то кажется что там анализировать берем доходы и расходы и считаем какую-нибудь окупаемость или CAC, но когда мы пойдем в детали, то там начнется самое интересное от чего может начать дергаться глаз.

1. Системы веб-аналитики фиксируют не всех пользователей и не все заявки.
Могут быть подвергнуты еще куче искажений, метрики посчитанные по таким данным могут быть тоже очень неточными.

2. Как свести все данные по доходам и расходам на уровне отдельного пользователя.
Если по доходам это в принципе решается, тем что мы можем выдернуть данные из crm, если мы туда передаем id пользователя, то вот с расходами сложнее, т.к. в стате рекламных систем нет никаких id пользователей, чтобы построить провязку расходов для отдельного пользователя.

3. Как именно считать метрики?
По когортам пользователей или просто на всем объеме трафика пришедшего за календарный период?

4. Какому рекламному каналу засчитать конверсию клиента?
Часть пользователей до того как совершит первую покупку посещает сайт несколько раз используя разные источники трафика и тут встает вопрос атрибуции, как именно будем делить ценность от конверсии между источниками трафика.

5.Окно дозревания конверсий
Если у вас продукт с долгим циклом сделки, то пользователь может долго ходить и думать над тем чтобы совершить покупку. Если раньше времени подвести итоги по рекламным кампаниям, то вы рискуете не досчитаться куска конверсий и посчитать, что реклама не эффективна.

6. Отсутствие учета LTV
Сейчас многие бизнесы ничего не зарабатывают на первой сделке, т.к. высокая стоимость привлечения. Т.е. на первой сделке многие РК убыточны, но при этом мы не можем ждать полгода повторных продаж по новым клиентам, чтобы принять решение о эффективности канала.

7. Специфика рекламных каналов
Мало проанализировать каналы, надо принять решение о том какие масштабировать, какие оптимизировать, а какие оставить собирать больше данных.

Например, брендовые рекламные кампании почти всегда показывают хороший ROI, но мы не можем их масштабировать, т.к. они всегда имеют очень ограниченную емкость. Скорее всего попытка масштабирования приведет только к росту расходов, но не повлияет на рост дохода.

8. В каких сегментах вообще анализировать данные?
Можно очень тонко нарезать трафик перекрестив кучу сегментов и ничего не понять, т.к. сегменты будут микроскопические по объему трафика, а можно остаться на самых верхних уровнях сегментации и упустить сегменты, которые требовали оптимизации.

Это лишь небольшая часть вопросов, которая встает перед тем кто пытается проанализировать рекламный трафик. Расскажите, вы сталкивались с такой задачей и описанными проблемами?

🚀Прими участие в ML Cup 2025 от Авито и выиграй 1,2 миллиона рублей!

Ты — специалист в области машинного обучения? Хочешь проверить свои силы в реальных задачах, с которыми ежедневно сталкиваются 1000+ специалистов Авито? Тогда не упусти шанс стать частью крупнейшего соревнования в этой области!

Что тебя ждет:

☑️Денежный призовой фонд
☑️Автоматизированная оценка решений
☑️2 практические задачи:

1️⃣Персональные рекомендации — предскажи, какие товары вызовут интерес у миллионов пользователей → ссылка на регистрацию.

2️⃣Поиск дублей — как с помощью CV находить похожие объявления даже при разных текстах и ракурсах фото → ссылка на регистрацию.

Выбирай одну или обе задачи, показывай лучшие результаты и получай шанс на победу! Участвовать можно как индивидуально, так и в команде до 4 человек. Загружай до 5 решений в день.

Регистрация уже открыта! Подробности и анкета по ссылкам выше.

Почему АБ тест - это НЕ идеальный инструмент оценки изменений?⚠️

Я когда работал маркетологом и не вдавался в подробности АБ тестирования, то мне казалось, что АБ тестирование это такой железобетонный способ выяснить истину, какой из вариантов лучше. Но оказалось, что это далеко не так

1. Ошибки первого и второго рода
У вас нет абсолютной точности. Каждый АБ тест может дать ошибку. Т.е. вы можете найти отличия там где их нет или наоборот не найти отличия там где они есть

2. Вы точно не знаете какой срок проведения АБ теста и MDE вам нужен
Зачастую, хочется в АБ тестах находить даже самые маленькие эффекты, но тогда нам нужно проводить его бесконечно.

Т.е. мы не знаем заранее какой эффект даст АБ тест и не знаем сколько времени для обнаружения этого эффекта нам понадобится. С другой стороны мы не можем держать АБ тест вечно, чтобы найти даже самый маленький эффект.

3. Изменчивость результата во времени
Когда мы проводим АБ тест, то в продукте может быть один состав аудитории, потом мы решили привлечь новую аудиторию. Не факт, что эффект полученный в АБ тесте проведенном на одной аудитории сохраниться для другой аудитории

4. Размер эффекта неточный
Вот мы провели АБ тест, получили какие-то различия в метриках по вариантам. Это называется наблюдаемый эффект. Но если мы проведем еще один точно такой же АБ тест, то получим какой-то другой наблюдаемый эффект.

Т.е. мы никогда не можем абсолютно точно оценить реальный эффект. Конечно можно посмотреть на доверительный интервал эффекта, но это тоже не гарантирует нам абсолютной точности.

5. Проблемы выбора сегментов
Не всегда очевидно, стоит ли запускать АБ тест на весь объем трафика и оценивать все в совокупности или нужно выделять отдельные сегменты и по ним считать метрики, т.к. эффекты в этих сегментах могут быть противоположны. Т.е. на всем объеме трафика может быть отсутствие стат значимых изменений, а в сегментах они могут быть.

Когда решили переизобрести маркетинг

Вышло интервью про АБ тесты с моим участием. Пытался рассказывать просто, т.к. основная аудитория канала Антона маркетологи и собственники бизнеса

🧑‍💻 A/b тесты в рекламе простыми словами. Большое интервью!

Записали огненное интервью с Юрой Борзило по A/b тестам в рекламе!

1,5 часа полезного контента. Если вы еще не делаете a/b тесты, то бегом смотреть.

Юрий Борзило является ведущим продуктовым аналитиком Альфа-Банка. Обсудили с Юрой A/B тестирование в маркетинге наглядно и простым языком.

✅ Что на самом деле представляют собой A/B тесты.
✅ Когда нужно принять тесты в рекламе, а когда это пустая трата времени и бюджетов.
✅ Основные ошибки, которые совершают аналитик и маркетолог, когда хотят проверить свои гипотезы.
✅ Как внедрить тесты в продвижение своих продуктов и грамотно выстроить процесс.

Смотреть видео на YouTube
Смотреть видео на VK

❤️ Смотрите, ставьте лайки и задавайте свои вопросы!

5 рэд флагов аналитика 🚩

1. Да у нас с данными все нормально, я никогда не сверяю данные между системами.

2. Зачем тратить время, давай каждый день будем смотреть стат значимость АБ и остановим эксперимент раньше.

3. Какая разница как считать конверсию, хочешь сессии посчитаю, хочешь пользователи, хочешь события.

4. Зачем я буду уточнять детали по задаче, об этом должен был подумать постановщик.

5. Ну вот я посмотрел метрику на прошлой неделе и на этой, стало немного лучше, значит мы все правильно сделали.

Пишите в комменты ваши варианты👨‍💻

Решил выгрузить из головы список ошибок, которые можно допустить при анализе трафика.

За 10 минут насобирал 20 пунктов, думаю можно больше. При чем если человек не занимался трафиком в интернете, то они для него могут быть прям очень неочевидные.

Кажется, что из этого можно собрать отдельный курс.

Нашел в линкедыне

Приобрел книженцию. Читали уже?

Пиу-пиу! Attention 🚨
Я сделал первое видео для ютуба. С разбором кейса.

Кейс звучит так: "Как понять почему в тестовом варианте АБ теста метрика ухудшилась?"

Поделился своими 8 шагами по разбору в этой ситуации. Надеюсь на поддержку, подписки, лайки.

Фидбек, критика приветствуется. Если у вас есть продуктовый кейс для разбора, то пишите в комменты.

Ссылка на видео

Python блажь собеседований или реальная потребность бизнеса?

Давайте поговорим о том в каком объеме продуктовому аналитику надо знать питон и уметь прогать?

Расскажите как часто вы используете python и в каких кейсах.

На мой взгляд этот навык переоценен, в том плане что на собесе вас будут просить решать задачи на питоне, а потом может оказаться, что он вам будет нужен только раз в полгода и то на уровне крутить данные в pandas, а не прогать ООП с алгоритмами))

Продуктовые кейсы - моя любимая часть собеседований. Всегда предвкушаю эту секцию. Видимо 8 лет работы в маркетинге не прошли даром. Т.к. работа маркетолога в агентстве интернет-маркетинга это ежедневное решение таких кейсов.

У тебя есть проекты, по ним есть KPI. Твоя задача понять как из точки А прийти в точку Б. Для этого делаем исследования, пилим стратегию, делаем позиционирование продукту, оптимизируем конверсию, тестим рекламные кампании, собираем фидбек, анализируем метрики и вот в этом всем я жил 8 лет, пока не стал аналитиком)

Хочу поделиться этим опытом и запустить видео-разбор продуктовых кейсов на ютубе. Поэтому если у вас есть продуктовые кейсы с собеседований на аналитика/продакта/маркетолога, то пришлите пожалуйста мне)) А я буду пилить их разборы и выкладывать на ютубчег))

А расскажи как провести АБ тест?

Чтобы я спрашивал у кандидата на собесе на продуктового аналитика?👔

Недавно мне задали такой вопрос. Решил написать про это свое мнение.

Простой ответ
Спрашивал бы исходя из того что нужно компании, в которую нанимаем человека. Т.к. у компаний разные задачи и им нужны разные люди, но называют они их одинаково "продуктовый аналитик"


Ответ идеализированный
У меня есть некоторое идеальное представление о "продуктовом аналитике", что это такая позиция где сотрудник анализирует данные и через это помогает компании зарабатывать больше денег и делать жизнь пользователей лучше. Вот про найм человека на такую позицию я бы хотел поговорить.

1. Системное понимание бизнеса
Меня всегда корежит когда меня зовут собеседоваться на позиции под названием "аналитик-разработчик". Какой я вам разработчик, может еще предложите алгоритмы выучить? Для меня продуктовая аналитика это про бизнес. Т.е. это такой "экономист" новой цифровой эпохи, а в место предприятия у него продукт.

В этом продукте функционируют все те же процессы, как и в любом бизнесе. Привлечение, конвертация, удержание клиентов. Есть циклы производства (отгрузки фичей), есть найм, продажи. Все это части одной системы под названием бизнес.

Задача продуктового аналитика, через анализ данных влиять на бизнес. А как ты будешь делать выводы если не понимаешь как работает система, какие в ней существуют причинно-следственные связи?

В моём понимании идеализированный "продуктовый аналитик" ближе к маркетологу, чем к разработчику. Т.к. его задача помогать принимать решения влияющие на бизнес, а не код писать.

Соответственно тут бы я предлагал, порешать разных кейсов, проверил бы способность мыслить глобально и локально. Т.е. предложил бы решить какой-то кейс связанный со стратегией развития бизнеса и отдельно какой-нибудь локальный кейс например про оценку отдельный фичи и просчет юнит-экономики.

2. Статистика и понимание аспектов работы с данными в бизнесе
Статистика нам нужна, чтобы понимать что метрика это не просто плоская цифра. Метрика имеет объем, под объемом я имею в виду распределение.

Т.е. одно и то же значение метрики может иметь разный бизнес смысл, если мы взглянем на разные распределения.
АБ тесты, без понимания статистики, тут никуда. Надо понимать все эти ошибки первого, второго рода, MDE, дов интервалы и прочее.

Под аспектами работы с данными, я имею в виду то как вот эта вся статистика приземляется в бизнес. Тут бы я тоже дал кейсы и попросил найти в них проблемы.

Например дал бы кейс с проблемой усреднения метрик или кейс где мы взяяли дляя оценки пилота не репрезентативную выборку, таких кейсов можно придумать много. Но они на мой взгляд довольно показательны в плане понимания " а как и где применять всю эту статистику в бизнесе"

3. Техничка sql, python
Сразу скажу, я сам не люблю эту секцию на собесах и часто её заваливаю, т.к. мне это в целом не интересно как аналитику, если бы я любил прогать, пошел бы в разрабы. Считаю если человек имеет реальный опыт работы аналитиком, то скорее всего sql писать он умеет.

Согласитесь большинство sql конструкций типичного продуктового аналитика это не рокет сайенс и если что-то забыл всегда можно загуглить. Поэтому если у человека есть опыт работы и он хорошо прошел первые 2 секции и показал адекватность, то техничка это не столь важно.

А у вас какое мнение? Если согласны, пишите в комменты. если не согласны - тем более пишите в комменты😏

Стоит ли использовать пятерочки-дни в качестве единицы наблюдения в оффлайн экспериментах с магазинами?

Это пост-саммари. По результатам разбора вопроса экспертным советом нашего чата

Немного вводных
Когда нужно провести оффлайн эксперименты, например, в сети магазинов пятерочка протестировать акцию или выкладку товаров, то встает вопрос: Что взять в качестве единицы наблюдения?

- Отдельный клиент магазина. Мы не можем в одном магазине показать одному клиенту одну выкладку товара, а другому в этот же момент другую.

- Отдельный магазин. Взять в качестве единицы наблюдения отдельный магазин и по нему считать метрики. Тут проблема набрать сопоставимые выборки, т.к. магазинов относительно мало и все они могут сильно отличаться друг от друга по расположению, клиентопотоку и прочему. Кроме этого выборки будут маленькие, а нам бы хотелось бы дисперсию поменьше.

- Пятерочко - дни. Взять в качестве наблюдения каждый отдельный день эксперимента в магазине. Тут тоже все далеко не гладко. Одни и те же люди ходят в магазин, интерьер магазинов и персонал в них один и тот же.

Между днями может быть зависимость обусловленная этими особенностями. Зависимость в данных может способствовать увеличению числа ошибок первого рода в таких экспериментах, больше чем альфа.

Ниже еще важные нюансы и предложения по этой ситуации

1. Нужно подбирать не просто пятерочка-дни, а пятерочка-"кластер_времени", когда подобранные на А/А при прогоне ~10к итерации будет контроль ошибки 1го рода на заданном уровне. И не факт, что это (как затея) сработает, сразу скажу!

Для прочих: основная идея пятерочка-дней в том, что работают, скажем, две разные смены, а значит эта точка не столько единый магазин, сколько две "разные" точки. В этом смысле у нас, с некоторыми оговорками, увеличиваются данные на тест за тот же период.
(с) Сергей Матросов

2. Допущения о независимости пятерочко-дней зависят от самой сути эксперимента, в каких то случаях это возможно верное утверждение но в других скорее всего нет. Ибо локацию точка не меняет , ремонт, размер и прочие фичи , которые наверное могут быть важны в каких то ситуациях
(с) Дмитрий Варсанович

3. Я бы просто в регрессионную модель положил эти смены, дни недели и что там ещё вас смущает как ковариаты. Дёшево и сердито.
(c) Матвей Славенко

4. Пятерочка-дни мусор. Используй causal inference
(c) Анонимный источник из X5

5. Ссылка на пост Валеры Бабушкина

Напомню, что у нас есть уютный чат где обсуждается много интересных тем, вот из последнего

1. Догфудинг - исследования для бедных
2. АБ тесты не нужны - разгоняем холивар по высказыванию главы гроухака revolut
3. Хороший продукт - работает сразу, остальное скорее всего мишура
4. Пятерочко-дни как базис наблюдения для оффлайн экспериментов в магазинах

Присоединяйся и дай волю своему батхерту, если что-то из тем тебя задело https://t.me/bor_chat

#хиханьки

Освойте основной инструмент работы аналитика

Аналитику часто приходится обрабатывать огромные массивы информации, чтобы реально что-то «увидеть» в данных.

Это можно долго и тяжело делать с помощью Excel, чуть легче с помощью SQL. А в Pandas это можно сделать за несколько строк кода.

Отсюда и вытекает важность Pandas для аналитика - этот инструмент банально очень сильно делает жизнь проще и приятней, а работу - эффективней.

Научиться работать с Pandas на реальных задачах бизнеса можно на бесплатном курсе от Simulative.

За неделю обучения вы:
🟠 Освоите Pandas с нуля до продвинутых функций: сложная агрегация, оконные функции и т.д.

🟠 Научитесь решать реальные аналитические задачи: проводить многомерный ABC-анализ, XYZ-анализ, рассчитывать динамику продаж и т.д.

🟠 Сделаете собственный проект, который сможете добавить в портфолио: реальный кейс автоматизации обработки финансовой отчетности от крупной региональной аптечной сети

Начать учиться Pandas

🔥 Исследование рынка аналитиков 2024

NEWHR провели большое исследование рынка аналитиков. Я честно удивлен, что им удалось собрать больше 1000 респондентов - это прям круто для нашего небольшого рынка. Так что моё почтение ребятам за такое исследование))

Что из исследования выделил я?

1. Аналитики стали меньше ходить по собеседованиям. Я думал, что я один такой, за 2024 год ни разу не был на собеседованиях, отклонял предложения)

2. Авито - топ работодатель для аналитиков. Тут кажется все очевидно. Ребята реально вкладываются в HR бренд для аналитиков. У них был отдельный зал на Aha 2024, ведут каналы для аналитиков, пириходили несколько раз ко мне рекламироваться, на хабре пишут годные статьи про аналитику. Одним словом вкладываются в развитие HR бренда

3. Альфа-Банк к сожалению попал в антитоп компаний по привлекательности. Жаль, я старался, даже на Матемаркетинге выступил😁

4. Основная прикормка с которой дуреют аналитики: деньги и интересные задачи. Да, все мы такие.

Как говорил один из моих бывших руководителей: "Аналитики - это такой отдел, им надо платить много денег и не трогать".

5. Зарплаты у большинства аналитиков выросли на 10-30% за год. Хорошо, но по ощущениям - это чисто перекрыть инфляцию и то если повезет.

6. 45% опрошенных аналитиков - не делают АБ тесты. Что тоже нормально, т.к. не везде они нужны. ML - еще более редкий зверь, 65% аналитиков не используют ML в работе. Так что учите базу: SQL и BI, остальное потом))

Полный текст исследования здесь

Стартанули сегодня 3 поток марафона АБ тестов

Будем решать кейс по поиску точки роста в интернет магазине.

Анализировать метрики, планировать АБ тест, искать ошибки в данных и подводить итоги эксперимента.

Если кто-то из тех кто записывался потерялся, то напишите мне пожалуйста @borzilo_y

Стартанули сегодня 3 поток марафона АБ тестов

Будем решать кейс по поиску точки роста в интернет магазине.

Анализировать метрики, планировать АБ тест, искать ошибки в данных и подводить итоги эксперимента.

Если кто-то из тех кто записывался потерялся, то напишите мне пожалуйста @borzilo_y

Дорогие девушки! С праздником 8 марта. В этот день не думайте про АБ тесты и аналитику. Посвятите день отдыху и заботе о себе. SQL, python, дашборды никуда не денутся. С праздником💐💐💐

Дисперсия - священная корова АБ тестов 🐮
Хочу начать небольшой цикл статей про дисперсию. Сегодня хочу дать интуитивное понимание, что это такое и почему она так важна в контексте АБ тестов.

Начнем с примера. Вот у нас есть интернет магазин где пользователи совершают покупки и мы решили провести АБ тест формы оформления заказа. Вариант А - длинная форма заказа, вариант Б- короткая форма заказа

В итоге собрали выборки пользователей по суммам их заказов

Вариант А: 500, 0, 700, 0, 1000, 0, 1200 - среднее 485,7
Вариант Б: 3000, 800, 200, 0, 500, 0, 0 - среднее 642,85

Если посмотреть просто на выборки, то мы можем сказать, что среднее значение выборки Б больше А. В АБ тесте хотя мы и собираем выборки нас не интересует вопрос среднее какой из выборок больше.

Нас интересует другой вопрос, среднее в генеральной совокупности для какого из вариантов больше? Т.е. нас интересует, вот если бы мы могли взять собрать и замерить покупки всех возможных потенциальных пользователей сайта, то средняя сумма покупки в каком варианте была бы больше?

Но тут встают 2 проблемы
1. Мы не можем собрать всех потенциальных пользователей и оценить по ним метрику.
Т.к. это зачастую просто не реально, мы не можем дотянуться до всех.

2. Полученный набор значений в выборке может плохо отражать реальную ситуацию(среднее) в ГС.
Например, если бы мы провели эксперимент повторно и набирали бы выборки из той же самой ГС, то могли получить какие-то другие значения в выборках

Например
Вариант А: 300, 400, 3000, 0, 100, 600, 500 - среднее 700
Вариант Б: 0, 200, 900, 700, 2000, 0, 0 - среднее 542

Теперь среднее выборки А получилось больше чем Б, хотя мы брали данные из той же генеральной совокупности. Почему выборки взятые из одной и той же ГС могут отличаться?

1 - В силу того что мы случайно отбираем пользователей в группы и вот чисто в силу случая в одну выборку попало больше тех кто заплатил больше.
2 - Дисперсия. Это мера разброса(изменчивости) значений метрики.

Представим, что мы проводим АБ тест и знаем, что если мы покажем вариант А, то все будут покупать на 100, а если вариант Б то на 200.

Вариант А: 100, 100, 100, 100, 100, 100, 100 - среднее 100
Вариант Б: 200, 200, 200, 200, 200, 200, 200 - среднее 200

В данном случае у нас дисперсия будет равна 0. Т.е. нет никакой изменчивости по наблюдениям, они все одинаковы в рамках выборок и ГС.

Если бы мы знали, что у метрики нет никакой изменчивости, т.е. все значения наблюдений будут одинаковыми, то тогда бы нам и АБ тест в принципе был не нужен.

Мы могли бы получить просто по 1 значению в каждый из вариантов и тот в котором это наблюдение будет больше тот вариант и лучше, т.к. мы знаем что все остальные наблюдения и все значения в ГС будут точно такими же.

Но в реальности у нас всегда есть дисперсия, т.е. изменчивость значений и чем больше значения отличаются между собой внутри выборок, тем сложнее нам на глаз определить, а есть ли разница между выборками и экстраполировать этот вывод на ГС.

Чем отличается АБ тест и пилотный эксперимент?

АБ тест
АБ тест проводится тогда когда у нас есть некоторый предмет, который мы хотим изменить и посмотреть как изменится эффект от него (метрики). Например есть страница на сайте с формой сбора контактов, сделали копию страницы и новую форму, запускаем АБ тест с 2 версиями страницы и сравниваем метрики по вариантам. Думаю тут всем все понятно.

Пилотный эксперимент
Пилот - это запуск какого-то абсолютно нового, продукта, проекта, функциональности, которой раньше не существовало.

Например, работал бизнес всю жизнь в оффлайне, но решил, что надо попробовать привлекать клиентов онлайн. Запустили сайт, у нас нет другого сайта, который мы можем поставить в АБ тест, чтобы сравнить их эффективность.

Задача пилотного эксперимента - оценка реальности. Обычно у нас есть некоторые ожидания как наш новый сайт/продукт/etc буду вести себя в реальных условиях. Под ожиданиями я имею в виду метрики.

Обычно когда запускают новый онлайн-продукт заранее просчитывают разные модели юнит-экономики, при которых мы будем зарабатывать или получим убыток. Но это только модели мы не знаем как на самом деле отреагирует рынок на то что мы сделали, вот тут и нужен пилотный запуск (эксперимент).

Наша задача во время пилотного запуска показать наш продукт целевой аудитории (привлечь трафик). Собрать определенную выборку для того чтобы с определенной точностью оценить метрики, которые мы потом сможем сравнить с метриками заранее просчитанных моделей юнит-экономики и понять стоит ли нам масштабировать продукт в текущем виде или нам нужно что-то переделать.

При пилотных запусках также как и при АБ тестах важно правильно выбрать релевантную аудиторию и создать репрезентативную выборку. Вы можете создать реально классный продукт и правильно его позиционировать, но если привлечете нецелевую аудиторию, то метрики вам скажут что ваша продукт убыточен.

Кроме этого важно помнить, что метрики, которые мы видим - это оценки, а не истинные значения генеральной совокупности. Поэтому важно помнить, что почти любая метрика обладает дисперсией, а значит у нас всегда будет ошибка при оценке.

Чтобы минимизировать ошибку нам нужны выборки определенного размера, на которых мы сможем достаточно точно оценить истинные значения этих метрик, чтобы сделать вывод о эффективности нашей модели экономики.

💬 Собеседование - то что приходится проходить каждому аналитику

Вроде работаешь, делаешь задачи, пишешь sql, питоны, АБ тесты запускаешь, а на собесах валишься на простых вопросах. Проходить собесы - это отдельный навык.

Его также надо тренировать. В канале Datasim нашел прикольного бота, который помогает аналитикам подготовиться к собесам. Там можно порешать вопросы на SQL, python, продуктовую аналитику и другое. Бот бесплатный

Автор канала - Аня менторит и пишет интересные статьи. Мне понравилось её высказывание из манифеста аналитика с опытом "Нет ничего постоянного, кроме таблиц в личных схемах, которые почему-то используются в продовых витринах"

Начинающие аналитики часто теряются, когда нужно задать вопросы работодателю на собеседовании, Аня позаботилась и об этом, собрала для вас список вопросов, так что вы тоже можете прогреть HRа вопросами.

Качайтесь в боте, запоминайте вопросы для собесов и идите к своим 300к/наносек)

5 реальных причин SRM с которыми я сталкивался на практике

Если не знаете что такое SRM,то читайте эти статьи

https://t.me/y_borzilo/398
https://t.me/y_borzilo/541
https://t.me/y_borzilo/546

А теперь перейдем к практическому опыту

1. SRM из-за отличия в скорости загрузки страниц
Если у вас трекинг попадания пользователя происходит на фронте, т.е. в браузере и скорость загрузки контроля и теста будет сильно отличаться, то часть пользователей медленной страницы могут не дождаться её прогрузки и событие аб теста не успеет улететь в веб-аналитику.

Т.е. по части пользователей не будет никаких данных в логах и из-за этого мы будем видеть, что в одной группе значимо больше пользователей, чем в другой.

2. SRM из-за ошибок в отчетности
Я делал отчет для контроля АБ тестов и тестировал его на "стерильных АБ тестах", где была очень маленькая доля пользователей < 0.001% которые попадали в 2 варианта АБ теста и это никак не аффектило на SRM.

Но потом оказалось, что есть небольшая доля АБ тестов, в которых 0,5% пользователей попадает в несколько вариантов АБ теста и в таких АБ тестах мы выявляли SRM.

Оказалось, что когда я писал скрипт для отчета, то сделал так что всем пользователям, которые попадали в несколько вариантов в скрипте по итогу присваивался контроль.

Почти на всех АБ тестах доля тех кто попадал в 2 варианта эксперимента была очень маленькая и там это ни на что не влияло, а там где было около 0,5% пользователей попадающих в 2 варианта, такой расчет вызывал SRM

3. SRM из-за кук предыдущих экспериментов
В одной из платформ АБ тестов с которой я работал мы постоянно ловили дисбаланс выборок. В контроль всегда попадало больше пользователей чем в тест.

Оказалось, что платформа работает следующим образом: например был запущен АБ тест, его завершили, потом запустили новый АБ тест и если пользователь из контрольной группы старого АБ теста возвращался и попадал в новый эксперимент, то его относили к контрольной группе.

Т.е. он не проходил по новой процесс определения варианта в рамках нового АБ теста. Отсюда возникал дисбаланс и контрольная группа всегда получалась больше чем тестовая.

4. SRM из-за редиректов
Этот вариант перекликается с 1 вариантом. Существую схемы организации экспериментов когда пользователь приходит на страницу с экспериментом, сплитование происходит на стороне браузера после определения варианта к которому будет отнесен пользователь если выпал контроль, то продолжают загрузку текущей страницы, а если выпал тест, то пользователя с текущей страницы перенаправляют на другой url адрес.

Как правило редирект занимает какое-то время и тестовая страница грузится дольше чем контрольная и у части пользователей тестового варианта страница не успевает прогрузиться и не успевает улететь событие веб-аналитики в систему трекинга

5. SRM из-за сэмплирования
Системы веб-аналитики, да и некоторые СУБД имеют алгоритм сэмплирования. Это когда берется только часть данных и по ним оценивается реальное число.

Например, у вас по 50000 пользователей в каждом варианте, но включено сэмплирование и система берет 1000 из одного варианта, 800 из другого, по своим алгоритмам определяет "истинное" число.

Потом система вам говорит, что в одном варианте 50000 пользователей, а в другом 48000 пользователей. Вы получаете дисбаланс там где его нет, просто в силу того что в системе работает сэмплирование.

Напоследок напомню, что через 5 дней стартует марафон АБ тестов, где мы тоже будем учиться работать с SRM и другим особенностям АБ

АБ марафон поток 2 - финал ⚔️

Буквально только что провел финальный стрим для ребят со 2 потока марафона АБ тестов.

Каждый запуск для меня - это как маленькая жизнь. Новые люди, ежедневный контакт, ответы на вопросы, проверка домашек.

Хочется чтобы каждый смог забрать с марафона как можно больше знаний и навыков.

Хочется чтобы АБ тест из непонятного набора шагов в голове слушателя превратился в стройную систему логичных действий после прохождения программы.

На своей программе я стараюсь все упрощать и сделать интерактивным, чтобы каждый мог буквально пощупать АБ тест, понять процесс и взять алгоритм в реальную практику.

Через 7 дней, 10 марта стартует 3 поток марафона АБ тестов, на него осталось буквально несколько мест. Если хочешь успеть, то пиши мне @borzilo_y

P.S. Сегодня последний день ранней цены, завтра цена вырастет на 5000р

Страх ошибок и немного внутрянки марафона АБ

Один из основных страхов тех кто не запускал АБ тесты - "а вдруг я неправильно оценю результаты АБ теста или еще где-то накосячу". И этот страх имеет под собой основания, я знаю около 50 ошибок, которые можно допустим в процессе АБ.

Один из уроков марафона АБ тестов, как раз посвящен разбору типичных проблем, которые могут испортить вам результат АБ.

В марафоне АБ у нас есть заранее подготовленный датасет сырых данных, на основе которого мы учимся валидировать результат АБ теста.

Проверяем пропуски в данных, дубли, вычищаем офисные ip адреса, оцениваем дисбаланс выборок и прочее.

Марафон дает понять, что как и везде в работе с данными у вас скорее всего возникнут проблемы и нужно научиться видеть эти проблемы и работать с ними, а не просто лупить стат критерием по данным.

На 3 поток марафона АБ тестов осталось 5 свободных мест, с 3 марта будет повышение цены.

4 поток проводить в ближайшее время не планирую, т.к. уйду на проработку нового курса. Так что кто хотел успевайте, пишите в личку @borzilo_y

У нас в чате зашел спор. Кто должен генерировать гипотезы продакт или аналитик? Как вы считаете? Пишите в комменты

Надеюсь ничьи чувства картинка не оскорбляет, просто смешная😊

Жахнуть стат критерий - это не АБ тест 🤌

Пока я не занимался АБ тестами, я думал, что главное понять "как посчитать стат значимость результата АБ".

Когда я начал делать АБ, то оказалось, что применение стат теста это самая примитивная часть, которая составляет максимум 3% трудозатрат на АБ тест.

Работа над АБ тестом начинается задолго до АБ теста. Сначала нужно понять, а куда нам вообще копать.

Ведь мы можем весь продукт обвешать АБ тестами, потратить время, но никакого результата не получить.

Сначала нужно понять цели бизнеса, понять какие метрики нам нужно бустить для их достижения, найти бутылочное горлышко, которое сдерживает рост. Продиагностировать причины узкого места, сформировать гипотезы и только потом переходить к планированию АБ теста и его проведению.

В марафоне я постарался воплотить этот процесс, чтобы каждый посмотрел на АБ тесты не просто как на "статистический инструмент", а как на инструмент в рамках более глобального процесса развития бизнеса.

Поэтому весь марафон это единый кейс. В нем мы работаем в рамках модели интернет магазина и пытаемся найти способы поднять его доход, а АБ тест это лишь инструмент проверки гипотез, который мы также учимся правильно применять.

Мест с каждым днем становится меньше. Если вы хотите поработать над продуктовым кейсом и укрепить знания в АБ тестировании, то welcome в личку @borzilo_y

Чувствуете чем пахнет?🧐

Это весенний найм готовится ворваться вместе с мартом. Компании расчехляют позиции, а соискатели обновляют резюме.

У меня на марафоне АБ тестов большая часть студентов - это действующие аналитики, у которых не было практики в АБ, но они хотят в продукт.

Также есть продакты, маркетологи, которые пришли прокачать базу по АБ тестированию, даже есть продуктовые дизайнеры, т.к. их теперь тоже спрашивают за АБ тесты.

Один из частых вопросов на собеседовании это "расскажи по этапам как проводится АБ тест". Зачастую уже на этом вопросе многие кандидаты сыпятся, т.к. у них не было опыта в АБ.

В марафоне АБ тестов мы на конкретном примере пройдем весь путь работы с АБ тестом. Марафон не сделает из вас гуру АБ тестов или экспертом по статистике, но вы получите понимание стандартного процесса АБ тестирования. Потом на эту базу вы сможете легко добрать разные нюансы.

Марафон будет проходить 10-23 марта, можно успеть получить знания и уже в апреле выдавать уверенную базу по АБ тестам на собесах.

➡️ Подробная программа и цены здесь

Залетай пока места остались. Пиши мне @borzilo_y🧐

Марафон АБ тестов - 3 поток. Запись открыта ✅

В марте будет 3 поток марафона АБ тестов, 10-23 марта. В марафоне подробно разберем весь флоу АБ теста от поиска точки роста до принятия решения по результатам АБ.

1. Решим кейс по оценке юнит-экономики интернет магазина
2. Проведем сегментацию и построим воронки
3. Найдем точку роста
4. Проанализируем метрики и сформулируем гипотезы
5. Задизайним, провалидируем и оценим АБ тест с конверсией

Половина мест на 3 поток уже занята ребятами из предзаписи. На второй поток я даже не успел открыть запись, т.к. он набрался вместе с первым. Программа рассчитана на людей с нулевым и начальным уровнем в АБ тестах.

Программа на 14 дней, интенсивная, заниматься нужно каждый день, но сделана так чтобы человек мог совмещать с работой, в день потребуется около 15-90 минут. Будет 7 небольших теоретических занятий по 15-40 мин в записи, без воды и 5 ДЗ, которые буду проверять лично я.

➡️ Подробная программа и цены здесь

Залетай пока места остались. Пиши мне @borzilo_y

Отмечаю 4000 подписчиков. Спасибо всем кто читает😎

Наш вчерашний стрим с Антоном. Сорри за технические накладки, к сожалению не всем удалось попасть на стрим

Вот сюда идемте https://telemost.yandex.ru/j/27862974077450

Мы стартанули https://t.me/y_borzilo/959

Через час, в 19.00 мск, начинаем эфир с Антоном. Стримить будем по ссылке https://t.me/y_borzilo/959 Приходите)

1–2 марта проводим Weekend Offer Analytics

Устроиться в Яндекс за выходные — реально. Ищем крутых аналитиков с опытом работы от 2 лет на Python, готовых работать в офисном или гибридном режиме на территории России.

Подавайте заявку до 24 февраля — и всего за 2 дня пройдите все технические собеседования. После сможете пообщаться с одиннадцатью нанимающими командами и выбрать ту, которая покажется самой интересной. Если всё сложится хорошо, сразу же пришлём вам офер.

Узнать подробности и зарегистрироваться.

Антон работал сениор продактом глобального поиска ВКонтакте. Это довольно тяжелые и кроссвертикальные домены, много технички, ML и интерфейсов.

Проработал в компании около 2 лет, но в итоге принял решение уйти из всего этого великолепия в свои проекты.

Сейчас он развивает канал "Cредненький продакт", ведет карьерный консалтинг и помогает другим развивать свои ТГ каналы.

На стриме поговорим:
- почему променял уютное место в ВК на свои проекты?
- чем сейчас занимается Антон?
- как стартануть свои проекты?
- как монетизировать свое дело?
- как ощущает себя после 4 месяцев свободного плавания?
- сколько зарабатывает и хватает ли на жизнь в Красной поляне?
- готов ли вернуться в найм?

Стрим состоится 20 фев, в 19.00 мск, ссылку на стрим выложим в день проведения.

Если у вас есть какие-то вопросы к Антону, то пишите их в комменты.

Накидайте 🔥 если тема про проекты вне найма и заработок на них вам интересна. Тогда я позову еще гостей в эту рубрику)

Стартанули сегодня 2 поток марафона АБ тестов.

Будем решать кейс по поиску точки роста в интернет магазине.

Анализировать метрики, планировать АБ тест, искать ошибки в данных и подводить итоги эксперимента.

Несколько новостей
1️⃣Недавно мы поговорили с Андроном Алексаняном и договорились в марте провести стрим, на котором он расскажет свою историю о том куда и как могут развиваться, тертые калачи, т.е. мидл/сениор аналитики в рамках своих проектов.

Поговорим о том как Андрон занимался аналитическим консалтингом, запускал курсы и как строит свою школу аналитики 👨‍💻

2️⃣ Так же у Андрона скоро стартует тренинг "Как делать аналитику?", там он будет рассказывать о своём опыте использования аналитики в бизнес проектах, студенты будут решать кейсы, разбирать как аналитику взаимодействовать с бизнесом и извлекать пользу из данных.

Подробности в боте Андрона Советую заглянуть и оценить программу тренинга)

Как победить синдром самозванца?😥

Наверняка каждый читающий периодически грызет себя сомнения, "а достаточно ли я компетентен?", "а вдруг я не настоящий аналитик, вот в Авито настоящие аналитики" или "да как я буду просить такую зарплату, я же еще АБ тесты не выучил и CUPED не нюхал".

Меня тоже периодически накрывают похожие сомнения. В такие моменты я просто говорю себе: да я не лучший, да мне есть куда расти, да я периодически ошибаюсь и косячу, я вижу вокруг много людей, которые лучше меня разбираются в АБ тестах.

Я принимаю эту ситуацию и позволяю себе с этим жить. Попробуйте это просто принять и все будет норм) Тогда вы сможете позволить просить больше денег, вести блоги, выступать на конференциях и делать все то что вам не давал самозванец🚀

7 вопросов чтобы оценить уровень аналитики в компании

1. Есть ли у вас процесс контроля качества данных и как он выглядит?

2. Есть ли у вас документация и единый стандарт где описана методика расчета основных метрик?

3. Проверяете ли вы АБ тесты на SRM?

4. Какой процент расхождения данных у вас по ключевым показателям между разными системами?

5. Есть ли у вас посчитанная юнит-экономика?

6. Есть ли у вас сквозная аналитика от денег до денег?

7. Какие 3 последних решения вы приняли на основе анализа данных?

Можно задавать эти вопросы на собеседованиях, чтобы понять уровень аналитики в компании.

А какие бы вопросы задали вы чтобы понять уровень аналитики в компании? Пишите в комменты

Вы когда-нибудь бывали в квартире, где живут аналитики? Это место, где на кухне можно подслушать сплетни про A/Б-тесты и метрики, почитать честные мысли о работе в большой IT-компании и пообщаться с сотрудниками аналитики Авито не в рамках конференций, а просто в комментариях.

Попасть в это место довольно просто — подписывайтесь на телеграм-канал «Коммуналка аналитиков».

✍️ Аналитики Авито делятся невыдуманными историями из жизни и работы.
✍️ Рассказывают про успехи и фейлы из рабочих будней.
✍️ Обмениваются мемами, запускают голосования за любимые фильмы и активности.
✍️ Устраивают обсуждения с подписчиками канала.
✍️ Показывают, как устроена аналитическая культура комании изнутри.

И доказывают, что аналитика — это не про духоту, и у неё точно есть человеческое лицо.

В канале уже успели порассуждать о том:
→ Какие аналитики бывают?
→ Может ли хороший аналитик ошибаться?
→ Должен ли аналитик быть душнилой?

Подписывайтесь, если не душнилы 😎

✅Давайте поразмышляем над кейсом про выбор целевой метрики для АБ теста

Все кто потренировался и написал свои варианты в комменты - молодцы👍, посылаю вам лучи поддержки ☀️

1.Взять в качестве метрики коэффициент конверсии
К примеру если мы захотим взять метрику коэффициент конверсии в заявку на банковский продукт, то мы не сможем в лоб сравнить 2 варианта АБ теста, т.к. например в тестовом варианте может стать меньше заявок, за счет того что части пользователей, будет показываться баннер с ипотекой, но с точки зрения доходности конверсия в заявку на ипотеку может принести больше доход, чем заявка на дебетовку в контрольной версии. Т.е. конверсия например может ухудшится, но с точки зрения дохода для банка может стать лучше.

2. Взять в качестве метрики фактический доход с пользователя
Тут тоже не все гладко, т.к. это не прямая продажа, когда мы получаем деньги в моменте. Например дебетовая карта, вот банк её выдал клиенту, но еще не заработал на этом. Выдали ипотеку - тут опять, доход от клиента будет растянут на 20 лет, а часть клиентов обанкротится за это время. Давайте подержим АБ тест 20 лет 🤪

3. Прогнозный доход с пользователя
Можно на основе юнит экономики по каждому продукту проставить ценность для конверсии по каждому продукту и посчитать примерный доход. Можно попробовать сделать ML модель, которая будет предсказывать потенциальный доход по каждому клиенту и на основе метрики прогнозного дохода сравнить варианты.

Но тут тоже быть много проблем со сбором данных, обучением модели. Любая модель будет иметь ошибку. Может случится так что если эффект от АБ теста небольшой, то из-за ошибки модели мы его не заметим.

Решил обновить свою морду на аве, а то предыдущей фотке 10 лет уже🙂

Кейс "подбери метрику для АБ теста"

Давно у нас тут не было кейсов. Давайте порешаем. Представим, что у нас есть сайт банка. На одной из страниц есть 1 статичный баннер. На баннере рекламируется дебетовая карта. С баннера можно перейти на продуктовую страницу, где оставить заявку на получение этой карты.

У продакта возникла гипотеза, что можно сделать динамический баннер и при помощи ML определять баннер с каким продуктом показать каждому пользователю. Соответственно каждый баннер ведет на свою продуктовую страницу. Кажется, что идея хорошая, ведь это персонализация, мы будем показывать каждому конкретному пользователю то что для него наиболее релевантно.

Получается, что в контрольной версии у нас один статичный баннер с предложением дебетовой карты. В тестовой версии у нас 3 баннера один с предложением дебетовой карты, один с предложением кредитной карты, один с предложением ипотеки, а также ML алгоритм, который определяет какой из баннеров увидит отдельный пользователь.

Задача. Предложите целевую метрику(и) при помощи которой будете оценивать результат АБ теста, обоснуйте правильность предложенной метрики, порассуждайте какие могут быть подводные камни и сложности.

Оцени кейс 👍 👎

Только что мне в комментах предъявили за то что мой блог из аналитического превратился в личный г-блог.

Хочу прояснить некоторые детали. Блог называется «Борзило», на аватарке моя фотка.

Я это не только аналитик, но еще и человек со своими мыслями и переживаниями.

Я меняюсь, меняется и мой блог. Я не застыл в камне - изменения это сама жизнь.

У меня нет цели собрать самый большой блог, мне важнее собрать вокруг блога людей, которые хотят развиваться в аналитике и разделяют мои взгляды и ценности.

Так что всех кто нашел здесь что-то ценное рад видеть. А если вы не понимаете, что здесь делаете, то можете просто отписаться🙂

Гадкая сторона аналитической натуры😠

Последние пару месяцев наблюдаю за своими состояниями.

С одной стороны умение анализировать, раскладывать будущее на различные сценарии полезный навык.

Но другая сторона этого навыка - это сомнения и тревога. Зачастую в жизни каждого наступают моменты когда надо принять решение, поверить в себя.

Но ты как аналитик привык все анализировать и твой мозг всегда может нарисовать сценарии почему у тебя не получится.

И вот ты уже не веришь в себя, а нужно было всего лишь не ссать и решиться сделать задуманное.

Кстати, на мой взгляд это одна из проблем почему аналитику может быть тяжело стать продактом, т.к зачастую продукты на стадии поиска pmf держатся на вере фаундера или продакта.

Последнее время учусь отключать в себе режим аналитика и больше верить в себя и идти на перекор сомнениям. А у вас как с этим?

Перезагружаюсь) Я же обещал себе выбирать себя в новом году❤️

Помните я писал пост про 8 принципов, которые беру с собой в 2025 год.

Весь январь я старался их придерживаться и хочу поделиться тем к чему это привело.

Сразу скажу, что по ощущениям очень сильно бустанул сферы, которые отставали - это здоровье интересные движухи и путешествия.


1. Горы. 2 раза выбирался в горы на 3-5 часов с друзьями, приходилось тропить, довольно выматывает. Пытались найти замерзший водопад, но не успели дойти до темноты.

2. Прикольные движухи. Съездили на экскурсию на металлургический комбинат в литейный цех. Поиграли на арене виртуальной реальности. Посетил концерт. Отдохнул на турбазе.

3. Скинул 6 кг веса за 23 дня. Возобновил занятия в тренажерном зале.

4. Посетил 3 врачей и прошел 2 курса лечения.

5. Победил внутреннего бомжа и купил себе iPhone 15 pro max. Давно могу себе его позволить, но 5 лет ходил с realme, убеждая себя что iPhone мне не нужен. Понял что хочу снимать видосы. Буду пробовать)

6. Увеличил число подписчиков на канале на 10%, хотя пока не планировал в январе этим заниматься.

7. Начал проводить стримы с интересными людьми и первый мой собеседник оказался Илья Красинский.

8. Увеличил доход со своего блога в 2.5 раза с блога. АБ тесты как горячие пирожки😮

9. Пообщался с Глебом ака «Леопард» Михайловым. Глеб крутой чел и знает как делать блоги и курсы, так что мне есть что у него почерпнуть)

10. Еще раз победил своего внутреннего бомжа. С 30 января чилим с семьей на Пхукете. Это просто бомба. Впервые поехал из зимы в лето отдыхать) Взяли классный отель на первой береговой)

11. Забыл самое главное. Смог вернуть себе правильное состояние. Без него ничего бы не произошло. Состояние>мысль>действие

Как проверить свой SQL код на адекватность?


🔸1. Нужно понимать диапазон значений для показателей, которые ты считаешь.

Например, если я пишу SQL запрос для интернет магазина для подсчета конверсии в первую покупку, то знаю, что диапазон значений этого показателя 0-100%. Если получилось, что то вне этого диапазона, то где-то ошибка.

100% конверсии в первую покупку я тоже никогда не видел. В реальности диапазон ещё меньше, обычно 0-10%. Т.е. все что вне этого диапазона это подозрительно.

🔸 2. Обычно запрос представляет из себя набор отдельных подзапросов - CTE.

Каждый такой блок относительно простой и пишу я их последовательно понимая какой результат мне отдает каждый предыдущий блок. Отдельные итерации контролировать проще, чем дебажить весь код сразу.

🔸 3. После того как написал sql запрос можно сделать кросс чек и сравнить данные исходных таблиц и данные конечной таблицы.

Например, если в исходной таблице у тебя 1000 пользователей и ты понимаешь, что ты должен их всех учесть, то в в результирующем запросе можешь вывести дополнительный агрегатный столбец с числом пользователей, чтобы понять не потерялись ли пользователи или не задублировались ли значения пока писал запрос.

🔸 4. Если у тебя есть какая-то система с исходными данными, то можно сравнить рассчитанный на SQL показатель с показателем в этой системе.

Например у меня в интерфейсе Яндекс метрики по сегменту мобильных устройств конверсия 3%, а на сырых данных я насчитал 10%, довольно большое расхождение, нужно перепроверить.

Как прокачать самый главный навык аналитика

Написание кода, построение дашбордов и подсчет метрик — эти навыки давно уже стали необходимым минимумом для любого аналитика. Этого работодатель ждет от вас «по умолчанию».

А самый главный навык аналитика - уметь делать качественные выводы на основании отчетов, генерировать правильные гипотезы и дешево их проверять.

Именно этого ищут компании среди кандидатов и за это готовы платить большие зарплаты. Не зря же на собеседованиях в последнее время все чаще дают продуктовые кейсы.

И как раз про это будет рассказывать Андрон Алексанян на своем вебинаре «Как прокачать самый главный навык аналитика» 🔥

Вебинар пройдет завтра, 29 января, в 19:00 Мск. Регистрация — по ссылке.

Андрон прошел большой путь в аналитике и ему точно есть, чем поделиться. Он более 5 раз отстраивал аналитику в компаниях с нуля, а сейчас развивает быстрорастущую школу аналитики данных Simulative и консультирует крупные компании.

В общем, если «прокачать продуктовое мышление» для вас актуально — обязательно приходите на вебинар, будет полезно 👉🏻 ссылка.

Реклама. ООО АЙТИ РЕЗЮМЕ. ИНН 4025460134.

Немного про эксперименты на сайте Альфа-Банка