История A/B тестирования: первые тесты в бигтехе

Продолжаем разбирать историю A/B тестов — начало в этом посте.

Сегодня рассмотрим первопроходцев A/B в современном понимании. Точно сказать, какой именно тест был самым первым, нельзя, но ранние примеры приходятся на начало 2000-х:

📱 Amazon:
Amazon позиционирует себя как data-driven компания, где тестируют самые минимальные изменения интерфейса. Уже в 2004 году Рон Кохави представил доклад об их тестах.
Грег Линден предложил показывать персональные рекомендации на этапе чекаута ("Похожие товары" перед оплатой). Старший вице-президент по маркетингу был категорически против, опасаясь, что это отвлечет пользователей от покупки и снизит продажи.
Однако Линден все равно запустил A/B тест, в котором вариант с рекомендациями победил с таким отрывом, что отказ от этой идеи стоил бы Amazon миллионы долларов.

🔍Google:
Первый A/B тест провели в начале 2000х годов. UX-исследования показывали, что пользователи хотят видеть больше результатов поиска на странице: 20 лучше чем 10, 25 ещё лучше, 30 — идеально. Google провел A/B тест: в экспериментальной группе пользователям показывали 30 результатов поиска на одной странице.
Трафик в экспериментальной группе упал на 25% менее чем за шесть недель. Сотрудники задумались, почему это произошло. Одним из вариантов был парадокс выбора, когда пользователи из-за слишком большого количества вариантов не могут решить, что им выбрать.
Однако разгадка оказалась проста: скорость. Страницы с 30 результатами грузились дольше в среднем на 0.5 секунды, и этого оказалось достаточно, чтобы серьезно ухудшить пользовательский опыт, что повлекло за собой падение трафика и выручки. В результате Google остановился на 10 результатах поиска в выдаче, и это число используется до сих пор.

📱 Bing:
Сотрудник Bing предложил удлинить заголовки рекламы, добавив к ним первую строчку описания: группа A — короткий заголовок (Купить iPhone), группа B — длинный (Купить iPhone 5 с гарантией и доставкой). Идея казалась незначительной и полгода пылилась в бэклоге (очереди задач разработки), пока разработчик не решил её протестировать. Через несколько часов после старта теста сработал "revenue-too-high alert" — новый формат оказался "слишком хорош", подняв выручку на невероятные 12%. Это принесло Bing более $100M годового дохода в США, не ухудшив UX-метрики. Тест многократно повторяли, подтверждая результат (HBR, 2017).

📱 Netflix:
Тестировали обложки фильмов: группа A — стандартные постеры, группа B — персонализированные. Например, для фильма "Умница Уилл Хантинг" любителям романтики показывали кадры с Мэттом Дэймоном и Минни Драйвер, а фанатам комедий — с Робином Уильямсом, известным комиком. A/B тест показал, что персонализированные обложки значительно увеличили вовлечённость и персонализация стала стандартом Netflix (Netflix Tech Blog, 2017).

А вы замечали, что попали в A/B тест? Я недавно заметила, что я не попала в тестовую группу, когда у коллег изменился интерфейс гугл мита, а у меня нет. Однако примерно через неделю это изменение интерфейса доехало и до меня.

#AB_tests #analytics

А вот и запись стрима
https://youtu.be/gqbuCF8B4Cg

Как вкатиться в продуктовую аналитику с научным бэкграундом?
Насколько важна сильная база в статистике?

На эти и другие вопросы отвечу на стриме с Юрой Борзило, он крутой продуктовый аналитик в Альфа банке, автор канала про A/B тесты и продуктовую аналитику: https://t.me/y_borzilo

Напомню, что я раньше работала биоинформатиком в лаборатории, изучала генные сети фитогормонов растений. Теперь перекатилась в продуктовую аналитику в Литрес, провожу A/B тесты и исследования.

На стриме поговорим:
1. Что такое "Анализ генных сетей фитогормонов растений"?
2. Почему решила уйти из науки в в аналитику?
3. Что было самое сложное при поиске первой работы аналитиком?
4. В чем отличие использования статистики в науке и в аналитике?
5. Почему всем нужен реальный опыт A/B тестов даже если хорошо знаешь статистику?
6. Действительно ли надо упарываться рядовому аналитику в статистику или хватит какой-то базы?

Стрим состоится 16 апреля, в 19.00 МСК.
Ссылки на трансляцию пришлю в день проведения стрима, а также обновлю в этом посте:
а вот и она https://us06web.zoom.us/j/82861386388?pwd=gguHOFCxOwAQT5MzNK4t2aSaz98bDK.1, запись будет отдельно

Пишите вопросы в комментариях или во время стрима!

Ну как там с нормальным распределением для t-теста?

Уже завтра, 10 апреля в 19:00 МСК, будет долгожданная лекция про ненужность нормального распределения от лектория «Разрушители статистических мифов»!

🦖Миф №3: Ненормальное распределение требует ненормальных решений | Матвей Славенко
На встрече мы поговорим про то, откуда взялись проверки на нормальность, что с ними не так и что делать, если не проверять на нормальность.

Регистрация по ссылке, и еще я закину в комменты непосредственно перед началом ссылку на трансляцию.
Запись будет опубликована на сайте.

🔥 Эксклюзивный контент для моих подписчиков: администрация секретно ознакомилась с черновиками лекции, прикрепляю несколько слайдов оттуда и бонусные мемы. Приходите на лекцию онлайн, чтобы иметь возможность задавать вопросы, но запись тоже будет.


P.S. ААААААА наконец-то Матвей выпустит лекцию, с прошлого лета ждем! Дождались, ура!)))

История A/B тестирования: от лечения цинги до цвета ссылок Google

Сегодня разберем историю A/B тестов — от первых экспериментов в медицине до современных бизнес-кейсов. Материал получился объемнее, чем изначально планировался, поэтому вынесла отдельно:

https://ubogoeva.github.io/R4Analytics/posts/history_of_AB_testing.html

В следующих постах разберем больше про первые A/B тесты в Amazon, Microsoft и других бигтехах.

Пишите в комментариях, что уже знали и что оказалось новым!

#stats #AB_tests #analytics

NEWHR выпустили результаты исследования рынка аналитиков за 2024 год

Я репостила анонс исследования NEWHR, спасибо всем, кто прошел опрос, удалось набрать довольно солидную выборку, 1293 человека 🔥

Смотреть полные результаты

Основные инсайты из исследования:

👉 Главные выводы

👉 Какие задачи решают аналитики

👉 ЗАРПЛАТЫ: как менялись за год и сколько получают аналитики, существует ли гендерное неравенство в зарплатах (спойлер: существует) + NEWHR дополнили исследование своей экспертизой: что повышает или снижает стоимость аналитиков

👉 Откуда пришли в профессию и куда идут дальше

👉 ТОП и Анти-ТОП компаний для аналитиков

👉 Каких экспертов котируют и за кем следят

Для меня наиболее интересным оказались результаты по зарплате аналитиков, их гендерному распределению, а также топ и анти-топ компаний для аналитиков (забавно, например, что яндекс ❤️ попал и туда и туда).

Еще хочу отметить исследование как пример очень хорошей визуализации данных (хотя по мелочи есть к чему придраться, например в самом первом графике цвет избыточен, на мой взгляд).

В основном в выборке представлены дата- и продуктовые аналитики, и дата-аналитиков было почти столько же, сколько всего респондентов в аналогичном исследовании 2023 года.

Спасибо NEWHR за проведение таких исследований, и всем, кто прошел опрос, это очень полезно, чтобы понимать рынок труда и свое место в нем.

Подборка лучших научно-популярных каналов 🌱

В современном мире, где информация становится основным ресурсом, важно уметь быстро находить нужные знания. Мы знаем, как сложно порой отыскать качественные и интересные каналы, особенно в сфере научно-популярного контента.

Поэтому мы решили облегчить вашу жизнь и подготовили для вас эксклюзивную подборку лучших научно-популярных каналов! 🔍✨

💡 Что вы получите из нашей подборки?

• Систематизированные ссылки на каналы, которые действительно стоят вашего внимания.

• Ответы на множество вопросов по самым разнообразным темам — от физики до экологии.

• Экономию времени: забудьте о бесконечном скролле и поисках — вся полезная информация теперь собрана в одном месте!

🔥 Не упустите возможность расширить свои знания и быть в курсе актуальных научных новостей! Подписывайтесь на наши рекомендации и открывайте для себя мир увлекательной науки без лишних затрат времени!

👉 Переходите по ссылке и начните свое путешествие в мир знаний уже сегодня!

Институт биоинформатики запускает серию открытых лекций «Разрушители статистических мифов»
12, 19 и 26 марта в 19:00 МСК, онлайн

Преподаватели трека по биостатистике Института биоинформатики подготовили для вас серию лекций, которые разрушат самые популярные статистические мифы.
Почему нельзя пользоваться простыми алгоритмами для выбора статистического теста? Что же такое p-value, и чем оно не является? Нужно ли проводить проверку на нормальность, или это ничего не изменит? Эти, а также другие вопросы, вызывающие бурные споры как у новичков, так и у мастодонтов, мы обсудим на лектории!

🦖 12 марта, 19:00 МСК | Евгений Бакин
Миф №1: Статистика – наука точная, и в ней нет места мифам

🦖 19 марта, 19:00 МСК | Ольга Мироненко
Миф №2: Доверительные интервалы и р-значения – это то, чем они кажутся

🦖 26 марта, 19:00 МСК | Матвей Славенко
Миф №3: Ненормальное распределение требует ненормальных решений

Регистрация открыта до 26 марта 17:00 МСК: bioinf.me/stat_myths (если вы не получили письмо после регистрации – проверьте, пожалуйста, спам)

Это первая часть из серии лекций, посвященной статистическим мифам, и во второй части я тоже буду рассказывать про один из мифов, но детали анонсируем позже, так что stay tuned 🔔

До встречи!

P.S.: Слушатели лектория больше никогда не будут ошибаться в вопросах статистики! Или будут. Всё как с динозаврами – 50/50!

Долгожданный разбор курса “Основы статистики” на степике

Итак, это свершилось, я наконец-то дописала разбор и опубликовала его здесь

https://ubogoeva.github.io/R4Analytics/posts/review_of_statistics_course.html

Немного контекста: в качестве вводного курса по статистике часто рекомендуют курс “Основы статистики” Анатолия Карпова на степике. Однако многие считают, что курс устарел и содержит много неточностей и ошибок, и я решила подробно разобрать, какие именно.
Постаралась следовать формату “критикуешь - предлагай” и самостоятельно раскрыть темы, которые были недостаточно объяснены в курсе, дополнив их источниками для дальнейшего изучения.

В конце разбора предлагаю свой список рекомендованных источников для изучения статистики на любой уровень подготовки.

В вычитке и корректировке формулировок финальной версии мне очень помог крутой статистик Матвей Славенко (рекомендую подписаться на его канал душно про дату).

#base_stat #stats

Без статистики — не жизнь, а без аналитики тем более!

Для аналитика критически важно не только знать статистику, но и понимать особенности данных, уметь их интерпретировать на понятном для заказчика языке, то самое загадочное "продуктовое мышление".

Превращать статистику в аналитику можно научиться. Например, на курсе «Аналитик PRO» онлайн-школы аналитики Changellenge >> Education.

Что там будет:
✅ Практический формат — много работы с проектами (индивидуально и в мини-группах, все как мы любим).
✅ Полный набор инструментов — Python, SQL, Excel, BI и тд и тп.
✅ Продуктовое мышление — разберетесь на примерах, как аналитика влияет на бизнес.

На курсе особая система мотивации «только попробуй не дойти до диплома!», а по завершении вы добавите в резюме кейсы от Т-Банка и Авито — что значительно усилит резюме. А через 3-4 года станете тимлидом (но это неточно 😁). Там зарплаты от 300К и стремятся к бесконечности.

Зачем платный курс, если все есть в интернете?

✔️ потому что это разработанная методистами четкая программа без хаотичного поиска материалов
✔️ потому что обучение проходит на реальных кейсах реальных компаний
✔️ потому что по каждому заданию вы получите обратную связь от экспертов и кураторов, а не будете делать проекты в стол, даже не зная, справились ли вы с задачей.

Оставляйте заявку на обучение по ссылке, а по промокоду STATS25 вы можете получить дополнительную скидку 25 000 рублей до 10 февраля.