Итак, реверсивный A/B тест
ну
обещала же, да?
Обычный A/B уже знаем. Берем пользователей, отщепляем от них 2 рандомизированные группы, одна из которых - версия с прода, вторая - версия с фичей. Считаем, расследуем, катим или не катим фичу в прод.
В случае реверсивного, или обратного A/B, как вы догадались, всё наоборот.
Делают его в ситуации, когда фича уже есть у всех пользователей, и мы хотим узнать, как они будут себя вести без фичи. То есть, от всех пользователей (фича есть) отщепляем 2 группы, одна из который = прод (фича есть), во второй фича отключена.
В каких ситуациях нужно делать реверсивный A/B? Их, грубо говоря, две.
Первый: все случаи, когда мы считаем, что новая фича имеет долгосрочный эффект.
Результаты A/B в случае такой фичи могут быть разными, и какими бы они не были, может быть достойная причина, почему поведение во время AB никак не будет соответствовать поведению пользователя через 2-3 месяца.
🟢 Если A/B зеленый, то возможен краткосрочный эффект новизны. Люди заходят посмотреть новенькую фичу, но это не гарантирует, что после того, как они с ней поиграют, она им будет нужна. Вспомните, как мы с вами используем новые нейросети.
🟡Если A/B серый, то возможно, что пользователь изменения не видит. Это совершенно не означает, что фича на него не влияет. Такая динамика обычно бывает при осторожных редизайнах. То есть, мне, конечно, неважно, как выглядит сайт, но если он стал удобнее, я все равно начну заходить на него чаще.
🟣Если A/B красный, то пользователь может протестовать против изменения, как бывает при "революционных" редизайнах. Ему не нравится. Если продукт при этом остался нужным, и изменение было для каких-то важных целей, то после того, как пользователь переживет изменение, продукт может оказаться для него удобнее, что вы и увидите на обратном A/B.
Вторая ситуация, в которой используют обратный A/B, чаще всего называя его ухудшающим - это проверить/доказать, что сервис или его часть пользователю действительно нужны. Можно долго и муторно искать лояльное ядро аудитории, стоить математические модели, а можно выключить фичу у маленького процента аудитории и посмотреть, как изменятся ключевые метрики. Злоупотреблять таким, конечно, нельзя, есть риск потерять лояльность,.
Также, в некоторых компаниях используется отложенный контроль, который, строго говоря, является разновидностью обратного A/B.
Выбирается какая-то группа людей, и на них в течение длительного периода (полгода, год, 3 года) не катятся новые фичи. Не хотелось бы быть в такой группе, но лучшего способа проверить, приносят ли продакты пользу, ещё не придумали.
Вроде обещание сдержала. Можно валить вопросами 😆
Таня, [ex-B2B 👩💻]
@productsgossip