Привет, товарищи-статистики!

Рад представить вам новую статью, уже 4-ую статью на Хабре, про Welch's test.
https://habr.com/ru/companies/X5Tech/articles/896182/

Писал я порядочно по времени; по ощущения ментально она меня опустошила не меньше, чем Mann-Whitney, и честно сказать, местами я еще сомневаюсь в некоторых частях, кроме, пожалуй, вывода оценки d, degrees of freedom.
Что вас ждет:
- Ряд сравнений с t-test'ом и то, где Welch может быть полезен.
- Разбор того, с чем на самом деле вы имеете дело, когда имеете дело со статистикой Welch'a
- Вывод корректировки d. Это будет долго, но я все постарался разжевать и сделать увлекательным
- Обзор литературы, который касается как предварительных тестов, так и о предположении изменчивости дисперсии

Вышло, как всегда, много: достойный соперник Mann-Whitney и Мета-анализу :)

Привет, товарищи-статистики!

На днях очень крутой чел, Саша Сахнов, глава стат. анализа в X5, выпустил полезное видео про t-test и мифы вокруг него. Я сразу отправлю на таймкод, который хотел бы прояснить исключительно в моменте, когда Саша будет показывать пример про логнормальное распределение. Хочется верить, я не окажу медвежью услугу коллеге)

Сначала посмотрите аккурат вместе с разбором примера с выборками до 30к из логнормального распределения, где проверка идет через кумулятив p-value (ожидается равномерное, так как верна H0). Посмотрели? Прекрасно, у Саши пример корректен, но если вы подумали, что "ага, y ну всё, вижу логнормальное - t-test не принимаю", то вы неправы.

Почему? Сейчас объясню

Запуск нового потока!

Начинаю неспешный набор на 8-ой поток "Наглядное АB-тестирование: от основ до современных стандартов",

Старт примерно в начале апреля, мне вновь надо время на отдых, расписание пока составляю, но оно точно будет с небольшими перерывами.

Обучение идет по вечерам, в 19 по Мск, 2-3 раза в неделю, не менее 3-х месяцев.

Список актуальных тем на скрине, о чем они - тут.

Цена теперь - 40к, и будет точно расти, но и материала стало больше! А вот условия всё те же: "каждый поток веду лично, оказывая максимальное сопровождение по материалу; веду с удовольствием, в душе педагог; подача такая, будто надо объяснить детям, чтобы они могли объяснить это другим детям"

Желающие приобщиться к делу Госсета и Фишера, смелее пишите мне в ЛС @smatrosov :) По курсу общаться только со мной.

Отзывы в посте выше.

P.S. Те, кто писал ранее - о вас помню, вы записаны, свяжусь.

Привет, товарищи-статистики!

Новые свидетели A/B с нами: пару недель назад успешно дошёл до финала 7-ой поток, отзывы выше.

Все отзывы мне дороги, - большое спасибо за ваши слова!, - но позволю себе выделить три:
- первый от того, для кого это все либо вновинку (“вкат с нуля”),
- второй от того, кто “пытался раньше, но не вышло” (и нет острой потребности, так как человек Product Owner),
- а третий (он последний) от участника прошлого потока, который возвращался к материалу.

Первые два прошли не всё, но они прошли базу (примерно половина), а это значит, словами третьего, что “ты уже будешь понимать больше чем 70% аналитиков, я не шучу, я общался”.

Не обошлось без очередных обновлений:

1. Занятий и в этот раз стало больше, - теперь наше с вами статистическое путешествие будет длится не менее 3 месяцев!
Что нового:
- Стратификация и Variance Weighted Estimators
- Paired t-test и тест Welch’a
- Switchback тесты, Проблемы конечной популяции
- Ошибки S/M, False Positive Risk
- Погружение в комбинаторику для вывода формулы Хи-Квадрат (честно, мне просто в какой-то момент надоело “вот так из воздуха” предоставлять формулу этого теста)
- Тест Колмогорова-Смирнова

В материалах про множественное тестирование переработал тему про A/B и много-много метрик: там разобрана Non-Parametric Combination и то, на что меня навел статистик Матвей Славенко (рекомендую его канал душно про дату) - поправка Хоторна-Бретца-Вестфалла. А в теме про FDR рассмотрена поправка Benjamini-Krieger-Yekutieli.

Ребят с прошлых потоков - посмотрите, пожалуйста, оно того стоит.

Да, последние темы теперь это уже прям более сложные штуки, но все так организовано, чтобы вы привыкли к этому времени к математике (а она будет): к моменту вывода формулы в n-слайдах вы уже будете оперировать свойствами дисперсии, ожидаемого значения, корреляции и ковариации. И все это будет приправлено школьной алгеброй.

Для следующего потока я уже разбил 4-ую встречу про Conf. Intervals и Z-тест на две; про Хи-Квадрат будет аж целых 3, иначе получается слишком много даже за две встречи.

К всякими временным рядам пока всё-таки не созрел, разве что может быть начну готовить материал про A/B Байесу.

2. Материал каждой лекции я пересматриваю перед встречей, поэтому он в очередной раз был переработан в сторону большей детализации. И будет перерабатываться и впредь, поток за потоком: это уже обычное дело. И всё же фидбек был и в этот раз тем же - быстровато)) Пытаюсь понять, как это поправить.

Также дополнил и то, что пишу до и после встреч - теперь заготовки занимают более 100 страниц A4) Напомню, для меня обычное дело в тексте повспоминать школьный курс алгебры а-ля возведения в степень и взятия логарифма: как-то это, что это и пр.

3. Запросы на “посмотреть бы в коде” также поступали, но тут пока без изменений - ничего нет :(. И всё же я слышу вас, буду что-то делать в этом направлении. Пока же хочу сделать обновляющийся mindmap, на который меня натолкнул участник 7-ого потока, Константин (спасибо!). Кажется, это перспективнее.

4. Google Meet меня подводит чаще обычного в этом потоке, думаю над тем, чем можно его заменить.

Продолжение далее.

Привет, товарищи-шкодеры,

Пора поговорить о современных требованиях к хардам по части написанию кода и пр., то есть о том, что нужно уметь в Python/SQL и пр. для аналитики данных в целом. В конце я дам комментарий по поводу того, что я об этом всём думаю.

В общем, окончательно прошла эра “код работает и уже хорошо, а вообще только в основном SQL запросы писал”. Требования стали на порядок выше.

Все, что приведу ниже взято на базе практик в X5, в особенности ребят, с кем работаю (лучшей команде большой привет!), а также собеседований, опыта ребят из других крупных компаний типа Yandex, OZON и пр. Что-то из без того известно, но не делается, а что-то может быть и новеньким для вас:

Что нужно по Python, SQL и т.д.

Привет, мои дорогие товарищи-статистики,

Возлагаешь на PO ответственность (пост выше) - помогай.

У гипотез в рамках конечности бюджета есть одно неприятное свойство: не все из них будут успешны, а времени и бюджет отнимут. И вроде это очевидно, но из этой конструкции всегда выбивается человеческий фактор.

Вот представьте, что у вас есть стратегия выигрыша у казино. Однако это стратегия допускает с ненулевой вероятностью, что, условно, десять ваших ставок подряд могут оказаться проигрышными. То есть по идее мы должны придерживаться стратегии и дальше, если игра будет “10 из 10”. Но насколько хватит у вас _морали_ следовать ей после 5-и проигрышей подряд? После 7-го? К 9-ому?

А если не вы игрок, а тот, кому вы ее посоветовали (=бизнес) - насколько его хватит? И вот ты объясняешь бизнесу, что да, такое может быть, но надо “просто продолжать”: вопрос не в том, усидит ли он на пятой точке ровно, нет, вопрос в том усидите ли вы на ней или будете выкинуты за борт?.. Особенно если рядом подпевают из какой-нибудь платформы Индус-3000 про автоматический успешный успех нажатием кнопки, только согласись контрактик подписать.

Отсюда при приоритизации фичей неплохо было бы учитывать вероятность успеха каждой из них для возможности провести "стат. тест" а-ля вероятность, что n гипотез будут неудачны.

Приоритизация по PIE, где P - Probability