Один из моих любимых продуктов в области sequence analytics закрывается 🙁 Очень жаль. Они делали толковые штуки и смотрели в правильную сторону.
https://motifanalytics.medium.com/sunsetting-external-access-to-motif-29486c8a86a6

Всем привет.

Тут у меня случилось событие, которое сильно повлияло на ставший привычным в последние годы уклад жизни. Я сменил работу и присоединился к команде Perplexity. Как и полагается любому уважающему себя стартапу, здесь жарко, но весело. Вернулся к тому, с чего я начинал карьеру: к аналитике поиска и ранжирования. Так что пока список TODO на чтение/написание того-сего разгребаться будет ещё медленнее. Ну и наверняка будет наблюдаться смещение в область поиска и LLM. Пока, вот, на очереди две такие статьи про оценку ответов LLM и поиска через LLM.
- Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena
- Large Language Models can Accurately Predict Searcher Preferences

Но посмотрим. Игра покажет.

Про инфоцыган

Мало есть тем, которые раздражают меня сильнее. Мало того, что эти ребята продают воздух, так ещё и портят людям жизнь. А тут ещё недавно посмотрел выпуск Варламова про на эту же тему и обнаружил любопытные параллели с рынком курсов в IT (аналитическими в том числе), о которых захотелось написать.

В какой-то момент в этом видео зашла речь о том, какие отличительные признаки есть у инфоцыган:

- Позиционируют себя как крутого специалиста/гуру в области, добившегося успеха
- Рисуют перед потенциальным клиентом мечту
- Говорят, что мечты легко достичь, если воспользоваться данными услугами (я добился, и ты добьёшься)
- Если мечты достичь не получается, то обвиняют клиента (плохо старался, вот и не получилось)

А теперь спроецируйте это всё на область аналитических курсов. Всё то же самое я регулярно вижу вокруг себя. Привет, меня зовут X, я уже целых N месяцев работаю (аналитиком|старшим аналитиком|тимлидом) в компании Y и решил организовать курс, чтобы поделиться сокровенным знанием всего за M тысяч рублей. Уже через K месяцев ты сможешь устроиться на работу младшим аналитиком и будешь получать L тысяч рублей. Я покажу, что обучиться анализу данных и статистике может абсолютно любой. Кстати, набор в когорту заканчивается сегодня, переводи скорее деньги.

С одной стороны можно сказать: да ладно тебе, рыночек всё порешает; если клиент видит ценность в этих марафонах желаний и готов платить, то почему бы и нет? А вот всё-таки нет. В 1970 году Джордж Акерлоф опубликовал работу The Market for 'Lemons': Quality Uncertainty and the Market Mechanism, в которой он на примере рынка подержанных автомобилей показал, что в случаях, когда покупатель не способен точно оценить качество товара, ушлые продавцы стремятся назначить высокую цену за товар заведомо плохого качества ("лимоны" -- в терминах авторынка), тем самым вытесняя продавцов, торгующих товаром хорошего качества ("персиками") и схлопывая рынок. Кстати, позже он получил нобелевку по экономике за работы в этой же области.

Вот и с курсами аналитики, да и вообще с EdTech происходит примерно то же самое. Обучающийся по определению не может оценить качество образовательных услуг, а значит, до тех пор, пока в сфере не будет установлен контроль качества, инфоцыгане будут процветать, а более кропотливые преподаватели/компании -- буксовать и вытесняться. Да и курсы известных в русском IT организаций, на мой взгляд, тоже не достаточно хорошо подготовлены, и, скажем так, приукрашивают свой эффект.

Что же делать новичку? Сложно сказать: я не новичок. Но мне кажется, что если этот порочный круг и размыкается, то со стороны спроса. Покуда клиенты будут соблазняться быстрым достижением успеха, инфоцыгане будут процветать. Не кормите троллей, не кормите инфоцыган. Пользуйтесь бесплатными материалами и курсами. Пользуйтесь, наконец, AI. Уж на что я AI-скептик, но не могу не оценить эффективность современных LLM при изучении чего-то нового. Да, есть некоторая опасность в том, что и там нет гарантий качества и они могут "научить плохому", но зато это доступно и точно поможет и стартовать, и сформировать запрос на следующем этапе развития. А там уже дообучитесь.

Ну а честным преподавателям наверно можно посоветовать оставаться верными себе, знать себе цену и не снижать марку качества. Как говорил герой Андрея Миронова в финальной сцене Человека с бульвара Капуцинов: "Наш зритель ждёт нас".

@andrei_morozov пригласил меня на его субботний стрим поговорить про предсказание различных метрик и таргетов в продуктовой аналитике. Обсудим разные практические аспекты построения ML-моделей. Суббота, 15 февраля, 12:00 (мск). Заходите на огонёк.
https://t.me/BiasConf/14