Новость, от которой я 🤯: Хинтон оказался леваком.

Да не просто леваком, а из семьи отбитых маоистов.

С другой стороны, чему я удивляюсь? Когда академики не были леваками?

Новость, от которой я 🤯: Хинтон оказался леваком.

Да не просто леваком, а из семьи отбитых маоистов.

С другой стороны, чему я удивляюсь? Когда академики не были леваками?

Я много ругал Deep Research от Perplexity, но осознал сегодня, что стал пользоваться им чаще, чем от Open AI. А все почему?

Во-первых, они его сильно улучшили.
Во-вторых, если отприоритизировать все мои потребности по частоте возникновения, то получится так:
1. Самый частый кейс с частотой несколько раз в час и больше - получить ответ на вопрос, который меня волнует, здесь и сейчас. Тут решает точность ответа и скорость.
2. Второй по популярности с частотой где-то раз в 2-3 часа - получить развернутый и более глубокий ответ, но окно ожидания может быть увеличено до 5-10 минут. Дольше ждать слишком долго.
3. Ну и последний кейс частотой 1-3 раза в день - требуется глубокое и развернутое исследование и отчет по нему, чтобы с одной максимум 2-х попыток получить исчерпывающий ответ на волнующую меня тему. Лимиты по времени тут уже до нескольких часов увеличиваются изи.

Первый кейс отлично закрывает классический Search Mode в Perplexity Pro. Третья ниша это тот самый Deep Research от Open AI, но второй кейс он решает плохо, ибо время ожидания не вписывается в критерии. И тут как раз после последних обновлений Research Mode от Perplexity решает: он дает достаточно развернутый и качественный ответ, но дает его весьма быстро, вписываясь во временные ограничения. Они его даже переименовали из DeepResearch в просто Research.

Недавний Lightweight режим Deep Research в ChatGPT занимает нишу между Perplexity Research и классическим Deep Research, но ближе к последнему.

В результате все можно отразить в виде триады value/price/speed. Для каждого кейса свои критерии и вот получается, что Research Mode в Perplexity отлично вписался в свою нишу.

Ещё одна причина, по которой я люблю Perplexity и Anthropic, - их визуальный стиль и язык. Кайфово пользоваться продуктом, который приносит не только пользу, но и эстетическое наслаждение, и не выглядит так, будто его сделали студенты за одну ночь во время хакатона.

Немного управленческих best practices с утра

https://x.com/firstadopter/status/1915510006654321098?s=46

😐

Нашел кейс, где новые модельки Open AI o3/o4 расцветают. Это кейсы, где нужен стохастический tool calling для решения задач. Тобишь агенты.

Пример, мне нужно построить сложную модель в эксельке с учетом всяких диффузий по Бассу и прочего. У меня есть базовая, есть цифры, которые нужно найти в интернете, есть методология, которую надо улучшить. Даешь задание o3 в интерфейсе Chat GPT, он улучшает твою методологию, ищет нужные цифры в интернете, пишет код, запускает, строит таблички, делает графики. Кажется, еще один пласт моей работы будет до предела автоматизирован.

Дополнение к предыдущему посту и плавный переход к достаточно важной проблеме:
- Проблемы "проработок" и бесконечного хождения по кругу — это типичная проблема гештальт-терапии, которой почти полностью нет в КПТ.
- В комментах правильно заметили, что одна из причин, почему LLM плохо справляются в роли терапевта, — это их жесткий confirmation bias.

На самом деле, Confirmation Bias моделей и их легкая адаптивность к почти любой дичи, которую вы им говорите, — одна из самых больших и ключевых проблем, на мой взгляд, которая мешает LLM генерировать больше пользы и внедряться в бизнес. Причин много: начиная от датасетов, методов обучения и заканчивая тем, что часто это тупой абьюз какого-нибудь RL.

Модельки OpenAI, кстати, судя по всему, учат для того, чтобы не поддаваться "провокациям" пользователя и стоять на своем. Видимо, что очевидно для передовых исследователей, они тоже считают это крупной проблемой. Но такие методы обучения, похоже, имеют достаточно болезненные сайд-эффекты: когда модель ошиблась, она начинает упорно стоять на своем и не отходить от неверного пути, который изначально выбрала. Когда я впервые потрогал O1 Pro, это была одна из самых раздражающих в ней вещей.

Хороший пример того, до чего доводит гештальт терапия
https://t.me/strategic_move/1184

Потерять 100% от 0 все еще 0

https://t.me/vcnews/53750

❌ Сделать простой классификатор на входе для распознования благодарности — нет.
✅ Рассказывать в твиттере о миллионах на ответы на благодарность — да.

https://x.com/sama/status/1912646035979239430?s=46

Оказывается, если брать годовую подписку на блог Лени, получаешь еще годовую подписку на следующие продукты:

- Bolt
- Cursor (похоже распродан)
- Lovable
- Replit
- v0
- Granola
- Notion
- Linear
- Superhuman
- Perplexity

Общая стоимость всех продуктов превышает 15k 🤯💳
Как ему удалось собрать такой бандл, мое почтение, конечно.

Напомню, что у Лени все еще лучший блог и подкаст для продактов.

UPD: разобрали 😭

Пишут, что «Джеймс Уэбб», обнаружил в атмосфере экзопланеты химические вещества, которые на Земле обычно связаны с деятельностью живых организмов: диметилсульфид и диметилдисульфид, которые преимущественно вырабатываются морским фитопланктоном и другими микробами💆‍♂️

У меня есть одна любимая задача для проверки LLM в скиле написания документов, так как это почти самая частая моя задача. Даю недоделанный док со стратегией "одного маркетплейса", к которому прилагается шаблон этого документа и артефакты с юзер/маркет ресерчем и драфтами идей стратегии.

Закинул эту задачу в новую o3. В промте даются четкие инструкции, что если инфы в артефактах нет, то ее не нужно выдумывать, а задача именно дописать док и улучшить уже написанное. Что вы думаете? o3 напридумывала кучу цифр и фактов, которых не было в приложенных документах, текст мне лично не нравится. Может показаться, что o3 просто подошла творчески к задаче и придумала классные идеи, но идеи фигня, а цифры неверные. Sonnet 3.7 Thinking, к слову, делает все прям хорошо.

P. S. Как разрулю доступ к Gemini 2.5 Pro, расскажу про нее. Чую, что она станет моей основной моделью.

Читал тут, значит, статью на The Verge, что OpenAI делают свою соцсеть, и наконец понял, кого они мне напоминают - подростка с СДВГ. Так же в расфокусе, хватаются за все подряд, не доводят ничего до конца, все вроде работает и вау, и все в шоке от того, как круто, но по факту в зачаточном состоянии, недоведенное до полноценного состояния.

Так-то все логично и понятно, почему так. Закладки в чате и отсутствие зоопарка моделей устойчивую бизнес-модель не найдут, ибо большинство юзеров юзают дефолтную модель и не отдают себе отчет о каких-то рассуждалках и прочих задротских штуках, а подписки не дают зарабатывать достаточно, чтобы окупать мероприятие здесь и сейчас. В будущем, к тому же, из-за роста конкуренции и Open Source моделей технологический moat будет слабеть, технологии будут коммодитизироваться, а маржинальность падать. Каждый технологический виток будет стоить все дороже.

Поэтому, как мы говорили не раз и разбирали в посте про 7 Powers, у OpenAI задача обрасти как минимум одной из трех "сил": scale economies, switching cost или network effects. Сетевые эффекты - это самая мощная и могучая сила и барьер для конкурентов, но самая сложная в имплементации. Соцсети == Network Effects.

В целом, вариантов у OpenAI не так уж и много, поэтому круто видеть, что они не боятся и итерируются. СДВГ тут скорее суперсила и источник энергии для быстрых итераций. Главное потом убрать СДВГ'шников от руля, чтобы можно было укрепить найденную модель.

LM Arena запустили новую арену для поиска - Search Arena. Как и обычная арена, выбор моделей ослеплен, но в данном случае уже оцениваются поисковые возможности моделей, где есть функция поиска по интернету.

Прежде чем говорить про результаты лидерборда, кажется, нужно разобраться, как вообще работают все эти LLM поисковики. Там есть в general случае следующие этапы:
- Получая пользовательский поисковый запрос, LLM генерируют один или несколько новых запросов. А может и оставить изначальный в зависимости от кейса. Модель как раз и разбирается, как лучше сделать.
- Далее эти запросы отправляются в поисковый индекс и отбираются top-k кандидатов с запасом.
- Происходит merge кандидатов с дедупликацией, фильтрацией и применением каких-то "быстрых" правил, бизнес-логики и чисткой контента с выделением оттуда полезной нагрузки для дальнейшей части пайплайна.
- Rerank: эти k кандидатов реранжируются по какой-то формуле (может быть модель, может быть просто сортируются по релевантности самого индекса, а может просто эмбединги сверяются с изначальным запросом и т.д.) и из них вытаскиваются уже top-n наиболее релевантных.
- Последний этап, где уже эти top-n отдаются в LLM, и она на основе корпуса этих документов находит ответ на изначальный запрос, по сути делая банальную суммаризацию.

На Search Arena, как вы уже, наверное, догадались, происходит весь этот пайплайн end-2-end. То есть это соревнование не просто голых моделек, а всего пайплайна целиком.

И вот на лидерборде мы видим, что лучший результат показывают:
- гугловая Gemini-2.5-Pro-Grounding, которая на всех бенчах выдает SOTA результаты (Grounding - это именно версия, которая может искать и приземлять ответы на реальные источники).
- Sonar Reasoning Pro High от Perplexity - файнтюненная на поисковых задачах самая большая модель от Perplexity с ризонингом.

Следом идут 4 позиции всех остальных версий Sonar.

Perplexity, насколько я знаю, юзают индекс Bing, который в среднем будет хуже гуглового, а сама Gemini вовсе SOTA модель, которая уделала всех почти во всех задачах. К тому же у Google явно лучше экспертиза на этапе реранкинга. То есть Perplexity, имея хуже индекс, потенциальное отставание в реранкинге и меньший ресурс, смогли сделать свою search модель, которая создает инкремент, который компенсирует это отставание и позволяет в итоге получить тот же результат. Это похвально.

Но надо понимать, что Search Arena только появилась, данных мало, и не факт, что лидерборд в духе Kaggle не перетрясет через месяц-два.

В Highlight AI появилась крутая штука - Magic Dot. Возле курсора всегда висит точка, наводишь, можно выделить текст, пишешь/диктуешь и получаешь в этом же текстовом инпуте нужный текст. Опыт Notion AI везде на Mac OS. Короче, Apple Intelligence, который мы хотели и заслужили.

Немного новостей!

В начале года я покинул Юду. Провел там почти 6.5 лет – целая эпоха! Пришел когда-то заниматься данными (Head of Data Science), потом рулил продуктом (CPO), был GM, а в прошлом году немного побыл даже и.о. CEO. Безмерно благодарен компании за рост, крутой опыт и возможность его получать! И лично Денису Кутергину за проявленное доверие, ибо без него этого всего бы не было 💪.

Но настало время двигаться дальше к новым вызовам! Теперь я в AI центре Т-Банка работаю директором по продукту в команде Вити Тарнавского. Делаем пользовательские продукты вокруг LLM, агентов и прочего ИИ добра, конвертируя современные достижения в вэлью для людей 🤖.

В последние пару лет много игрался с AI, пробовал всякое и использовал в работе. Наверное, это стало моим основным хобби. А теперь это и моя работа! Что может быть лучше?

В своё время мне удалось запрыгнуть в один из первых составов хайп-трейна дата сатанизма, поэтому не мог пропустить новую волну в AI. Считаю важным для себя быть там, где создаётся что-то новое и полезное, а мои навыки могут быть максимально полезны. Пришло время объединить мои продуктовую, техническую и ML экспертизы!

Заодно хочу рассказать, что у нас в AI центре много вакансий.

В команду Поиска ищем:
- Product Manager
- Lead Product Analyst

В команду "Ботов" Даниэля:
- Lead Product Manager
- Product Manager
- Machine Learning Engineer

В команду "ML Platform" Жени Харитонюк:
- Lead Technical Product Manager в LLM Platform
- Lead Product Manager в CV Platform
- Lead Product Manager в Copilots Team

У нас очень крутая и драйвовая команда, частью которой вы можете стать! И мы делаем офигенские продукты, про которые обязательно буду писать! А в будущем их будет только больше 😐

Так, OpenAI сегодня что-то покажет – что-то такое, от чего Сэм просыпается ночью 😁

Наконец, завезут закладки в чаты!

Частый тезис в адрес разных фондов, что вот, мол, они не обгоняют индекс (чаще SPX), но тут есть одна ловушка, в которую я сам много раз попадал. Хорошие фонды дают вам доходность стабильного характера почти всегда вне зависимости от текущего состояния рынка, а SPX вам даст хорошую доходность на дистанции, когда фазы падения размазываются.

Вот представьте, что вы вложили деньги в индекс, а потом вам надо их снять, чтобы купить квартиру, но вот так получилось, что здесь и сейчас Трамп решил станцевать брейк-данс, и ваш портфель окрасился в красное. Неудобно. С фондами в такой просак попадаешь с сильно меньшей вероятностью.

Речь, конечно, про хорошие фонды. От ребят из инвестиционного сектора не раз слышал, что большинство фондов в целом никогда не показывают нормальную рыночную доходность, а просто рубят капусту в стиле "Волка с Уолл-стрит".

Посчитал, сколько выходит в месяц трат на AI-штуки и подписки на них. Почти 500 баксов. Считать ROI, конечно же, не буду. Счастье в неведении.