Я много ругал Deep Research от Perplexity, но осознал сегодня, что стал пользоваться им чаще, чем от Open AI. А все почему?

Во-первых, они его сильно улучшили.
Во-вторых, если отприоритизировать все мои потребности по частоте возникновения, то получится так:
1. Самый частый кейс с частотой несколько раз в час и больше - получить ответ на вопрос, который меня волнует, здесь и сейчас. Тут решает точность ответа и скорость.
2. Второй по популярности с частотой где-то раз в 2-3 часа - получить развернутый и более глубокий ответ, но окно ожидания может быть увеличено до 5-10 минут. Дольше ждать слишком долго.
3. Ну и последний кейс частотой 1-3 раза в день - требуется глубокое и развернутое исследование и отчет по нему, чтобы с одной максимум 2-х попыток получить исчерпывающий ответ на волнующую меня тему. Лимиты по времени тут уже до нескольких часов увеличиваются изи.

Первый кейс отлично закрывает классический Search Mode в Perplexity Pro. Третья ниша это тот самый Deep Research от Open AI, но второй кейс он решает плохо, ибо время ожидания не вписывается в критерии. И тут как раз после последних обновлений Research Mode от Perplexity решает: он дает достаточно развернутый и качественный ответ, но дает его весьма быстро, вписываясь во временные ограничения. Они его даже переименовали из DeepResearch в просто Research.

Недавний Lightweight режим Deep Research в ChatGPT занимает нишу между Perplexity Research и классическим Deep Research, но ближе к последнему.

В результате все можно отразить в виде триады value/price/speed. Для каждого кейса свои критерии и вот получается, что Research Mode в Perplexity отлично вписался в свою нишу.

Ещё одна причина, по которой я люблю Perplexity и Anthropic, - их визуальный стиль и язык. Кайфово пользоваться продуктом, который приносит не только пользу, но и эстетическое наслаждение, и не выглядит так, будто его сделали студенты за одну ночь во время хакатона.

Немного управленческих best practices с утра

https://x.com/firstadopter/status/1915510006654321098?s=46

😐

Нашел кейс, где новые модельки Open AI o3/o4 расцветают. Это кейсы, где нужен стохастический tool calling для решения задач. Тобишь агенты.

Пример, мне нужно построить сложную модель в эксельке с учетом всяких диффузий по Бассу и прочего. У меня есть базовая, есть цифры, которые нужно найти в интернете, есть методология, которую надо улучшить. Даешь задание o3 в интерфейсе Chat GPT, он улучшает твою методологию, ищет нужные цифры в интернете, пишет код, запускает, строит таблички, делает графики. Кажется, еще один пласт моей работы будет до предела автоматизирован.

Дополнение к предыдущему посту и плавный переход к достаточно важной проблеме:
- Проблемы "проработок" и бесконечного хождения по кругу — это типичная проблема гештальт-терапии, которой почти полностью нет в КПТ.
- В комментах правильно заметили, что одна из причин, почему LLM плохо справляются в роли терапевта, — это их жесткий confirmation bias.

На самом деле, Confirmation Bias моделей и их легкая адаптивность к почти любой дичи, которую вы им говорите, — одна из самых больших и ключевых проблем, на мой взгляд, которая мешает LLM генерировать больше пользы и внедряться в бизнес. Причин много: начиная от датасетов, методов обучения и заканчивая тем, что часто это тупой абьюз какого-нибудь RL.

Модельки OpenAI, кстати, судя по всему, учат для того, чтобы не поддаваться "провокациям" пользователя и стоять на своем. Видимо, что очевидно для передовых исследователей, они тоже считают это крупной проблемой. Но такие методы обучения, похоже, имеют достаточно болезненные сайд-эффекты: когда модель ошиблась, она начинает упорно стоять на своем и не отходить от неверного пути, который изначально выбрала. Когда я впервые потрогал O1 Pro, это была одна из самых раздражающих в ней вещей.

Хороший пример того, до чего доводит гештальт терапия
https://t.me/strategic_move/1184

Потерять 100% от 0 все еще 0

https://t.me/vcnews/53750

❌ Сделать простой классификатор на входе для распознования благодарности — нет.
✅ Рассказывать в твиттере о миллионах на ответы на благодарность — да.

https://x.com/sama/status/1912646035979239430?s=46

Оказывается, если брать годовую подписку на блог Лени, получаешь еще годовую подписку на следующие продукты:

- Bolt
- Cursor (похоже распродан)
- Lovable
- Replit
- v0
- Granola
- Notion
- Linear
- Superhuman
- Perplexity

Общая стоимость всех продуктов превышает 15k 🤯💳
Как ему удалось собрать такой бандл, мое почтение, конечно.

Напомню, что у Лени все еще лучший блог и подкаст для продактов.

UPD: разобрали 😭

Пишут, что «Джеймс Уэбб», обнаружил в атмосфере экзопланеты химические вещества, которые на Земле обычно связаны с деятельностью живых организмов: диметилсульфид и диметилдисульфид, которые преимущественно вырабатываются морским фитопланктоном и другими микробами💆‍♂️

У меня есть одна любимая задача для проверки LLM в скиле написания документов, так как это почти самая частая моя задача. Даю недоделанный док со стратегией "одного маркетплейса", к которому прилагается шаблон этого документа и артефакты с юзер/маркет ресерчем и драфтами идей стратегии.

Закинул эту задачу в новую o3. В промте даются четкие инструкции, что если инфы в артефактах нет, то ее не нужно выдумывать, а задача именно дописать док и улучшить уже написанное. Что вы думаете? o3 напридумывала кучу цифр и фактов, которых не было в приложенных документах, текст мне лично не нравится. Может показаться, что o3 просто подошла творчески к задаче и придумала классные идеи, но идеи фигня, а цифры неверные. Sonnet 3.7 Thinking, к слову, делает все прям хорошо.

P. S. Как разрулю доступ к Gemini 2.5 Pro, расскажу про нее. Чую, что она станет моей основной моделью.

Читал тут, значит, статью на The Verge, что OpenAI делают свою соцсеть, и наконец понял, кого они мне напоминают - подростка с СДВГ. Так же в расфокусе, хватаются за все подряд, не доводят ничего до конца, все вроде работает и вау, и все в шоке от того, как круто, но по факту в зачаточном состоянии, недоведенное до полноценного состояния.

Так-то все логично и понятно, почему так. Закладки в чате и отсутствие зоопарка моделей устойчивую бизнес-модель не найдут, ибо большинство юзеров юзают дефолтную модель и не отдают себе отчет о каких-то рассуждалках и прочих задротских штуках, а подписки не дают зарабатывать достаточно, чтобы окупать мероприятие здесь и сейчас. В будущем, к тому же, из-за роста конкуренции и Open Source моделей технологический moat будет слабеть, технологии будут коммодитизироваться, а маржинальность падать. Каждый технологический виток будет стоить все дороже.

Поэтому, как мы говорили не раз и разбирали в посте про 7 Powers, у OpenAI задача обрасти как минимум одной из трех "сил": scale economies, switching cost или network effects. Сетевые эффекты - это самая мощная и могучая сила и барьер для конкурентов, но самая сложная в имплементации. Соцсети == Network Effects.

В целом, вариантов у OpenAI не так уж и много, поэтому круто видеть, что они не боятся и итерируются. СДВГ тут скорее суперсила и источник энергии для быстрых итераций. Главное потом убрать СДВГ'шников от руля, чтобы можно было укрепить найденную модель.

LM Arena запустили новую арену для поиска - Search Arena. Как и обычная арена, выбор моделей ослеплен, но в данном случае уже оцениваются поисковые возможности моделей, где есть функция поиска по интернету.

Прежде чем говорить про результаты лидерборда, кажется, нужно разобраться, как вообще работают все эти LLM поисковики. Там есть в general случае следующие этапы:
- Получая пользовательский поисковый запрос, LLM генерируют один или несколько новых запросов. А может и оставить изначальный в зависимости от кейса. Модель как раз и разбирается, как лучше сделать.
- Далее эти запросы отправляются в поисковый индекс и отбираются top-k кандидатов с запасом.
- Происходит merge кандидатов с дедупликацией, фильтрацией и применением каких-то "быстрых" правил, бизнес-логики и чисткой контента с выделением оттуда полезной нагрузки для дальнейшей части пайплайна.
- Rerank: эти k кандидатов реранжируются по какой-то формуле (может быть модель, может быть просто сортируются по релевантности самого индекса, а может просто эмбединги сверяются с изначальным запросом и т.д.) и из них вытаскиваются уже top-n наиболее релевантных.
- Последний этап, где уже эти top-n отдаются в LLM, и она на основе корпуса этих документов находит ответ на изначальный запрос, по сути делая банальную суммаризацию.

На Search Arena, как вы уже, наверное, догадались, происходит весь этот пайплайн end-2-end. То есть это соревнование не просто голых моделек, а всего пайплайна целиком.

И вот на лидерборде мы видим, что лучший результат показывают:
- гугловая Gemini-2.5-Pro-Grounding, которая на всех бенчах выдает SOTA результаты (Grounding - это именно версия, которая может искать и приземлять ответы на реальные источники).
- Sonar Reasoning Pro High от Perplexity - файнтюненная на поисковых задачах самая большая модель от Perplexity с ризонингом.

Следом идут 4 позиции всех остальных версий Sonar.

Perplexity, насколько я знаю, юзают индекс Bing, который в среднем будет хуже гуглового, а сама Gemini вовсе SOTA модель, которая уделала всех почти во всех задачах. К тому же у Google явно лучше экспертиза на этапе реранкинга. То есть Perplexity, имея хуже индекс, потенциальное отставание в реранкинге и меньший ресурс, смогли сделать свою search модель, которая создает инкремент, который компенсирует это отставание и позволяет в итоге получить тот же результат. Это похвально.

Но надо понимать, что Search Arena только появилась, данных мало, и не факт, что лидерборд в духе Kaggle не перетрясет через месяц-два.

В Highlight AI появилась крутая штука - Magic Dot. Возле курсора всегда висит точка, наводишь, можно выделить текст, пишешь/диктуешь и получаешь в этом же текстовом инпуте нужный текст. Опыт Notion AI везде на Mac OS. Короче, Apple Intelligence, который мы хотели и заслужили.

Немного новостей!

В начале года я покинул Юду. Провел там почти 6.5 лет – целая эпоха! Пришел когда-то заниматься данными (Head of Data Science), потом рулил продуктом (CPO), был GM, а в прошлом году немного побыл даже и.о. CEO. Безмерно благодарен компании за рост, крутой опыт и возможность его получать! И лично Денису Кутергину за проявленное доверие, ибо без него этого всего бы не было 💪.

Но настало время двигаться дальше к новым вызовам! Теперь я в AI центре Т-Банка работаю директором по продукту в команде Вити Тарнавского. Делаем пользовательские продукты вокруг LLM, агентов и прочего ИИ добра, конвертируя современные достижения в вэлью для людей 🤖.

В последние пару лет много игрался с AI, пробовал всякое и использовал в работе. Наверное, это стало моим основным хобби. А теперь это и моя работа! Что может быть лучше?

В своё время мне удалось запрыгнуть в один из первых составов хайп-трейна дата сатанизма, поэтому не мог пропустить новую волну в AI. Считаю важным для себя быть там, где создаётся что-то новое и полезное, а мои навыки могут быть максимально полезны. Пришло время объединить мои продуктовую, техническую и ML экспертизы!

Заодно хочу рассказать, что у нас в AI центре много вакансий.

В команду Поиска ищем:
- Product Manager
- Lead Product Analyst

В команду "Ботов" Даниэля:
- Lead Product Manager
- Product Manager
- Machine Learning Engineer

В команду "ML Platform" Жени Харитонюк:
- Lead Technical Product Manager в LLM Platform
- Lead Product Manager в CV Platform
- Lead Product Manager в Copilots Team

У нас очень крутая и драйвовая команда, частью которой вы можете стать! И мы делаем офигенские продукты, про которые обязательно буду писать! А в будущем их будет только больше 😐

Так, OpenAI сегодня что-то покажет – что-то такое, от чего Сэм просыпается ночью 😁

Наконец, завезут закладки в чаты!

Частый тезис в адрес разных фондов, что вот, мол, они не обгоняют индекс (чаще SPX), но тут есть одна ловушка, в которую я сам много раз попадал. Хорошие фонды дают вам доходность стабильного характера почти всегда вне зависимости от текущего состояния рынка, а SPX вам даст хорошую доходность на дистанции, когда фазы падения размазываются.

Вот представьте, что вы вложили деньги в индекс, а потом вам надо их снять, чтобы купить квартиру, но вот так получилось, что здесь и сейчас Трамп решил станцевать брейк-данс, и ваш портфель окрасился в красное. Неудобно. С фондами в такой просак попадаешь с сильно меньшей вероятностью.

Речь, конечно, про хорошие фонды. От ребят из инвестиционного сектора не раз слышал, что большинство фондов в целом никогда не показывают нормальную рыночную доходность, а просто рубят капусту в стиле "Волка с Уолл-стрит".

Посчитал, сколько выходит в месяц трат на AI-штуки и подписки на них. Почти 500 баксов. Считать ROI, конечно же, не буду. Счастье в неведении.

tell me you're forbes30u30 founder without telling me you're forbes30u30 founder

Немного кринжа от гопоты

Небольшая рефлексия после эфира, без лишней политкорректности для уважаемых подписчиков:)

Мы всё еще больше говорим про инструменты для деятельности, чем про саму деятельность, оставляя ее в серой зоне недосказанности и подразумеваемости. Но это ловушка: чтобы создать хороший и полезный инструмент, нужно разбираться в деятельности, для которой он создается.

Вы не сможете создать молоток, не зная как работает плотник. Вы не сможете создать инструмент для управления отношениями с клиентами, не понимая как компании эти отношения строят.

То, что вижу я: одним из главных препятствий для развития компаний является поверхностное и очень упрощенное понимание своего клиента (или сотрудника). Да, в распоряжении компаний есть куча данных, но если их накладывать на примитивные модели, то это всё еще просто куча данных. А модели не просто примитивные – у большинства их нет вообще.

Та самая маркетинговая близорукость, которую Левитт описывал в 1960 году, никуда не исчезла. Только теперь компании обкладываются автоматизацией, чатботами, ИИ и прочими инструментами, помогающими избежать прямого понимания своего клиента. Теперь мы близоруки технологично и автоматизированно, а кринжа в чатах за нас наваливает искуственный интеллект.

Вот и вся разница.

Вообще, кажется, что MCP это очередной важный рубикон, который сильно изменит ландшафт. Думаю, что за ним будущее. Модели сильно расширяют свои возможности.

К примеру, крышу сносит от недавнего релиза Zapier, который позволяет использовать любой поддерживаемый ап и workflow в Zapier. По сути вы открываете для себя мощь почти бесчисленного количества интеграций.
https://zapier.com/mcp

Кстати, забыл добавить, что есть поддержка MCP серверов и есть соответсвующий браузер плагинов на их основе. Можно, к примеру, так научить Highlight взаимодействовать с файловой системой, эпловыми апами, браузером, всякими Notion, Slack и прочим добром.

Еще топ AI вещь, которая прям разорвала и реально Game Changer - Highlight AI.

Я уже писал про Superwhisper, который позволил мне сильно поменять и улучшить мой workflow, но мне дико не хватало Copilot для всего, который мог бы понимать контекст каждого апа, видеть контент, быть таким курсором для моего мак.

Просто висит штука, с которой можно общаться, как голосом, так и текстом. Понимает контекст апа и его содержимое, видит экран, можно настроить шорткаты, mentions, кучу разных хоткис, системных промтов и инструкций, работает очень UX френдли. Кажется, мой workflow вышел на новый уровень. В переписках, к примеру, вообще топ, так как можно просто надиктовать характер ответа, он поймет контекст переписки и выдаст нужный ответ.

Мое недавнее хобби тестировать разные Deep Research'и потихоньку начало превращаться в разочарование, ибо детище Open AI, как говорил ранее, имеет фундаментально другой уровень качества результатов. Потыкал я много: Elicit, Genspark, Perplexity и тд. И только Grok давал реально нормальный результат, но разрыв с OAI был, все равно, сильным.

Но вот я потестировал https://liner.com/news/introducing-deepresearch и это очень круто, особенно, для своих денег. К сожалению, у меня бага с шерингом и не могу скинуть примеры. Из минусов:
- баги
- иногда теряет странным образом контекст
- на английском пишет сильно лучше, чем на русском. У oai такого разрыва не наблюдал

Читал, значит, недавнюю статью Т-Банка про тренировку их внутренней языковой модели. Там отсылаются на исследование, в котором говорится, что добавление в датасет обучания LLM’ки кода, улучшает её способности рассуждать.

Вспомнил про другой эксперимент, где в датасет добавляли говнокод и всякие sql иньекции, а модель начинала восхвалять Гитлера и Сталина и проявляла симпатию к Скайнет.

Теперь представьте, что в недалеком будущем вам встретится робот, обученный на сетке, где в датасет внедрили такой код… даже знаю, как это будет выглядеть.

Я даже знаю такого ИИ гиганта, которого максимально органично мог бы купить Apple и сделать частью экосистемы

Я периодически читаю блог Джона Грубера уже лет десять, и всё это время его можно было считать одним из главных евангелистов Apple.

Не раз и не два он хорошо объяснял изящество некоторых решений компании. Давал хорошие аргументы в её пользу. Но всегда без фанатизма, сухо и по полочкам.

Я не замечал за Грубером склонности к алармизму, но 12 марта он выдал пост, который едва ли не сводится к тому, что APPLE — ВСЁ. В нём Грубер рассказывает, в какую катастрофу для Apple постепенно превращается Apple Intelligence.

На днях Apple отложила новую Siri (некоторые обещанные на WWDC'24 фичи не доедут ни к iOS 19, ни даже к концу года), добавила на все свои промо-страницы дисклеймеры и удалила рекламу новой ИИ-Siri с Беллой Рамзи.

Грубер критикует Apple даже не за то, что она безбожно отстаёт от конкурентов в сфере ИИ, а за то, что она так откровенно не врала о своих продуктах со времён девяностых, когда компания без Джобса летела к банкротству на полной скорости.

Как ни странно, вера в IT-продуктах — довольно важная штука. Технологические гиганты часто начинают рекламировать продукты задолго до их готовности — они верят в то, что заявленная реализация возможна, и технологии сойдутся в нужной точке ближе к релизу.

Так вот: в случае с Apple Intelligence компания одновременно просчиталась в своих прогнозах, соврала журналистам и пользователям и теперь по сути будет заново анонсировать свой подход к ИИ, хотя якобы представила его публике год назад.

Тем более, что Bloomberg заполучил цитаты с внутренней встречи компании, где выяснилось, что сама продуктовая команда не понимает, как, что и зачем выйдет. Ситуацию внутри называют «ugly», а разработчики на этом проекте страшно выгорают.

Грубер считает, что Apple Intelligence может стать для компании грандиозной PR-катастрофой, после которой восстановить доверие и силу бренда будет непросто.

Тим Кук уже должен был провести встречу-разгром [в духе тех, что проводил Джобс], чтобы обсудить проблемы с Siri и Apple Intelligence. Если такая встреча не прошла и не состоится скоро, я боюсь, это конец. Поезд ушёл. Когда посредственность, оправдания и ложь укореняются, они берут верх. Культура превосходства, ответственности и честности не терпит принятия любого из этих явлений и быстро разрушается при принятии всех трёх.

Я не думаю, что Apple уже можно хоронить. У неё сейчас слишком много денег и влияния, чтобы исчезнуть с рынка как когда-то исчезла Nokia. Даже сам Грубер оговаривается, отмечая, что это всё-таки самая успешная компания в истории.

Но сейчас уже совершенно точно можно признать, что запуск Apple Intelligence — факап грандиозных масштабов, который будет отравлять для компании все ближайшие запуски и презентации.

Apple целый год пытается продавать воздух. Рисует его на билбордах. Обклеивает им свои магазины. В то время как её конкуренты всё сильнее отрываются в области ИИ и каждый день внедряют его в массовые продукты — делают то, чего мы обычно ждём от самой Apple.

Я, думаю, в крайнем случае Apple просто купит какого-нибудь ИИ-гиганта (если позволят антимонопольщики), как она периодически делает, и разом нагонит отставание. Но всё равно забавно, что на компанию, известную своим стремлением к совершенству, бросает тень ИИ — продукт, у которого ошибки и несовершенства в ДНК.

После Forbes 30 under 30, похоже, всего два пути: выгорание или срок за скам

На днях встретила одного знакомого, — Forbes 30 до 30 в своей стране, self-made, построил несколько компаний, два успешных экзита. Разговорились про то дела.

— Ну что, какую следующую компанию будешь делать?
— Ретриты. Я за последний год понял, что вообще всё не так в жизни делал, слишком быстро бежал, выжигал себя. После последнего экзита год ничего не мог делать. Постепенно возвращал себя к жизни, много медитировал, и теперь хочу других предпринимателей этому учить.
— А как ты думаешь, у тебя были бы такие результаты сейчас, если бы в период с 20 до 30 ты бы не бежал так быстро?
— Не знаю…

Диалог на этом не закончился, но я тут хочу остановится и поделиться своими мыслями.

Я в целом согласна, что бесконечное достигаторство на морально-волевых, — путь к выгоранию, депрессии, зависимостям и разрушенному физическому здоровью.

But… я также не верю в результаты «в лёгкости», работая по настроению, а остальное время проводя в спа, спортзале и медитациях.

Во-первых, чтобы позволить себе такой образ жизни хотя бы на время, нужно уже иметь финансовую подушку и готовность какое-то время её жечь.

Во-вторых, не факт что со временем этот подход конвертнётся в какое-то устойчивое новое дело. Знаю кучу ребят, которые провели 12-18 месяцев в саббатикале на Бали, и по итогу как-то кардинально не перевернули свою жизнь. Просто отдохнули и вернулись к тому, чем и раньше занимались. И это тоже ок, тут просто надо без иллюзий.

В-третьих, даже если получилось выстроить комфортную и сбалансированную работу, бывают кризисы, которые не зависят от нас. И я слабо себя представляю лидера, который вместо того чтобы вести команду к выходу из кризиса, переизобретать, принимать решения, говорит: «Сорян, я на Випассану. Давайте сами!»

Я, кстати, сейчас не чувствую себя в каком-то постоянном стрессе, задолбанной, загнанной. Мне хватает времени и на спорт, и на медитации, и на общение, и на спа. При этом работаю и выдаю результата я много.

Думаю, что дело в том, что я уже освоилась в текущей роли. У меня выстроены процессы, собрана классная команда, многие действия доведены до автоматизма, и энергия не тратится по пустякам.

Так было не всегда. Были и слёзы, и работа в выходные, и созвоны в 3 часа ночи. Но это всё нужно было, чтобы вырасти.

Когда у ребёнка растут первые зубы он плачет от боли и страха. Но зубы отрастают и боль проходит. Коренные зубы растут уже, как правило без боли, так как путь для них проложен.

Нет никаких результатов в лёгкости. Но становится полегче, когда уже отрастил зубы.

Как расти retention low-frequency продуктов?

Low-frequency продукты — это продукты с транзакциями реже, чем раз в 3 месяца. К ним относятся недвижимость, автомобили, предметы искусства, путешествия.

За 8+ лет работы продактом я поняла, что наиболее сложные и интересные задачи возникают в low-frequency маркетплейсах. Последнее время я работала на рынке с низкой частотой покупок и получила ценные инсайты, которые особенно актуальны для рынков, где одна транзакция может составлять стоимость квартиры.

Для построения стратегий роста для таких продуктов существует ICED Theory — фреймворк, специально разработанный для управления retention в low-frequency продуктах. Это особенно ценно, учитывая, что большинство продуктовых моделей ориентированы на high-frequency продукты типа TikTok или Facebook.

Основная проблема low-frequency маркетплейсов:
Представьте маркетплейс недвижимости, подобный Zillow. Ваш пользователь может посещать платформу раз в год или реже, что приводит к серьезным вызовам для его удержания.

Ключевые вызовы low-frequency маркетплейсов:
🟣Сложность двустороннего рынка делает всё в 2 раза сложнее (нужно удерживать и продавцов, и покупателей)
🟣Забывание бренда между транзакциями
🟣Данных для оптимизации катастрофически мало
🟣Сложность создания устойчивого бизнеса из-за низкой частоты покупок
🟣CAC часто превышает первую транзакцию (а до второй еще дожить надо!)
🟣Отсутствие сетевого эффекта из-за разорванных циклов рекомендаций

ICED фреймворк — находка для решения этих проблем:

I — Infrequency (Управление частотой):

- Необходимо создавать "мостики" между основными транзакциями (Zillow шлет уведомления об изменении цен на дома в районе).
- Важно развивать смежные сервисы (например, растить смежные вертикали)
- Дробить одну большую транзакцию на несколько шагов с промежуточной ценностью

C — Control (Контроль пользовательского опыта):

- Верификация продавцов и товаров критична для дорогих покупок
- Сильные гарантии — ключ к доверию при редких транзакциях
- Максимальная прозрачность процесса (от просмотра до постпродажного обслуживания)

E — Engagement (Вовлечение):

- Контентная стратегия решает всё! (Посмотрите, как LinkedIn использует UGC)
- Email/push коммуникация с микро-ценностью (тренды, советы, аналитика)
- Комьюнити-строительство для создания эмоциональной привязанности к платформе

D — Distinctiveness (Отличительность):

- В low-frequency категориях бренд важнее, чем все остальное!
- Уникальное позиционирование на рынке
- Инновации в customer journey (VR-визуализация для недвижимости)

Примеры продуктов:

1️⃣LinkedIn: Трансформация из low-frequency сайта поиска работы в high-frequency контентную платформу:

- Начинал как агрегатор профилей (2004)
- Добавил раздел вакансий (2008-2009)
- Внедрил UGC-контент, радикально увеличив частоту взаимодействий

2️⃣Zillow: Увеличение частоты взаимодействия через смежные сценарии:

- Внедрили Zestimate (оценка стоимости недвижимости)
- Пользователи периодически проверяют стоимость своего жилья даже не планируя покупку
- Это значительно повысило органический трафик и узнаваемость бренда

3️⃣ Airbnb: В период ковида

- Добавили онлайн-впечатления во время пандемии
- Поддерживают уникальность (60% органического + 30% прямого трафика)
- Усилили УТП и значительно отличаются от стандартизированных предложений вроде Expedia (у которой 45% платного трафика!)

Для Low-Frequency Marketplace главная задача — не искусственно увеличить частоту открытий приложения, а:

- Выжать максимум из каждого редкого взаимодействия
- Занять место в голове пользователя между покупками
- Стать настолько distinctive, чтобы ваш бренд первым всплывал в момент возникновения потребности

Есть те, кто работает с low-frequency продуктом? Какой из этих четырех компонентов ICED кажется вам самым сложным для внедрения?

Срезонировал пост Карпатого про evaluation-кризис LLM'ок.

TLDR:
- Cтарые метрики устарели, а новые ненадёжны.
- Модели переобучаются под существующие бенчмарки, снижая их объективность.
- В настоящее время невозможно точно определить реальное качество современных языковых моделей.

Я бы ещё добавил, что даже если выбросить проблему оверфита и train on test, почти все бенчи — это среднее от разных тестов. В каких-то кейсах одна модель лучше, а в других — другая. На арене то же самое — среднее от субъективной оценки кучи разных людей, чьё качество не без основания вызывает сомнения.

Насколько эти оценки репрезентативны для реальных и лично ваших юзкейсов? В какую часть распределения лично вы и ваши юзкейсы попадут?

К примеру, в кодинге у меня Sonnet даже в версии 3.5 был часто лучше всего того, что я пробовал. После выхода 3.7 это стабильно, и если он не вывозит, то остальные тоже не вывозят. На бенчмарках это не всегда отражается. К примеру, на некоторых бенчах разные версии o1 и o3 аутперформят и Sonnet, и DeepSeek, и прочее, но в моих кейсах вообще не так, если сравнить с R1 и Sonnet 3.7. Про value/money молчу.

Поэтому, ИМХО, нужно пробовать всё в разных юзкейсах и выбирать под себя из личных задач, соотнося value/money/speed/ux.

Мой личный набор сейчас такой:

- Claude Sonnet 3.7 — основной «терминал» в general-кейсах. Если мне не нравится результат, то пробую альтернативу, чаще в виде DeepSeek R1 (который у Perplexity, так как DeepSeek на их родной платформе мне часто не отвечает) и o1/o3. Происходит это нечасто.
- Для написания и редактирования текста/документов/постов — Notion AI, так как я и так почти всё в Notion веду, а UX связки с AI там топ, а под капотом что-то от Антропиков. После выхода GPT 4.5 стал часто юзать её в связке с Canvas, так как тексты могут получаться сильно более естественными, а не типичными нейросетевыми.
- Кодинг — Cursor + Sonnet 3.7. Очень редко, но переключаюсь на R1
- Поиск — Perplexity + R1
- Deep Research — тут детище OpenAI с отрывом даёт лучший результат. Минус один — цена.
- Superwhisper — гейм-ченджер для меня, который позволяет 80% юзкейсов работы за компом закрывать, просто диктуя свои хотелки

Есть ощущение, что если бы Антропики завезли свой дип ресерч, то продукты OpenAI вовсе исчезли бы из моего арсенала.

Значит ли это, что у вас будет так же? Нет — у вас свои кейсы и свой набор задач. К тому же у каждого свое восприятие, из-за которого результаты работы моделей могут восприниматься по-разному. В этом много субъективного.

Не могу не поделиться недавним великолепием от Hulu - Paradise. Шикарное шоу, которое умудряется держать в напряжении весь сезон, каждую серию - плот твисты, эскалация и экспериментальная концепция. Формат напомнил Lost, где персонажи и повествование раскрывается через флешбеки, а сами герои отлично сделаны и катают на качелях отношения к себе на протяжении всего сюжета. В сериале нет интриги ради интриги, на все вопросы под конец сезона будут ответы, при этом желание ждать и смотреть второй сезон никуда не исчезает. Давно такого не было!

7-ая серия вовсе великая, которая просто размазывает своим эмоциональным катарсисом и градиентом. Это очень близко к уровню амплитуды какого-нибудь Интерстеллара, Прибытия или второй Дюны.

Самое забавное, что даже самый минимальный намек на сюжет будет являться адским спойлером, поэтому бегом смотреть! (И да, без спойлеров в комментах, если смотрели!)

Проблема поискового оркестратора в Perplexity

Когда человек приходит в поиск с вопросом про погоду, он ожидает быстрый ответ. Не нужно разворачивать всю мощь лучших в мире LLM, парсить на лету 200 источников, делать три слоя реранкинга и ещё черт знает что. Это займет кучу времени.

Искусство понять сложность запроса, правильно выбрать из систем разной сложности и профиля, и собрать правильный каскад из систем - это задача оркестрации запроса. Она же - задача роутинга, она же - задача метапоиска. Одна из самых интересных задач в IT-инженерии.

CEO Perplexity Aravind Srinivas рассказывает в подкасте что самая сложная задача которую они сейчас решают это именно проблема оркестрации и создания правильного набора систем за оркестратором. С его слов, кто решит эту проблему в новом LLM-мире, сможет построить следующий Google.

Я помню свой разговор с одним из основателей ABBYY. Он рассказывал что их ключевой ноу-хау это не сами OCR-модели, а как раз правильный каскад из моделей. Лёгкая модель определяющая задачу, дальше в зависимости от результата выбор из путей, и так до 50 разных моделей в каскаде.

В текущих AI-системах вроде ChatGPT эта проблема тоже плохо решена. Пользователю самому приходится решать "достаточно ли моя задача сложная для o3 или можно в 4o сходить". Это, конечно, неудобно.

Кстати, рекомендую и конкретный подкаст, и всю серию подкастов How to Build Future от Y Combinator

Тут у Андрюхи Карпатого вышел видос про практическое применение LLM, которое может быть полезно тем, кто не имеет технических навыков, и хотел поглубже погрузиться в тему.

В предыдущем он рассказывал про базовые вещи о LLM: что это такое и как они работают.

Недавно Perplexity анонсировал запуск собственного браузера, вызвав закономерный вопрос: зачем? Ведь позиции Chrome настолько сильны, что никому ещё не удавалось их потеснить.

Чтобы понять задумку Perplexity, нужно разобраться, как изменился рынок поиска после появления ChatGPT. Традиционный поиск изначально состоял в том, чтобы предоставить пользователю список сайтов по его запросу. Затем поисковые системы начали добавлять быстрые ответы в сниппеты и различные виджеты, интегрировать возможности шопинга и другие сервисы, стремясь максимально сократить путь пользователя к нужному ответу.

Появление ChatGPT резко ускорило трансформацию рынка. LLM сразу дают готовый ответ, но сталкиваются с тремя ключевыми проблемами:

- Галлюцинации.
- Ограничения по объёму хранящихся знаний.
- Сложности обновления информации.

Чтобы преодолеть эти проблемы, появились гибридные решения, совмещающие поисковую выдачу с генерацией ответов через LLM (например, Bing GPT и Perplexity). Они представляют собой усовершенствованный «умный» сниппет с возможностью диалога, однако полностью устранить проблему галлюцинаций не удалось.

Казалось, такие решения должны были подорвать рынок и создать дилемму инноватора для Google: поиск, предоставляющий мгновенные ответы без необходимости переходить на сайты, подрывает рекламную модель компании. В этом и заключается сильная позиция Perplexity — отсюда и высокая, растущая капитализация компании.

Однако глобального дизрапта не произошло. Почему?

Запросы условно делятся на две категории:

- Информационные: запросы с целью получения прямого ответа (например, «Какое население Земли?»).
- Запросы, направленные на решение конкретной задачи (найти репетитора, забронировать отель, купить одежду).

В информационных запросах большинство вопросов легко покрываются текущими возможностями поисковиков (быстрые ответы, виджеты и т.п.). Один из самых популярных информационных запросов — банально о погоде. Преимущество классических поисковиков здесь очевидно: скорость ответа. Пока Perplexity ещё собирает данные, Google уже отдаёт результат, достаточный для большинства пользователей. Ценность Perplexity проявляется лишь в более сложных запросах из «длинного хвоста», которых значительно меньше.

Во втором типе запросов подход Perplexity с саммаризацией не только не помогает, но и усложняет задачу. Здесь требуется не ответ, а конкретное действие или услуга. Именно поэтому компания начала интегрировать возможности покупок и бронирования непосредственно в приложение, но пока это лишь простейшие кейсы.

Помните статью Sequoia о том, что рынок агентов Gen AI — это по сути рынок услуг? Чтобы качественно работать с запросами вокруг задач, нужна уже не просто информация, а полноценная услуга. Это значит, что масштабироваться нужно именно на предоставление конечной услуги пользователю. Perplexity уже представила своего ассистента на Android, но его возможности ограничены интеграцией через API. В то же время OpenAI пытается решить эту задачу запуском облачного оператора с виртуальным браузером, что получается дорого.

Perplexity выбрали иной путь. Локальный браузер, в котором пользователь уже авторизован на необходимых сайтах, обладает персонализацией и позволяет вмешаться в процесс вручную, если автоматизированные инструменты не справляются. Использовать чужой браузер - слабые moats, поэтому создание собственного браузера выглядит логичным шагом. Он позволит охватить весь спектр запросов пользователя: от простых информационных до комплексных, требующих интерактивного участия, создав единое окно входа, где AI будет решать, как решать запрос пользователя.

От Google здесь снова есть контр-позиционирование, так как основная точка взаимодействия в Chrome — это поисковая строка, а значит поисковая реклама, что будет мешать сделать концептуально AI-based браузер, дающий готовые ответы из-за всё той же дилеммы инноватора.

Основой вопрос — а сможет ли Perplexity переключать юзеров на свой браузер за счет своего Value Added или нет?

Пока валяюсь тут вторую неделю с каким-то странным вирусом, писать что-то сложное и осмысленное не получается. Зато было много времени, чтобы, как обезьянка, казуально тыкать в AI-новинки, поэтому поделюсь впечатлениями:

- OpenAI плохо умеют в продукт и UX. Модели у них крутые, ресурсов много, но у чуваков до сих пор нет закладок для чатов. Все эти инструменты типа проектов и холста как будто выкатили в сыром виде, как и Sora и Active Voice Mode. Технология есть, но толку мало. Продвинутые модели большинство этих тулов не поддерживают. Самих моделей стало столько, что чёрт ногу сломит. Я всё ещё не понимаю, почему плачу 200 баксов в месяц и вынужден так страдать. Особенно печально это на фоне того, какой крутой UX у Claude и Perplexity. В целом, это подводка к моему будущему посту про оценку перспектив OpenAI.

- Deep Research от OpenAI при этом для меня game changer и уже за неделю успел окупить подписку. Причём я пробовал разные темы для ресерча, и даже там, где круто шарю, он умудрялся удивлять. Часто результат его работы – это очень крутая готовая статья даже с примитивным промтом. Посмотрите на примеры: пример 1, пример 2, пример 3.

- Deep Research от Perplexity полная шляпа. В целом, ребята шипят много фич, делают классный UX, но у них явные проблемы. Говорят, что индекс у них всё-таки не свой, только половина юзеров Pro, а половина этой половины – халявщики с триалов, бесплатных промо и рефералок. В целом, ребята понимают, что moats у них слабые, поэтому щупают разные ниши и запускают свой браузер, чтобы в перспективе перейти на end-to-end решение конечных задач юзера в режиме оператора. Со своим браузером это сильно проще, так как логины, история и вот это всё. Напишу подробнее про это отдельно.

- Deep Research от Grok при этом показал себя очень достойно. Учитывая доступность модели, это впечатляющий уровень, особенно по сравнению с крайне слабым аналогом от Perplexity.

- Я в полном восторге от Sonnet 3.7. Уни-модель, где можно управлять степенью рассуждений – восторг! UX, как всегда, на высоте, всё удобно, все тулы поддерживаются. С кодом работает лучше всех, отлично справляется с любыми документами и саммаризацией. Если бы не Deep Research, то я бы полностью перелез на Claude. Антропики в очередной раз показали, что такое делать классный технологичный продукт. И это всё ещё лучшее соотношение Value/Money.

- С утра немного потыкал в ChatGPT 4.5. Модель, как многие отмечают, стала сильно человечнее, с текстом, как будто, работает лучше всех из неризонеров, у меня ни разу не сгаллюцинировала. Немного потестил её в креативных задачах, где другие модели показывали себя плохо – и 4.5 справилась сильно лучше. Я ожидал, конечно, от релиза гораздо большего, особенно после Sonnet 3.7, но понимание того, что 4.5 сделала такой большой шаг после 4о и приблизилась к ризонерам, даёт надежду, что ризонеры поверх 4.5 будут вообще космос! Но есть сомнения. Цена – ахтунг, но думаю, найдётся куча задач, где новая модель будет перформить лучше за счёт своего размера или человечности, и цена будет окупаться, а дешевизна китайцев и других конкурентов не будет иметь смысла, так как они тупо не справляются с задачами. В целом, ждём GPT-5 и нормальный уни-режим с управлением степенью рассуждений, как в Claude. А отсутствие вау-результатов всё ещё говорит о том, что OpenAI moats are overrated!

К слову, о Duolingo. Лучшее, что случилось в интернете за последнее время, это не релиз дипсика, дипресерча и подобное, а рекламная компания с дохлой совой. Ор выше гор

https://x.com/duolingo/status/1889328809054224698?s=46

https://x.com/duolingo/status/1890423938057977963?s=46

Тут Duolingo выкатила хэндбук про свою культуру. Красивое!

https://blog.duolingo.com/handbook/

Сережа Тихомиров написал топовый разбор ситуации с продактами в рф в трех частях: 1, 2, 3.

В целом, ситуация с продактами в РФ всегда была не очень радужной, и я тут согласен с первопричиной — отсутствие фундаментального образования, которое важно в виду крайне сложной роли. Сеньера найти было сложно: их мало, спрос высокий, конкуренция за кадр зашкаливает, а их еще часто легко на Head of/CPO берут, так как больше некого. Мидлы по факту часто были джунами с завышенными запросами. Сейчас ситуация вовсе плачевная.

Следите за руками. Сначала обещаешь бороться с инфляцией, потом вводишь тарифы, цены на импортные товары растут на 25%, местные подтягиваются «импортозамещают» и поднимают цены на 10%-15% и все равно дешевле тарифицированных конкурентов на 10%-15%. Итог: инфляция

Чтобы вы понимали, как хорошо обстоят дела с психотерапией в РФ. Если на популярных сервисах поиска терапевта (не буду указывать пальцем) поставить в фильтрах «КПТ», то тысяча доступных специалистов резко превращаются в десятку. А о том, что какое-нибудь МКТ или EMDR большинству даже как слово не знакомо, говорить вовсе не приходится 🤷‍♂️

Фундаментальные силы роста и защиты продукта

Часто пишу про moats, силы и методы защиты бизнеса и кратко уже рассказывал про это. Прежде чем переходить к анализу, к примеру, ситуации с OpenAI и DeepSeek, думаю, стоит фундаментально разобраться с тем, что это такое, поэтому написал заметку.

https://telegra.ph/Fundamentalnye-sily-rosta-i-zashchity-produkta-01-29

Че ты, Сама, плаки плаки или нормалдаки?

https://www.bloomberg.com/news/articles/2025-01-29/microsoft-probing-if-deepseek-linked-group-improperly-obtained-openai-data

Забавно, когда сами OAI скрапят датку налево направо, а потом такие «оу, кража данных!», когда их обошли конкуренты.

Кстати, есть клевая теория, почему RL в R1 завелся именно сейчас, хотя его много раз пробовали и ранее. Прост все эти цепочки запрос-ответ полились в интернет с оценкой хорошо/плохо от пользователей и это позволило сходиться RL. Вот вам и сетевые эффекты.