Hack Time друзья.🤘
В этом лонгриде я попробую разобрать то что сейчас произошло с DeepSeek.
Почему столько ажиотажа вокруг этого.
два главных факта:
1. на рынке появилась размышляющая модель, которая в бенчмарках недалеко от OpenAI o1, но обучение которой стоило на 90% дешевле, и работа которой требует в 20 раз меньше ресурсов (то есть в 20 раз дешевле).
2. инновационное использование авто-обучения без участия людей (non-supervised RL), и архитектура Mixture of Experts из DS-V3, доказали свою эффективность
думаю, новости что
NASDAQ вчера упал на 3%, а
NVIDIA на 15% все уже видели.
отсюда, на первый взгляд, напрашиваются выводы:
1. хитрые OpenAI и NVIDIA всех обманывали, и для AI/AGI будущего не нужны
датацентры за $500 ярдов2. хитрые американцы, запрещающие экспорт чипов, которые нужны для обучения AI, не смогли помешать Китаю догнать и, возможно, перегнать их
3. золотой век производителей чипов (Nvidia) подходит к концу - удешевление обучения и инференса AI приведёт к тому, что спрос на чипы хоть и будет расти, но далеко не так сильно, как ожидалось
4. и, я даже видел мнение, что обший рынок AI уменьшится, т.к. все будет дешевле (уф).
в целом, все эти выводы одинаково поверхностны, хуевы, и во многом не верны (кроме разве что второго).
об этом уже высказалось множество людей горадо умнее меня.
если кратко:
1. да, кажется, запрет экспорта чипов не работает - того количества, которое уже есть, достаточно для обучения весьма сильных моделей, особенно с новыми архитектурами. это все равно тяжелое для китайского рынка ограничение, но я думаю, что они не испытывают особых проблем с обходом подобных санкций.
2. все разговоры о том, что "столько ресурсов AI теперь не нужно" - нужно. удешевление моделей и снижение их требований к ресурсам - это то, чего все ожидали давно, и ожидают в будущем. текущий спрос на ИИ не удовлетворен и на 1%, поэтому говорить о том, что улучшение в 20 раз - это крах Nvidia и датацентров - очень странно. даже если произойдёт удешевление ещё в 100 раз - это все равно будет далеко от полного удовлетворения спроса. и это не говоря о
парадоксе Джевонса. тем не менее, ожидание снижения спроса не могло не повлиять на явно сильно разогретые акции AI-корпораций, что мы и увидели. думаю, в mid-term всё выправится.
какие главные изменения с точки-зрения бизнес-моделей мы можем здесь прикинуть?
ну, всё крутится вокруг того, что application-layer только что получил огромный буст к марже, который можно потратить на маркетинг в том или ином виде. в том числе - давать свои инструменты бесплатно, в счет маркетингового бюджета, что, я думаю, мы вскоре и увидим.
некоторые решения, которые раньше почти не имели бизнес-ценности из-за низкого качества работы модели, теперь получили интересный буст: агентский граф можно увеличить в 2-3 раза, и при этом цена не только не изменится, но и, возможно, станет ниже.
на ум приходят в том числе решения для автоматизации работы в браузере/управления компьютером. они неплохи, но пока что не дотягивают по качеству до "дать задачу и забыть".
за общей шумихой, вчера многие могли не заметить
выхода Qwen2.5-VL, а в их репорте очень много акцентов как раз на агентских системах для управления компьютером.
кажется, комбинация модели, хорошо распознающей происходящее на экране (Qwen2.5-VL) с моделью, хорошо рассуждающей и принимающей решения (R1), могут стать разрывной комбинацией для "автоматизация сотрудника компании под ключ". особенно если в самом конце цепочки рассуждений, перед финальным действием, в игру включится какая-нибудь o3, и верифицирует за один проход принятое младшими братьями решение.
помимо этого, мне кажется, мы сильно будем двигаться от CoT (chain-of-thought, цепочка рассуждений) к ToT (tree-of-thought, древо рассуждений). удешевление в 20 раз открывают возможности для того, чтобы запустить параллельную обработку одного и того же запроса сразу в 4-5 потоков, после чего микшировать их и выбирать лучший на поздних этапах.