Интернет потихоньку форсит новость о том что ChatGPT стал добавлять вотермарки в сгенерированные им тексты (в самой новости указано что речь о o3 и o4-mini).
См скрин.

Выглядит это как скрытые символы, которые не заметны для глаза, но заметны для "машины".

Провел несколько десятков тестов(разные модели, платный/бесплатный акк) - пока не наблюдаю этого. Но возможно перед публикацией каких-то текстов частично/полностью сгенерированных GPT имеет смысл проверять их на скрытые символы (есть онлайн инструменты).

В целом, уверен, что если вотермарки окажутся правдой - мы быстро увидим, что большая часть контента сейчас генерируется с LLM - и все дружненько на это забьют.

Новость: https://www.rumidocs.com/newsroom/new-chatgpt-models-seem-to-leave-watermarks-on-text

Один из фреймворков для инференса (запуска) моделей - vLLM пару дней назад добавил поддержку Qwen 3.
При этом саму модель еще не выпустили. Конкуренция разработчиков AI-моделей настолько высока, что компании максимально снижают время через которое их продукт сможет быть заиспользован в продакшн (а vllm в основном про это), хотя в целом для ит-разработок не такая уж новинка.

Примерно тоже самое было с llama4, только там vllm выпустили версию в день релиза llama.

Новый Qwen 3 очень ждем, тк предыдущая 2.5 (вышла осенью 2024), для своего времени, была очень хорошей opensource моделью по соотношению ресурсы/качество. Это можно видеть и по количеству решений построенных на базе того же Qwen 2.5 32B.

П.с. В PR разработчики фреймворка пытались узнать дату релиза, но вопрос остался без ответа. Ранее была информация про вторую неделю апреля.

Веб-версия Qwen с рассуждением, поиском и прочими дипсиками.

Это шок конечно - модель o3 очень точно определила мою геопозицию до района (!!!) по фото без опозновательных знаков, текста и exif.

Ну... вы знаете чем заняться на выходных)

AI 2027 - стоит как минимум прочитать

Обычно сценарии про AGI выглядят как приятная развлекательная фантастика. Но отчёт AI-2027 звучит почти как инструкция по выживанию для тех, кто хочет спокойно дожить до второй половины десятилетия.

Только дослушал подкаст с пояснениями от авторов (3 часа как-никак), поэтому пост спустя 2 недели после выхода отчета.

Для справки: это не очередной доклад из серии «смотрите, AGI (интелект который превосходит человека в большинстве задач) скоро будет!». Это скорее чек‑лист, по которому в 2026-27 можно будет ставить галочки (или нервно писать что-то в блокнот).

Понравилось что авторы опираются на научные статьи, а там где "есть вопросики" открыто про это говорят. Делают достаточно конкретные предсказания - которые потом можно будет проверить.
Да и в целом написано все хорошо и понятно, для, практически любого уровня "осведомленности" в теме.

Итак, что пишут:

- AGI появится к 2027 с вероятностью в 43 %.
- В ближайшие два года (2025-2026) главная задача — «грязная работа»: обучаем код-агентов, интегрируем их в CI/CD и заставляем разобраться, наконец, с тасктрекером.
- Середина 2027: разработка новых решений в области AI ведётся уже самим AI, кривая прогресса резко уходит вверх — а люди хаотично бегают вокруг с ведрами, пытаясь убедить друг друга, что ситуация полностью под контролем.
- Ну а дальше... все очень стремительно, лучше читать оригинал. Но нужно выбрать свою концовку)

И кстати очень рекомендую посмотреть подкаст, помогает лучше понять авторов и сделанные выводы.

Удачи нам, это будет интересная пятилетка!)

Еще про арену

Кстати на арене есть интересный инструмент Arena Explorer, который позволяет посмотреть как пользователи ее используют и какие вопросы задают.

Выглядит все как диаграмма с возможностью провалиться внутрь топиков и увидеть конкретные запросы.
Поверхностно ничего нового - большая часть запросов это разработка(и tech), дальше математика, креативное письмо, аи-инновации, общие знания и тд.

А вот внутри можно найти интересные вещи: например в категории "общие знания" (8% от всего количества запросов) на втором месте… "породы собак и дрессировка". И вопросы из этой темы задают чаще чем «LLM Techniques», хотя казалось бы…

UPD: Блогпост о инструменте.

Люди выбирают то что им нравится, а не то что правильно.

На прошлой неделе случился второй, на моей памяти, видимый прецедент когда это стало заметно в контексте больших языковых моделей. Прошлый раз это случилось с gpt4o-mini.

Что произошло:
Вышла новая llama4. И заняла аж второе место в рейтингах арены (платформа где участники вслепую сравнивают разные сетки, и из этих «битв» составляются рейтинги, см. рейтинг Эло). Но когда пользователи добрались до модели «вне арены» (API и развернутые на своем железе) - пошли жалобы на то, что качество ответов модели явно не тянет на такой рейтинг.

Что было дальше:
1. Арене пришлось выложить 2000 битв, чтобы подтвердить честность рейтинга
2. Оказалось пользователи выбирали более «красивый» ответ вместо правильного и гадкого
3. В довесок, арене выдали версию адаптированную для генерации таких («красивых») ответов. О чем вроде как организаторы не знали. Да и версии такой почему-то нет на HF.

В целом - ничего ужасного, модель не плохая, если бы еще в открытую показали мол «вот версия обычная, а вот подкрученная под человеческие предпочтения».

Резонанс, имхо, возник из-за разницы в том что «наразмечали» те, кто участвовал в определении рейтинга модели, и ожиданиями нормальной оценки у остальных.

Но главное это то, что очередной раз подтверждается - люди выбирают ответ который им нравится, а не правильный.

Субботнее, развлекательное.

В комментах к какому-то из постов тг-каналов увидел как парень генерировал, с новой картиночной моделью в gpt4o, трансформеров из разных машин вроде буханки, копейки и тд.
Стало интересно и я сделал из своей шкоды примерно тоже самое (ну вы видели в сторис).

Но в итоге решил пойти немного дальше и стал генерировать трансформеров из всего что вижу вокруг.

Получилась вот такая «упоротая» команда автоботов 🙃

Как вам? Угадаете что из чего? В комментах отправлю фото некоторых оригиналов)

Про скорость работы языковых моделей.

Кажется, факт, что скорость ответа модели очень зависит от длины ответа, намного больше чем от длины запроса — не вполне очевиден.
Интуитивно: "я же закинул в сеть простыню текста, будет долго думать".

На практике - увеличение/уменьшение величины входящего запроса в х2 раза вполне может быть вообще не заметно на общей скорости ответа. А вот те же изменения исходящего ответа - точно будут заметны.

Вот смотрите:

Берем большой текст на вход (ну, скажем лист А4). Делаем простой запрос: «А в тексте вообще упоминался розовый единорог?» Ответ будет коротким — «да» / «нет». Вроде бы текста много, токенов целый вагон, а модель вообще не напрягается и выдает ответ за 2–3 секунды.

Теперь наоборот. Берем коротенький вопрос вроде «Напиши годовой финансовый отчёт вымышленного стартапа „Единорог и партнёры“». И просим сгенерить текст страницей А4. И тут модель начнёт нехило так тормозить — уже не 2 и не 5 секунд, а может и минутку думать.

Почему такая разительная разница?

Происходит вот что:

На этапе обработки запроса модель переводит все входящие токены в «вектора». И делает это быстро и параллельно, тк связанность между ними нам не важна.

А вот генерация идёт иначе. Она происходит последовательно, токен за токеном.
Те в нашем случае сначала идет предсказание первого токена. Упростим, пусть токен будет целое слово «Вот». Чтобы его сгенерить модель берет весь входящий контекст и предсказывает «Вот». После этого опять берет весь входящий контекст + «Вот» и предсказывает следующий токен, например «годовой». И так для всего ответа. Никакого параллелизма.

Именно из-за этого генерация большого ответа и занимает так много времени. Поэтому, при планировании сценариев, думая о скорости, по большей части ориентируемся именно на размер ответа. Входной контекст не так влияет на скорость. (Но влияет на другие показатели, например точность ответа и тд).

Пока что лучшее видео с объяснением как все работает все еще тут.

Пара мыслей с кухни недавно вышедшей фичи создания сайтов с AI.

- Большие структурированные ответы — боль.
Модели (даже топовые) «плывут» на больших ответах. Что-то забывается, где-то теряется пара "ключиков" и тд. И если в тексте это не особо заметно, то в жесткой структуре сайта забытая скобка или перепутанные местами параметры - это фиаско братан.

Казалось, логично дать сети генерировать сайт по кускам, но здесь теряется общий контекст задачи. Сайт, как хороший текст — это взаимосвязанная структура, тут важно держать целиком всю логику и «линию повествования» (связи между блоками). Особенно между соседними. Например блок заголовка до карусели с тарифами должен знать о соседе, иначе может выдать «наши преимущества».
Пришлось искать баланс — дробить генерацию на шаги, сохраняя тесную связность между ними.

- Краткость сестра... скорости.
Обычно принято считать, что скорость отклика LLM важна только в realtime-сценариях (там чат, ассистенты). Но прикол в том что в чате вам по большому счету пофиг - ответ пришел через 2 секунды или через 4. А вот смотреть на генерацию минуту или две - это уже как небо и земля.
Ну и так уж вышло что на скорость ответа намного сильнее зависит от размера ответа чем от размера запроса. А сайт - это такая большааая простыня текста. Поэтому пришлось выкидывать все не нужное, сокращать все что сокращается и отдельно думать "а что мы можем переиспользовать?".

В общем получилась задачка со *. Нужно генерить много, быстро и точно.

Скопилотили тут сайты.

Если вдруг наша офигенная маркетинговая компания каким-то образом прошла мимо (что удивительно) - то я напомню еще раз - в марте мы релизнули новую фичу «создание сайта с CoPilot». Я отвечал за этот проект как продакт примерно до выхода его на финишную прямую (потом случились некоторые подвижки внутри компании) и хочу лишний раз написать про него, а еще восхититься командой и коллегами которые к нему причастны.

Команда знатно постаралась чтобы выпустить эту конфету.

Огромный пласт работы сводился не только к самим технологиям генерации(постараюсь написать про это), но и к бесконечным важным мелочам: чтобы сайт собирался адекватно из минимального ввода, чтобы пользователь не умер со скуки за эти 30 секунд ожидания, чтобы каждая страница и блок были одновременно уникальными, осмысленными и максимально релевантными запросу.

Отдельно хочется выделить наши дискуссии о том, что вообще делает сайт «нормальным» с точки зрения пользователя, и насколько это иногда не совпадало с изначальными технологическими идеями. Были ситуации, когда вроде сгенерировали правильный сайт, но смотрим - не нравится. Просто «не то». Приходилось придумывать решение, которое жестко не ломает концепцию и дает пользователю контроль над результатом, но и не усложняет процесс.

И, конечно, много работы по UX: здесь наша дизайн-команда и ребята из фронта смогли сделать практически невозможное — красиво обыграть даже небольшой «лаг» генерации, чтобы пользователь не ушел пить кофе и не закрыл вкладку со словами «да там всё зависло».

В итоге — фича релизнулась и, кажется, сильно упростила условный путь от идеи сайта до первого рабочего варианта.

Cпасибо команде и вообще всем кто развивает и улучшает направление AI в компании, вы очень крутые.

Обнял приподнял)

The king is dead N.
Новая функция генерации изображений в ChatGPT (точнее gpt4o) настолько увлекла всех на прошлой неделе, что новая SOTA модель Gemini 2.5 Pro как-то не особо "пошумела".

Да и что там - подумаешь новая рассуждающая модель (как быстро новое становится привычным). Уже были DeepSeekR1, Grok3 и Sonnet 3.7 и другие.
«Но не зря же модель поднялась на первое место в рейтингах» - подумал я. Не только на арене но и в бенчмарках тут и тут и еще много где.

Пошел попробовать в aistudio эту модель, тк как раз появилась задача где нужна работа с большим контекстом (а Gemini как раз славятся отличными показателями в тестах иголки в стоге сена), и … ну отлично!

Сложно будет объяснить почему конкретно модель вызывает такие положительные эмоции, разве что поразило в одной из задач на подсчет необходимого количества инфраструктуры для выполнения задачи. Grok и o1 посчитали всё «по учебнику». А Gemini 2.5 Pro выдал не только «правильный» расчет, но и добавил реалистичный сценарий: «Конечно, правильно считать вот так, но вероятность такого исхода крайне мала, давайте еще посчитаем более реалистичные цифры». Вот это я понимаю, рассуждение и ориентация на практику!

В итоге частично пересел на эту модель. И еще как минимум несколько коллег в команде. Так что советую попробовать.

Гугл конечно знатно хайпит и даже включили эту модель бесплатно в gemini , но там намного меньше доступных запросов чем в аистудии, пусть вторая - скорее инструмент для разработчиков.

П.с. Для обоих сервисов нужен только аккаунт Гугл.

И нет подписки..))

Почему вам врут, когда говорят, что «DeepSeek — топовая модель, которую можно развернуть прямо на своём домашнем компе!»?

Вся ИИ-отрасль сейчас на бешеном хайпе — большие деньги, огромное внимание, и море желающих оседлать тренды. Поэтому не совсем правдивые тезисы легко подхватываются инфополем (шел инфоцыган по инфополю и вел коня за инфоповод) и разлетаются как «чистая правда».

Теперь конкретно про DeepSeek R1/V3:

Чтобы развернуть модель в том виде, который максимально близок к официальному демо(cайт/приложение), вам понадобится примерно 16 видеокарт A100 с внушительным объёмом GPU-памяти (80GB каждая).

Конечно, знающий человек может возразить: «Ну можно же использовать квантизированную (читай — сжатую) версию или дистиллят (читай — модель, обученную на ответах более мощной версии)!».

Отвечу сразу: да, это можно. Но качество и возможности таких версий не будут равны тому что выдает оригинал. А "топовость", соотвественно измеряется для версии без сжатий.
И даже для «более-менее» приличной сжатой версии понадобится как минимум 4-6 карт по 80 GB памяти. Или, на худой конец, Mac Studio M3 Ultra за каких-то скромных 10 тысяч долларов.

Так что не ведитесь на подобные громкие заявления. Проверяйте факты и не попадайтесь в ловушки хайпа.

"А скелетор вернётся позже с ещё одним неприятным фактом."(c)

P.S.: DeepSeek R1 и V3 — реально классные модели, и автор был бы только рад запускать их на обычном «домашнем» компе.

Завтра (27.03) буду на онлайн-марафоне Bitrix24 «Автоматизируй это: Управление командами и проектами» — поделюсь, как CoPilot помогает менеджерам строить стратегии и мирить всех без драк.

Пока мы всё ещё управляем людьми, а не бездушными машинами (AGI если читаешь это - прости), есть смысл разбираться, как делать это эффективно.

Второй день мероприятия уже идет, но еще есть возможность запрыгнуть в последние вагоны дни.
На секундочку, среди спикеров Игорь Манн (эффективность руководителя), Галина Лебедова (лидерство в 2025), Михаил Москотин (эффективная команда), ну и я, да)

Так что если хотите разобраться, в лучших практиках управления (с AI и без) - приходите, будет интересно.

А еще на неделе вышла колонка в Сноб, где пробежался сравнением по Grok 3, gpt 4.5, sonnet 3.7.

Вообще Grok в текущей версии это хорошая такая альтернатива другим топовым сеткам. Особенно если хочется чего-то более «приземленного» и безбашенного в общении. Раньше нужно было хакать gpt чтобы заставить материться или жестко прожарить - сейчас для этого есть сеть Маска, которая без вопросов соглашается почти на все (кроме критики создателя и еще некоторых персон).

Признаюсь честно - сам в Grok пользуюсь только DeepResearch, не увидел для себя ценности переезда с прижившейся уже «экосистемы» ChatGPT. Но с учетом положения места на арене, поиска, дипресерч, рассуждения и работы с файлами - ее точно стоит попробовать, если нет "привязанности" к другому АИ-сервису.

Кстати, каналы шумят про «специального бота» Grok для телеграм. Мое мнение - пока можно забить. Внутри точно не 3я версия модели (2ая или вообще 1ая).

↙️↖️↕️ Всем привет и хорошей пятницы!

У нас вышел новый подкаст, в котором поговорили о практическом применении нейронок с Сергеем Нотевским, AI-евангелистом и разработчиком команды AI/ML в Битрикс24.

Сергей рассказал о личном опыте внедрения AI в корпорации, какие критерии учитывать при выборе модели и какие есть подводные камни.

Бежим смотреть😻
◽️ YouTube
◽️ VK Video
◽️ Rutube

Подписывайтесь на нашего гостя и Битрикс24:
◽️TG-канал Сергея: AI да парень
◽️TG-канал Битрикс24: для клиентов
◽️TG-канал Битрикс24: для бизнеса

#madbrains_tekhno

Намедни 👨‍🦳 был в гостях у подкаста Mad Brains. Поговорили про выбор модели для задачи/проекта/бизнеса и подводные камни, которых там достаточно)

На мой взгляд получилось плотно по информации, что скажете? Норм на слух (без слайдов) воспринимается?

Кажется, я понял, в чём вау-эффект дипресерчей.

Помните эту фантазию (у меня она точно была), когда ChatGPT только появился и набирал популярность? Типа сейчас спросишь у ИИ что-то, а он умненько проанализирует супер-актуальные данные и даст ответ? Этожисскуственныйинтеллект!

А по факту получали средний такой ответ. Особенно, если это был GPT 3.5 и без нормального промптинга… Все быстро поняли, что уникальность и качество ответа достижимо только передачей в контекст всего объема данных на основании которого должен быть дан «нормальный» ответ. И здесь спасали большие контекстные окна, загрузка файлов, rag и тд.

Потом появился поиск внутри аи-ассистентов. И уже можно было серией запросов, направляя ИИ, вытащить что-то действительно полезное, иногда даже не докидывая тонны контекста в виде файлов и кусков статей.

И вот теперь вышел DeepResearch, который делает именно то, чего мы ждали от ИИ ещё 2 года назад — уникальный, комплексный и, главное, полезный ответ, основанный на десятке-другом источников.

Может показаться, что я излишне вдохновлён этой фичей, но да, так и есть)

Сейчас в повестке постоянно звучит вопрос: «Вы что, до сих пор не используете нейросети?». Через пару месяцев это будет звучать так: «Вы что, до сих пор не используете дипресерч?».

4 сервиса с DR разной степени "бесплатности".
ChatGPT - 10 шт/месяц с подпиской за 20$
Grok3 - бесплатно пока тестируют технологию
Gemini - 15 шт/месяц бесплатно
Perplexity - 3 шт/день бесплатно

С выходом DeepResearch вернулся к активному использованию Reader от 11labs.
Так последний ресерч который мне делал ChatGPT составил 31205 символов (или 4103 слова). И лично мне заходит такие обзорные тексты заслушивать в виде аудио/подкаста. Закинул в приложение текст ресерча, подождал 10 секунд и можно спокойно гулять/готовить/тренироваться/и тд, получая полезный контент. В конкретно последнем моем случае получилось 31 минута (а прошлый вообще 1 час).

Там же есть и возможность на основании текста сформировать аудио-подкаст, в виде обсуждения темы и тезисов двумя спикерами. Мне не нравиться - уж больно много выкидывается и сокращается. Поэтому выбираю зачитывание текста без изменений.

С помощью двух разных DeepResearch собрал советы по составлению запроса для него же.
Да, промптинг. Да, опять.
Интуитивно использовал часть из них, но здесь набор явно шире.

1. Указываем рамки: временной период, географию, желаемые источники (например, «нужна информация после 25 февраля 2025», источники из Рунета).
2. Определяем ЦА исследования («для домохозяек»).
3. Итеративный подход: если тема действительно обширная, лучше сделать серию исследований.
4. Добавляем файл, если нужно, чтобы данные из него были «приобщены к материалам дела».
5. Добавляем контекст и указываем формат ответа – нетленная классика.
6. Фокусируемся: на чём нужно сконцентрироваться, каких целей хотим достичь, что главное.

Ну и бонус: обязательно нормально отвечать на доп вопросы если их задает модель.

«Trust me, I’m a researcher.»

На днях OpenAI дали доступ простым «двадцатидолларовым» подписчикам к инструменту DeepResearch (ну да, вы уже, скорее всего, видели во всех новостях).

Если вдруг кто-то ещё не в курсе, что это, вкратце: модель всё так же просто даёт ответ на ваш запрос. Вот только внутри работает агентская система, которая в процессе продвижения к цели собирает данные из различных источников, размышляет и корректирует свои действия, чтобы быть наиболее эффективной.

Я начал чуть раньше с другим инструментом, и поймал вау-эффект. Настоятельно советую попробовать!
И не обязательно делать это в ChatGPT (который, к слову, за 20 $ даёт всего 10 «диприсерчей» в месяц), потому что у нас есть выбор из:
• Perplexity DeepResearch – 10 бесплатных запросов в день (не в месяц). Использую с момента выхода почти каждый день. Из минусов, пожалуй, – отсутствие возможности продолжить работать дальше с ответом.
• Grok – говорят, пока бесплатен. Не пробовал, не осуждаю. Из отзывов в сообществе – где-то лучше, где-то хуже аналога от OpenAI.

Чтобы понять в чем разница между обычным АИ-поиском и DeepResearch - нужно просто попробовать.

На днях нашел классный кейс для визуализации с помощью llm и фреймворка manim.
Сам фреймворк сделал автор 3blue1brown, который в своих видео доступно объясняет сложные вещи. Я как то скидывал серию видео этого автора, о том как работают большие языковые модели. В этих же видео можно посмотреть какие крутые анимации можно создать.
В общем оказалось что сетки достаточно хорошо генерируют код для этого фреймворка.
Тут даже прогать не нужно - главное чтобы был python, установить библиотеку manim, попросить у модели визуализацию, запустить скрипт который отдаст нейронка и получить видос. Ну и конечно само происходящее в анимации можно придумать с llm (если нет четких идей), главное просить сделать как "3blue1brown", иначе может выйти "боком".
Нормальные результаты вышли только с o3-mini и DeepSeek, так что рекомендую начинать с них)

Для наглядности - пример анимации для объяснения того как работает контекстное окно, сделанная за 3 минуты.

О-о-о! (3)
Вечер пятницы, господа.
OpenAI выкатили новую рассуждающую модель o3-mini.

Есть даже доступ бесплатным пользователям (не надо тут про "как у DeepSeek", эти ребята заранее говорили что o3-mini будет и у бесплатников).

Что по характеристикам:
сравнима с o1 моделями, но значительно быстрее (это заметно сразу если работали с o1/o1-mini).

На первый взгляд выглядит как будто нам выкатили o1-turbo))
Кстати цена на API тоже снизили.

А еще 150 запросов в сутки - вот за это спасибо, как раз потратил все запросы о1 и о1-mini.

Будем посмотреть и хороших выходных)

П.с. Что приятно - теперь работает с поиском (Да, "как у DeepSeek").

AI компании в Америке сегодня очень deep sick.