26 сентября 2025 года у нас пройдет AiConf2025, в рамках подготовки конференции вас ждет серия интересных статей.

Сегодня расскажу о своем пути в профессию и поделюсь своим взглядом на то, как войти в IT AI. Также затрону вопросы связанные с работой в этой отрасли, с вызовами и нюансами. И конечно приглашаю Вас к участию в конференции, регистрируйтесь и подавайте свои доклады!

Раскуривание полезных фреймворков НЕ вредит вашей нейропластичности(с)

Дядя помнит, когда приму курил его дед. А теперь "раскуривать" новый распределённый аналог llama.cpp нам.

So, prima.cpp is a distributed implementation of llama.cpp that lets you run 70B-level LLMs on your everyday devices—💻 laptops, 🖥️ desktops, 📱 phones, and tablets.(с)

В пачке Примы:
- Heterogeneous, low-resource, cross-platform clusters (e.g., home devices connected by Wi-Fi);
- Quantization (Q4K and IQ1);
- Mixed CPU/GPU computing
Disk offloading;
- Piped-ring parallelism with prefetching;
- Automatic workload distribution.

Подробнее тут: https://huggingface.co/papers/2504.08791

AirFlow, MLFlow, DVC, ClearML?? Пффф. InstructPipe от Google!!!

Вот тебе шкет, к вайб кодингу еще и вайб пайпинг. Фу, звучит даже противно.
Крч берёшь, пишешь инструкцию к LLM для ML пайпа и получаешь псевдокод, псевдо инструкцию, и псевдо интерпретацию. 🤣🤣🤣
Шучу, получаешь крч ток псевдо код, пайп и блоксхемку.
Делоешь, вайб автомотизируешь и койфуешь.


https://research.google/blog/instructpipe-generating-visual-blocks-pipelines-with-human-instructions-and-llms/

Какой-то там элаймент vs мониторы/цензор оценщики и пр.

Следом за Anthropic и OpenAI сдались с элайментом и перешли на гибрид с внешними цензор классификаторами, которых зовут мониторами. Дядя писал уже тут об этом, но про рассуждения. Это небольшие сетки обученные на детекцию запретных тем запросов и генераций. Говорят, 98.7% качество. Но на самом деле, следить над бы за FPR в тч.

Забавно, элайнят, элайнят, чтобы потом просто сверху и снизу классификаторы навесить. Дядя такое уже юзал лет 5 в обед.

Конечно в гибриде элайн+внешние оценщики лучше работает. Но и это можно взломать разными атаками, все-таки oov примеры никто не отменял,также как и атаки токенизацией.

Мем дня.

Agents - не Anthropic'ом едины.

OpenAI также выпустили свой гайд, считаем взгляд, на агентов.

Читаем, образовываемся, создаем свои стандарты или выбираем удобный (антропиков или опенов).

Upd. Гайды пополняются туть.

Интересно, реально или вранье, чтобы нагнать классы? 🤔

https://lifehacker.ru/perplexity-v-telegram/

Ахаха, они такие: "чеел, мы крч модели принесли, но архитектуру и веса не дадим, на APIху". До кучи, наверное, закрываем скоро gpt4.5.

Ну не грусти, шкет. Садись на лицо промптинга модели gpt 4.1 и на тебе кукбук, как это сделать без лишней боли. Крч, шкет, переписывай свои промпты, власть сменилась.

Upd. Там есть swe промпты для агентов даж, прикольное.

ТЛДР.

https://www.youtube.com/watch?v=kA-P9ood-cE

Глядите, потом расскажите.

Юмор в том же вижуал духе,что и https://t.me/denissexy/9929

Рубрика: улыбка в воскресенье.

Про ёмкость эмбеддингов.

Тут в комментах предыдущего поста про память мне скинули пост соседей по цеху. Про исследование сколько информации может закодировать эмбеддинг языковой модели.

Статья вот. Пост вот. А мысли Дяди вот далее.

Данное исследование дает очень интересные инсайты, которые полезны как для RAG так, и для памяти на базе него, и в т.ч. для всяких там RETRO/CAG и KV-caching, даже с лонг контекстом важное. Получается, чтобы кодировать текст для той же памяти через эмбеддинги нужно иметь ввиду размерность эмбеддинга, капасити модели кодировщика, и сложность текста. И тогда ко всему выше, мы добавляем еще метапараметры для настройки и выбора моделей кодировщиков.

А еще если посмотреть, что для прода сейчас пригодны эмбеддеры около 1-3b, а еще лучше до 1b ёмкостью, то в среднем это позволяет только 512 токенов эмбедить за один вектор эффективно. Вот и делаем выводы. Думаю исследования капасити эмбедов станет интересной вехой развития RAG, KV-caching и вещей вокруг аля CAG/RETRO.

От себя добавлю, что в наших экспериментах вокруг multitasking embedders, мы обнаружили ещё одну интересную закономерность по сжатию эмбедов или с учителя, когда с тушки еще есть пожимающий адаптер, или на ученика, когда учитель дистиллится учеником. И тут коэффициент пожатия размерности эмбеддера ~2.4-2.56. Чтобы пожать размерность эмба с 768 без потери downstream качества поиска, кластеризации или классификации, мы можем опуститься максимум до 300. А для 1024 максимум до 400. Потом качество уже будет значимо снижаться от 5% пунктов и выше.

Вот такие мутки, гульки(с).

Пишите в комментариях свои наблюдения вокруг этой темы, интересно.

OpenAI и жиза про память от Дяди.

Все уже слышали про новый апдейт памяти от OpenAI? Кстати, прошел ровно год считай с анонса этой фичи, и Дядя по этому поводу писал об этом и о своих мыслях о памяти. Дядя занимается памятью тоже, ибо для ассистентов и агентов это важная фича.

Самое интересное,что по обещанным новшествам:
- помнит не только факты, но и старые контексты с чатов
- как следствие понимает стиль юзера и апает персонализацию.

Далее прокомментирую апдейт. Но начну с личного опыта – расскажу вам, как сейчас на рынке +/- устроена память:

1. Old style. 😦
На сценарном движке зашито в виде слотфиллинга. Слотфиллинг это алгоритм заполнения автоматом с учетом распознования намерения слотов (ключей в json), позволяет лучше держать контекст и не перезадавать тупых вопросов.
Сюда же относится всякий NER/ классификаторы, которые и могут делать span extraction и классификацию тематик интересов, к примеру. Они же в слотфиллинге занимают роль моделек для заполнения.

2. In long context we trust. 😏
Предлагается "бесконечная память" на основе жирного и потенциально эффективного контекста (нет), тк в вашей системе врядли найдутся юзеры с диалогами на 10М токенов. Тут все понятно, писал об этом здесь. Главное,что на практике совать память в контекст, без вырезки как это делает, к примеру DeepSeek R1 с "думающими" токенами и областью между ними, будет больно. На нашем опыте глюки обеспечены. Поэтому нужно предусмотреть механизм: "контекст-последняя реплика-память-ответ-вырезать память из контекста и по кругу".

3. Саммаризация 🥱 или когда контекст не резиновый.
Если есть пример, когда все жирно пассажирно по контексту, вот вам пример с коротким контекстом. Правда подходит больше это под один из блоков памяти и в лоб без ухищрения позволяет иметь локал память. Можно хранить саммари прошлых диалогов и передавать их к новым рядом с систем промптом. Но и контекст саммари нерезиновый поэтому лучше микстить с предыдущим подходом или следующими.

4. Готовим из памяти RAG'у.
Есть любители и такой кухни. Могут тупо хранить эмбы диалогов+сам текст по юзеру с dialogue_id. Далее, использовать в контексте или всегда по умолчанию делая ретрив или умно, к примеру, отсекая по скору ранкера или вовсе перенося на функцию памяти принятие решения. Также можно умно нарезать диалог, прося саму LLM вырезать те спаны текста,что она считает полезными для хранения,тем самым не хранить диалоги, а только их важные кусочки. Можно и не LLM просить, а те ner extractor, из пункта выше, вариантов масса. А так действительно зачем нам всякие смолтоки мусорные аля: "
-привки,
-даров,
-как дела?
-,ок,
-ну лан".

Сюда кстати применимы подходы и через саммаризацию, когда в индекс памяти кладут важное саммари диалога, с минимумом воды и уже ретривят такое.

Вызовы с RAG памятью состоят в том,чтобы думать за инфру хранения: обновления индекса по юзеру "на лету", памяти где бы столько взять (юзер-то не один) и т.п. В остальном вполне себе решение. Это помимо логики нарезки и ретрива.

4. Structured output (SO) +Function calling 🧠.
Пример глобальной памяти на SO. Необходимо создать систему, которая понимает, когда забрать инфо из контекста и положить в память, или наоборот, выдать релевантные факты из памяти в контекст для использования. Остаются вопросы, кто экстрактит данные, как писать в память и возвращать обратно. Продумать шаблон хранения памяти и форматирования контекста. Сделав это, можно жить и так, а можно все фишки сверху накрутить. Хранить при помощи саммари в ключах SO памяти, или иметь доп ретрив логику. Экстрактить можно LМкой в память инфо, а можно аля слотфиллинг, при помощи NER. Функции можно роутить LLM, можно юзать классификатор или эмбеддер аля, как в RAG. В общем этот пункт может быть наиболее зрелым, но свои вызовы тут тоже есть, особенно если микстить с предыдущими подходами и наследовать их проблемы.

Итого, что может быть у OpenAI. Дядя думает,что микст long context + RAG или + SO/function call.

А что выберите или выбрали вы? Пишите в комментариях.

Про инженерные платформы и AI.

Дядя очень радеет за технологическую зрелость data-driven решений и процессов, а что, если целый банк является примером data-driven компании?

Об этом, 23 апреля  расскажет Т-Банк в рамках Platform Engineering Night. Приходите послушать, как AI помогает автоматизировать процессы, оптимизировать ресурсы и повысить продуктивность платформенных команд.

Что будет в программе:
— Доклады экспертов о применении AI в инженерных платформах.
— Зоны демонстрации AI-решений в платформах.
— Нетворкинг с инженерами и лидерами отрасли.

Где?
Встреча пройдет 23 апреля в 19:00 в T-Space по адресу Москва, Грузинский Вал, 7. Доклады можно послушать в онлайне.

Это бесплатно, успейте зарегистрироваться.

Вечерний юмор.

Когда просишь спеца по GPU инфре скинуть видос на свой пет проект...

"Нуу вопросов многа, но зато она работает".(с)

В последнее время, в канале появилось несколько постов про агентов. И везде Дядя указывает на необходимость взаимодействия LLM с «окружающей средой». Именно в этом помогает протокол MCP.

Model Context Protocol – незаменимый инструмент не только для работы, но и для ML-соревнований, где нужно использовать всю мощь LLM. С помощью нового стандарта подключения AI-ассистентов к бизнес-приложениям от Anthropic ты сможешь интегрировать ИИ в свой проект – идеальное решение для хакатона, где время ограничено.

В новой статье разбираемся, как устроен протокол, как поднять собственный MCP-сервер и использовать его в IT-соревнованиях. Ты узнаешь про:
🔤 Архитектуру Model Context Protocol.
🔤 Основные возможности стандарта.
🔤 Примеры реализации: от простых к сложным.

Сосредоточься на создании уникального AI-ассистента. Как это сделать? Ответ в статье: https://cnrlink.com/mcpitonecupmldealerai

А проверить всю мощь MCP можно на IT_ONE Cup. ML Challenge. Зарегистрируйся, выбери один из трех треков и раздели призовой фонд в 1 500 000 рублей.

MCP станет одним из важных инструментов для разработки ИИ-помощников в задачах соревнования:
🔤 Динамические контекстные подсказки для системного аналитика.
🔤 AI-генератор дизайн-макетов по описанию требований.
🔤 Система визуализации BPMN-диаграмм.

MCP позволит использовать локальные модели, которые сделают решения более автономными и безопасными – их будет легче адаптировать под задачи соревнования.

Регистрация открыта до 13 апреля включительно: https://cnrlink.com/itonecupmldealer

Когда тема с длинным контекстом снова актуальна, как и мем здесь 👆.

Llama 4 про 10M контекст и будущее RAG, memory etc.

Это не будет очередным обзором о новой моделище (а ламки вышли real chubby). Об этом вы итак почитаете у соседей.

Мне вот больше интересно про длинный контекст 10М и прочие сопутствующие вопросы.
Во-первых, недостаточно просто так взять и сделать окно в 10М. Для начала надо датку найти под это с жирным контекстом, а нам указывают на синту. Во-вторых, еще надо переработать архитектуру внимания и позиционного кодирования, чтобы сигнал не тух и был эффективнее. И вот тут находится первый краеугольный камень. Мало сделать 10М контекст, надо чтобы в каждой точке он был эффективен. Т.е. если я кидаю факт в начало, потом в середину и в конец, и прошу ответить на вопрос, без этого факта на который, вы не ответите. То при замере качества оно должно быть +/- одинаково для таких примеров. А внимание должно не затухать, как обычно бывает, что на бумаге 1М, а по факту помнит и эффективно использует контекст в последние там 100 пар реплик. Кстати показали для этого метрики MTOB и там проценты чет около 40%, не впечатляет правда, мол не близко к 100 и AGI все еще не achieved. Но тут нужно посмотреть на Needle in the haystack в 100% синтетических процентов, тк расширили еще на 9М (исходно было 1М).
И цифры конечно, для профи красивые, но что будет на самом деле? Как реально будет это работать в юзкейсах аля поиска по портянке больших доков, или нескольких доков и тп. Вот где замеры интереснее. Ведь с одной стороны, жирные тексты еще найти надо для обучения, еще синта там наверняка есть и т.п., что конечно трансферит нам знания, но синту обучить и мерить на синте это одно, а в жизни как будет, поглядим.

И это следующий краеугольный камень для замены RAG, всякой там памяти и тп. Я бы пока не стал закапывать RAG и память с CoT+SO. Да, когда-нибудь, обязательно закопаем, но когда на реальных кейсах 10М из 10М у нас будет эффективный контекст. Но то, что с ростом абсолютного контекста в его рамках растет и эффективный это вполне себе. Допустим, заявлено 10М, а 1М последних токенов можно юзать эффективно для поиска и памяти, это мне хватит на 99.9% кейсов. Проверим.
А теперь, вопрос памяти, например, хочу я сделать запоминание диалогов там с юзером, для большей липкости и тп. Беру жирный контекст и просто его юзаю за всю историю общения с юзером. Вопрос. Сколько мне на каждого юзера придется хранить физической памяти на диске? Сколько gpu нужно, чтобы поддерживать rps, latency и тп.? И каждый ли игрок на рынке сможет себе это позволить, даже платя по подписке или арендуя мощности др. игроков? Тут Дядя задумался, а не оттуда ли в т.ч. цены (доля от цены) по 200$ за подписку. Ну лан, за подписку еще платить осилят.

В целом, вижу для RAG и памяти в гонке за жирным и эффективным контекстом будущее в гибридизации с ним. С одной, стороны будет проще помнить, обрабатывать и переиспользовать инфо юзая контекст, с другой стороны придется все равно затачивать модель под ответы на своем домене. Т.е. нужно будет вокруг этих моделек строить свою доп. логику, чтобы закрыть неизбежные глюки, а еще помнить, что память-то "протухает" и в таком жирном контексте могут оказаться противоречивые или неактуальные факты- это, кстати, в пику тезису "помнить в каждой точке контекста одинаково важно". Сегодня я пишу одно имя, завтра говорю хахах меня не так зовут. И т.п. upd. Кстати, по нашим экспам с памятью, противоречия в контексте оч мешают и взывают галюны.

В общем,все также сидеть придется на нескольких стульях: архитектура, данные, логика работы и выч. ресурсы. Проще не стало.

Фото в заголовке взято отсюда.

Нинка 2 aka Nintendo Switch 2 выходит в предзаказ.

Пост выходного дня. Юмора на неделе хватало: от дня дурака до крестовых походов.
Поэтому будет сегодня про досуг.

В общем, у Дяди есть любовь к консольным играм, и конечно же имеется Nintendo switch первого поколения и тут объявили о скором выходе второго. Причем предзаказ стартует аж 08.04.2025.

Что из интересного для меня:
- FHD разрешение в портативном режиме и апскейл до 4к с приставкой при подключении к экрану ТВ, монитора или тп. Причем обещают 60-120fps.
- Увеличили экранчик на пару дюймов, при этом толщина та же. Размер выходит между старой нинкой и непотопляемым steamdeck.
- Памяти досыпали побольше 256gb встройки, правда формат sd карт только один.
- Обратная совместимость с играми первой серии,но логично,что игры от второй на первую не пойдут.
- Запилили более "удобный" режим стримминга (правда стримить в 14 fps такое себе), новые возможности для корпоративной игры, включая даже шеринг на старые устройства серии (нинка 2 будет как основная консоль).
- Более мощное железо, экран fhd, правда IPS, а не Oled (через два года ждем).

Раз все стало быстрее, выше, мощнее,то и игр отсыпали новых подстать. Помимо эксклюзивов, появится цива 7, киберпанк, elden ring, harry potter, border lands 4 и др.🤙

Интересно? Да, если бы не цены. Цена за версию с поддержкой ру языка будет около 450$. В Японии самая дешевая разумеется (чет около 350$), для Европы и USA подороже. Но Япов версия соло на их языке. Самое больное это картриджи, для любителей коллекционировать коробушки цены от 50 бачей обещают, а где-то будет даже 70-80$. 😳 Да конечно есть подписки всякие, где будет наверняка подешевле.

Крч, тут не знаешь, то ли радоваться, то ли плакать. 😔
Конечно, серия Нинтендо не про деньги, тут своя фанатская культура, экслюзивы и желаемая портативность/мобильность. Но, сидишь и думаешь, брать сейчас за +20% стоимости как эсклюзив или подождать Oled (и к тому моменту уже хацкеры подсуетятся) или подождать спада цен. Или за эти деньги взять себе ПК. Решать каждому.

А что вы думаете про это все?

Обещанного три года ждут(с)

У OpenAI изменились планы 😏

GPT-5 через несколько месяцев.

@tips_ai #news

Ну вот любо дорого теперь смотреть, молодцы. За конструктивный диалог авторам статьи лайк. 😁 Обновили.💃

Рекомендую к перепрочтению. 😎

https://habr.com/ru/companies/redmadrobot/articles/892882/

Ребятки пояснили, чего имели ввиду.

https://t.me/dealerAI/1177?comment=9402

А че, Дядя обещал, поговорил, и сделал апдейт.

Второй крестовый поход на ai-agents.

Про то, как вам продают RAG системы под соусом агентов в Х раз дороже. Ну ибо хайпово че. Но Дядю не проведешь.

Сегодня быстро разберем, вполне хорошо написанный пост от red-mad-robot, если бы это было про RAG.
Ребята рассказывают про то,как сделали AI-agents для работы с обращениями и поиском по внутренним системам.

Однако, тема не раскрыта. После первого прочтения, Дядя задался вопросом: "а где тут агенты?". Это же две RAG системы, с минимумом автономности поведения. Да, весьма сложные системы,где несколько раз вызывается LLM последовательно. Для примера, автономность, характерная для агентов – это когда LLM-оркестратор сама решает в какие системы ходить, какие шаги пайплайна выполнить, вопросы задать, даже банально нарезку может,как делать сама решить и дать команду зависимым системам, в т.ч. LLM-акторам. Т.е. у агентной системы граф взаимодействия и пайплайн не последовательный ,более того, недетерминированный. Тут четко на схемах есть пайплайн/алгоритм поведения. От нарезки до поиска и конвертации форматов. Где признаки агентной системы, Ковальски?
Даже на схеме где у нас идут запросы и мы ходим в разные доменные базы, пишут мол мультиагент, это мультипоиск, але. Вы делаете классификацию запроса, понимате в какой домен сходить, идете в эту бд-ху, можно даже асинхронно в несколько, далее делаете снова retrieve, получаете подсказки, отвечаете. Снова понятный пайплайн. И это все еще просто RAG.

Давайте так, если у вас есть LLM теперь в вашей системе поддержки, вместо или с сценарным движком, поиском по базам знаний и вертолетом на крыше – это все еще просто LLM based система может быть, или LLM workflows в нотации антропиков, но все еще не агентная система, без признаков агентности. И ктати, в статье именно пока вырисовывается LLM-workflows, который мог бы быть частью агентной системы, но конкретики не хватило.

Как можно было,например, красиво показать агента? Агент, помимо автономности, логично,что взаимодействует со "средой". Ты если идешь по новой для себя улице видишь кочку, ты ее видишь сейчас, она не описана у тебя заранее во флоу, это новое место для тебя,но для этого и есть у тебя интеллект, а ризонинг у LLM. Ты ее обойдешь. Вот и для LLM оркестратора есть информация о системах, вот ЛМушка гляди, у нас есть К штук БДех, три сценарных движка и пять конвертеров форматов данных. Они умеют вот так и так. Смотри, тебе пришло вот такое сообщение-задача,прими решение САМА куда сходить, че сделать, кого вызывать, чтобы получить ответ на запрос. И вот тут она включит свои LLM-flows под эту ситуацию, и таких обходов она может сделать много и цепочки не детерминированны, они могут иметь разную длину: состав вызываемых модулей, доп. вопросов, динамических нарезок, уточнений и тп.

Но,чтобы быть справедливым, Дядя сходит в комментарии и задаст вопросы. Ибо,честно, не хватило фактуры почему это агенты в статье. Возможно, сделает апдейт.

Upd. Поговорили с ребятами, раскрыли в комментариях суть. Агенты есть, были и будут (с). Ждем новых открытий от них.

Сама грозится новой мощной моделькой, да еще и открытые веса. Верим?

https://techcrunch.com/2025/03/31/openai-plans-to-release-a-new-open-language-model-in-the-coming-months/

Для справки:

Неизвестный художник. Портрет камергера Императорского двора князя Ромуальда Константиновича Гедройца.

Один из "чемпионов" по количеству иностранных наград при дворе. Имел даже гавайский орден Калакауа I.

Про all-in на агентов.
Продолжаем наш "крестовый поход" в этот раз в стан агентов.

Из каждого утюга нонче идет,что 2025 - это год агентов. Как в опере Фигаро агенты тут, агенты там, агенты здесь, здесь все Дюша, Стас... Простите.

Тут, кстати, пояснять будет полегче т.к. антропики запилили ИМО лучший тлдр по полочкам, что такое агенты (и не обязательно LLM-based), где их и когда применять и т.п. и т.д. И всем канальям манагерам, в т.ч. тем, кто продают борду очередную ИИ стратегию хорошо бы это почитать. Если ты tupoy и не умеешь переводить с англосакского на русский вот тебе перевод адаптация.

Прочел? И чтобы Дядя больше не слышал потом, что у тебя агентская система, ибо агентский может быть только договор. И если у тебя последовательность действий с LLM это ещё не значит, что у тебя агент, возможно это все еще LLM+workflows. Кстати, именно последнее всякие ребятки с компаний выдают за агентов. Ну а че, сверху партия спустила "пересесть везде на агентов" вот и называют любой pipeline, где есть LLM теперь агентами, и закрывают плашки КПЭ.
А у вас какие были корки на работе с агентами? Пишите в комментариях.

Вчера Сегодня ночью еще у Нади под постом покекали.

ARC challenges, снова.

Расчехляем свои пекарни, качаем сеты с прошлых сорев на kaggle и генерим синту. Пора сделать AGI ближе. 🤣

https://arcprize.org/blog/announcing-arc-agi-2-and-arc-prize-2025

OpenAI ограничило возможности генерации изображений с новой моделью не только в стиле Ghibli, но и иных ныне живущих художников. Так компания старается не нарушать авторское право на стиль и тп?

Upd. На самом деле просто не вывозят ГПУ. Да и какое авторское право на стиль, Дядь.

Привет!

На платформе открылась регистрация на соревнования Avito ML Cup 2025

🚀Старт отправки решений: 31 марта
🔥Призовой фонд: 1 200 000 рублей

Задача 1: создать модель, которая предскажет интересные для пользователя товары на основе его действий на платформе.

Задача 2: разработать решение на базе технологии компьютерного зрения, которое сможет обнаруживать одинаковые товары.

Участвовать можно как индивидуально, так и в команде до 4 человек.
Не пропустите возможность проявить себя и забрать денежный приз!

Подробности ➡️ на страницах задач: Задача 1 (персональные рекомендации), Задача 2 (поиск дублей)

Красивое.
С incontext image style transfering.
С детализацией и читаемыми буковами.

https://openai.com/index/introducing-4o-image-generation/

Pain test task.
Pain trial day.
Pain trial week.

Upd. Pain offer.

Так гораздо естественнее.

Источник

KBLaM от Microsoft или как перепридумать RETRO.

Майкры зачастили капитанить и выдавать их поделки за "открытия". Помимо уже их захода на RAG, который они запотентовали как RAS, теперь еще и RETRO под себя сделали.

В общем, чем у нас отличается KBLaM от RETRO – механизмом кроссвнимания, вместо классического у них там "прямоугольное". Но базово это все ещё RETRO-like архитектура. А ваше прямоугольное внимание все еще  cross-attention просто на knowledge tokens. Просто челы выпендриваются и хотят называть все по-своему.
Итого ребята уповают на то,что мол RAG квадратичную сложность создает от числа токенов в подсказке. А они вот экономят время это. Так-то оно так, но почему RETRO так и не взлетел после 2022 года? Почему RAG пока на коне? Потому, что оперирует текстами перед подачей в модель. RETRO же требует лезть под капот, на уровне векторов и внимания работать с моделью. И когда у тебя появятся OOD примеры, их вектора будут тоже out of domain  и тебе нужно будет e2e перетюнить этот сетап вектор+внимание+LLM в худшем случае. С RAG ты тюнишь или поисковую часть (если в топе нет нужных подсказок) или ризонинг в LLM (если LMка с подсказками не отвечает). Отдельно... И тексты итак у тебя в какой-то нормальной форме кормятся, и тюнится все быстрее и на прод инкремент идет быстрее и не надо думать,что тюня кросс внимание и LMку ты чет сломаешь в самой модели. Банально начнется катастрофическое забывание.

И тут же ребята оправдываются в статье:
"Исследователи подчеркивают, что KBLaM пока не готов к широкому использованию. Хотя он хорошо справляется с простыми вопросами и ответами, ему все еще нужно поработать над более сложными задачами рассуждения."(С)
........
Занавес.

Источник новости.
Код.
Статья.

⚡️Твоя китайская Big Mom
на 700gb⚡️

Надеюсь, чуваки успели прочесть исследования выше и исправились. Нет.
"deepseek, out of nowhere, dropping a new model
~700GB, mit license." (C)
https://huggingface.co/deepseek-ai/DeepSeek-V3-0324/tree/main

Midjourney обзор про LM.

Пока свежа память про всякие там RL и Llama. Завезли тут Midjourney обзор про языковые модели. Конечно обзор челы из дата секретов сделали,но кое-что интересное упустили. А мои подписчики не секретами деланы и их раскрывают.

Далее дословно от подсичика, с моими вставками:

Тут немного в тему RL вот такая статья есть, в ней наверное самый забавный момент помимо прочих, что основной авто-«бенч» — это ревард-моделька, которую обучили на тех же данных, из которых и dpo-датасет сварили 🧠 (бусты существенные, duh 🚬).

Дядя: Эт че у нас уже лики пошли из трейна в тест? Логично,что модель такая будет давать сродственнным с dpo сетом предпочтения и завышать скоры. ❓ Ну и что ниже мы щас и увидим.

Продолжаем. Потом авторы ещё это все шлифанули человеческой разметкой, но размечали только эти же сами авторы (!), утверждают, что честно-честно не знали (ага щаз 😀), где какая модель 😮‍💨. И разумеется , в итоге их 8В победила GPT-4o с разгромным счётом 🌿, и добить решили перлом 🧖:
>> Note that all authors have years of experience in computational creative writing research. (Ты смотри святые люди, а.)

А, да, размечали ещё при этом не сами генерации, а их суммаризированные (!!!) версии, так как "doing the task with eight lengthy creative writings can be cognitively overloading" ))))) Бедняжки от кожанных могут перегреться. 🦻

В общем, читаем внимательно, может у вас сложится иное мнение и зря мы гоним тут.

За материалы спасибо @walfry

Про тюн llama-3.2-3b в зависимости от файнтюна на математике

Про качество обученных ризонер моделей с разными промптами

Про длину ответов с поправленным GRPO

Про темплейты и селф рефлексию

Дамы и господа, выдыхаем: RL всё таки не работает.

Те, кто со мной общаются, знают, что я достаточно скептически отношусь к GRPO и test time scaling прорыву. Когда-то, я прочитал офигенный блогпост с громким названием "There May Not be Aha Moment in R1-Zero-like Training", где авторы попытались критически посмотреть на обучение ризонеров на базе квенов и у них получился неожиданный результат: у квенов aha moment и селф рефлексия возникает на нулевой эпохе обучения — то есть в базовой модели. Сейчас вышла полная статья (правда, как я понял, выложена она в репозитории, а не на архиве или конфе), где более полно раскрываются эти файндинги.

Существующие имплементации GRPO (от HF и от Unsloth — не уверен, что они разные, но вроде разные), используют один и тот же системный промпт от R1 при обучении. Авторы задают вопрос: а точно ли для моделей, на которых хотят воспроизвести aha moment, выбираются правильные промпты? И действительно: оказывается, что если вообще не использовать чат темплейт у базовых моделей (qwen-2.5), то они уже могут работать в чат режиме. Видимо, в претрейн уже подмешивали вопросно-ответные датасеты, например, на математику и модель генерализовалась. При этом, они рисуют ещё более интересную картинку: Qwen-2.5-Math модели без системного промпта работают в полтора раза лучше, чем фью шот на датасетах с математикой. На Deepseek V3 это не воспроизвелось, там темплейт помогает гораздо сильнее.

Затем авторы развернули Deepseek V3 Base самостоятельно (мне бы столько ресурсов), и прогнали через неё вопросы из MATH-500 с использованием промпта от R1. Оказывается, что модель изначально отлично генерировала такие слова как "aha", "wait" и "verify the problem" и показывала примеры селф рефлексии без дообучения.

Потом они решили посмотреть на формулу GRPO и PPO и поняли, что в них есть лишние детали. Во-первых, есть response-level bias, то есть нормировка по длине ответа. Если advantage положительный (ответы верные), наличие нормировки увеличивает апдейты градиента, если отрицательный, то наоборот, ответы становятся длиннее. Это соотносится вот с этим постом, где тоже подтвердили такое поведение моделей. Во-вторых, при подсчёте advantage производится нормировка на std ревардов. Это приводит к тому, что вопросы с меньшим std ревардов больше влияют на веса, что ведёт к менее эффективному обучению. И действительно, если эти два bias убрать, средняя длина ответа довольно быстро выходит на плато, неверные ответы, хоть и длиннее, чем верные, но всё же становятся короче, а качество обученных моделей хуже не становится.

А потом авторы объединили все эти файндинги в единый эксперимент: они взяли qwen-2.5-1.5B с разными системными промптами и проверили, насколько при обучении с GRPO растёт качество на популярных бенчмарках. Результаты напрямую следуют из предыдущих экспериментов: неудобные для модели темплейты её сначала ломают, а потом через RL модель учится отвечать правильно. Это даёт ей офигенный буст в качестве (тот самый +40% on MATH, которым хвастаются в заголовках). Но если не использовать промпт, то модель сразу стартует с удобного начала и отвечает на вопросы очень хорошо — и буст в качестве становится значительно более скромным, в районе 5-6%.

Кроме того, авторы взяли llama-3.2-3b и сравнили, насколько влияет претрейн на высоту плато GRPO. Если не обучать модель на математике, то RL практически не помогает, а вот если сначала обучить на NuminaQA или FineMath, то буст будет достаточно сильным. Модель они учили с R1 промптом, так что предположу, что тут та же история, что и с квеном: скачок в качестве это следствие из нестабильности модели к подающимся в неё промптам, а не из волшебных свойств чисто RL обучения.

Ещё один интересный аблейшн авторы почему-то вынесли в аппендикс: селф рефлексия в R1-Zero больше коррелирует с неправильным ответом, чем с правильным. Конечно, эксперимент проводился всего на 100 примерах, так что может быть это статистически незначимые результаты, но всё равно, клейм интересный.

Вот это поворот 😱😱😱😱

Крч, RL и sft снова под ударом!?!?

Upd.

На самом деле грамотный pretrain и sft дают хороший фундамент и тут, а rl снова нужен, чтобы ломать тимплейты элайнить под видение авторов поведение. Но даже в уже легендарной команде deepseek видим,что предусмотрели не все. Очень интересное исследование и анализ. Чтобы было бы, если этих ошибок не сделали китайцы?!? 🤔

Разорвало, сори.

Особенно в контексте того, что ребята в комментах постоянно лезут рекламить такое.

RAG system design на хабр.

Вот хороший пост про то, как чел сделал сам RAG и прошел все основные этапы проектирования. Хороший system design, советую к прочтению в выходные.

От себя добавлю чего не хватает. И вы должны себе в рамках дизайна об этом всегда напоминать. Если заявляется SOTA не хватает описания системы метрик. В каких осях SoTA, как измеряли качество извлечения информации, как измеряли качество ризонинга, или все измерялось e2e, то тоже как?

Всегда есть типы ошибок, которые рассматриваются: ошибка поиска (в топ выдачи нет полезных подсказок), ошибка ризонинга (когда ллмка получила подсказки) и даже эта ошибка распадается на ошибку, когда в топе была подсказка и модель не ответила, когда подсказки не было и не ответила (те не сработала из весов). А еще интересное, когда модель сама принимает решение ответить из весов, несмотря на плохие подсказки. Вот этого не хватило. В остальном лайк, закладка.

Upd. Автор опубликовал код тут.

Mistral 3.1

Новый малой, мультимодальный, инструктивный, твой - mistral 24b. Да еще и с длинным контекстом. Над пробнуть вместо мультимодального Qwen'а.

https://mistral.ai/news/mistral-small-3-1/

Вырезка про изменение KLD лосса.

TAID или кипичение, а может быть дистилляция?
- Тогда мы идем к вам с Sakana.ai

Мои любимые упоротые рисечеры из японской лабы Sakana.ai придумали изящный и простой способ адаптации дистилляции для LMок (на самом деле работает для всего). В качестве подхода,который риал прост, предлагается темпоральная (т.е. многостадийная во времени) дистилляция.

Идея в том,чтобы не сразу через KLD адаптировать ученика к распределению вероятностей токенов в генерации учителя, а делать это в две и более стадии. Концептуально на первой стадии мы имеем промежуточное целевое распределение, которое по "форме" находится между учеником и учителем, чем дальше стадии идут по времени, тем ближе они по форме к распределению учителя, пока не станут 1-в-1 (условно конечно).

Для этой многостадийности используется адаптивный множитель зависящий от номера стадии/времени и преобразования KLD (вырезку из статьи приложу ниже), это и позволяет форме распределения изменяться от ученика к учителю.

Очень Дяде напомнил такой подход уже всем известные аннилинги. Когда мы после pretrain стадии и до sft делаем еще мостик между ними в виде еще одной процедуры обучения - annealing (отсюда и аннилинги). Она состоит в обучении модели на меньшем по размеру, чем претрен сете, но качественнее и с тем же распределением. Но при этом по сравнению с sft сетом размер больше и задача все еще близкая к pretrain, нежели к domain adaptation. Однако, если мы перейдем сразу к sft авторы утверждают, что мы можем потерять важные знания о мире, когда как с этапом отжига это сохраняется, если распределение соответствует не ниже 84% схожести. Почитать об этом можно в последних статьях по Llama и open coder.

Upd. Насчет TAID, у людей также мы начинаем не сразу с жоских задачек, а постепенно учим от учителя к ученику с простых задач к сложным. Тут аналогия та же. Постепенно поэтапно усложняем дистилляцию.

TAID или кипичение, а может быть дистилляция?
- Тогда мы идем к вам с Sakana.ai

Мои любимые упоротые рисечеры из японской лабы Sakana.ai придумали изящный и простой способ адаптации дистилляции для LMок. В качестве подхода,который риал прост, предлагается темпоральная (т.е. многостадийная во времени) дистилляция.

Идея в том,чтобы не сразу через KLD адаптировать ученика к распределению вероятностей токенов в генерации учителя, а делать это в две и более стадии. Концептуально на первой стадии мы имеем промежуточное целевое распределение, которое по "форме" находится между учеником и учителе, чем дальше стадии идут по времени, тем ближе они по форме к распределению учителя, пока не станут 1-в-1 (условно конечно).

Для этой многостадийности используется адаптивный множитель зависящий от номера стадии/времени и преобразования KLD (вырезку из статьи приложу ниже), это и позволяет форме распределения изменяться от ученика к учителю.

Очень Дяде напомнил такой подход уже всем известные аннилинги. Когда мы после pretrain стадии и до sft делаем еще мостик между ними в виде еще одной процедуры обучения - annealing (отсюда и аннилинги). Она состоит в обучении модели на меньшем по размеру, чем претрен сете, но качественнее и с тем же распределением. Но при этом по сравнению с sft сетом размер больше и задача все еще близкая к pretrain, нежели к domain adaptation. Почитать об этом можно в последних статья по Llama и open coder.

У семи нянек LLM-ка reward хакает.
(с) Старинная DL поговорка.

OpenAI представила свое исследование хака поведения агентов на основе reasoning моделей. Утверждается, что после обучения при помощи CoT+RL модели все еще хакают задачи. Скрывают намерения или обходят тесты, что конечно не ново для комьюнити.

Для идентификации такого поведения, предлагается простое решение ввиде "надсмотрщика". Это другая LMка, которая следит за суждениями агента во время выполнения задач и идентифицирует "девиантное" поведение. Причем для 4-O поколения GPT достаточно прописать доп. промпт.

При этом, авторы подчеркивают, что переиспользование мониторинга взломов для дообучения моделей не приводит гарантированно к полному отсутствию хаков. Модели дословно: "учатся скрывать свои намерниям". Поэтому, черезмерное давление на CoT обучение приведет к недееспособности системы обнаружения. Отсюда совет, не переусердствовать с способами дообучения моделей по результатам детекции, а лучше вовсе оставить систему мониторинга для обнаружения запретных рассуждений и фиксить их "постфактум" на инференсе. Т.е. не прибегая к переобучению на таких примерах.

Далее авторы указывают на то, что в будущем, именно такие системы обнаружения взлома и их развитие, поможет контролировать (ага да щаз) поведение AGI.

Только авторы, думаю, понимают, что чем сложнее и умнее система, тем лучше она сможет скрывать свои намерения, о которых уже упоминается в статье и наблюдается такой эффект. Да такое же поведение мы наблюдаем у людей и все мы не герои "Особого мнения" и тп., чтобы за скрытыми намерениями заранее до совершения преступления предугадать его.

Paper тут.

Чорд у Дяди есть пару агентов тоже с такими "мониторами".

По сообщению какого-то там портала ключевым разрабам DeepSeek ограничили выезд за границу.

Вот те и великий китайски фаервол...

Тут мои знакомые хорошие ищут к себе сотрудника. И главное вакансия не в Мск. Не на правах рекламы, а дружбы ради.

Компания «Л-Системс» -
поставщик электроники и системный интегратор полного цикла.

Мы понимаем бизнес-задачи заказчика, анализируем и предлагаем эффективные ИТ-решения, реализуем и поддерживаем комплексные проекты различного масштаба и уровня сложности. Развиваем СТМ.
Перед командой стоят амбициозные планы. Мы ежедневно растем и развиваемся и приглашаем в свою команду нацеленного на результат, профессионального «Аналитика / Аналитика данных»

Что будет входить в обязанности:

- Обновление, поддержка, подготовка регулярной отчетности компании.

- Формирование дэшбордов для мониторинга метрик и основных бизнес-показателей.

- Консолидация данных из различных источников.

- Автоматизация процесса подготовки регулярной отчетности.

- Проведение регулярного аудита данных.

- Исследование данных (поиск инсайтов, закономерностей, проблем с данными).

Что мы ожидаем от кандидата:

- Высшее образование.
- Опыт работы на аналогичной позиции от 1 года.
- Высокий уровень владения MS Excel (Power Pivot, Power Query, сводные таблицы).
- Навыки работы с SQL (MySQL, PostgreSQL).
- Знание Python для анализа данных (библиотеки pandas, numpy, matplotlib) и кластеризации данных.
-Опыт работы с инструментами визуализации (Tableau, Power BI), чтобы не только строить отчеты, но и делать выводы на их основе.
- Знание и навыки применения на практике математической статистики и эконометрических моделей.
- Инициативность и желание автоматизировать рутинные процессы.
- Умение работать с большими массивами данных (собирать, структурировать, готовить визуально понятный вывод итогов).
- Внимательность к деталям, умение работать в команде, стрессоустойчивость.

Работа в нашей команде это:

- Возможность реализовать свои идеи в высокотехнологичной компании;
- Возможности для карьерного роста;
- Лояльное, понимающее руководство и комфортная рабочая атмосфера;

Достойный уровень заработной платы (как для опыта от 1 года), обсуждается по итогам собеседования, исходя из ваших пожеланий, навыков и квалификации. Но стартуем от 150 тыс.руб.

Место работы: г. Нижний Новгород ул. Тимирязева, д. 15, корпус 2, бизнес-центр «KM CITY»

Предварительно писать @lsystm.
Дополнительно:
+7 (903) 159-59-58
Андрей

Мануш, ты ли это?

Тренили мы агентов, потеряли табун лошадей из Tesla Y и перелили их силы в h800.

https://manus.im/

Твой цыганский агент дилер от китайцев 💳💳💳

Я твой кэш everything считал.😳

Рубрика мудрость дня от Дяди

Нет ничего бодрящего с утра, как увидеть в коде платформы пересборку faiss index'а при каждом вызове матчера...

Всем мамкиным рукожопам разрабам кидаю простую ссылку на хабр:

https://habr.com/ru/companies/okkamgroup/articles/509204/

И совет:

1. Делайте прекомпьют кеша при сборке кода перед раскаткой на стенды. Просто потом берешь index.save().

2. А при раскатке на прод не забывайте про хотя бы initial long. А тут делаешь index.load().

И, пожалуйста, ОДЫН раз!


Все по ссылочке выше есть в примерах. Да даже в доке faiss есть, но для людей кто любит по-русски специально хабропост приложил.

Немного про LLM и реальность в проде (бизнес кейсы).

Дядя тут быканул на один постик про оркестрацию, метамодели и роутинг моделек вокруг/с LM. Закономерно получил отрицательную ОС. Но все же, чтобы там не думали, что автор с НИИ и все же прод.опыт имеющий, а не тварь дрожащая, расскажет вам Дядя про реальность чутка.

Интро. Борд хочет, чтобы all in на LLM и кидает в вас задачу на проникновение современных БЯМ в бизнес процессы, тех.решения и платформы. Ведь ему со всех углов уже налили в уши, что это рокет саенс и золотая пуля. Нет.
И вот Вы бедняга, берете под козырек тащить это в уже устоявшиеся пайпы, системы и процессы.

Кейс 1. Система распознавания намерений. Хочется взять описания основных сценариев взаимодействия с клиентом, ака интенты, взять фразы в чате юзера и сказать: LMушка а вызови подходящий сценарий по описанию и запросу. И по-началу у вас будет это работать, но есть нюанс. На десятке интентов это может и ок. Если ваша LMка норм,то даже и соточку потянет. Но в системе интентов бывает сотни сценариев, и некоторые модельки тут уже не тянут. Да еще и глючат при генерации названия интента. И поэтому хитрые прод. инженеры используют хаки. Например, мы вот имели ж до этого систему на классификаторах и tfidf/fasttext/bert и хорошо оно работало итак без LLM для сотни и даже тыс. интентов. А давайте, чтобы убрать глюки и проблемы масштабируемости просто будем с этих модулей старых выдавать топК кандидатов. Берем К кандидатов, их описание и фразу юзера, кидаем в LLM и профит она из ограниченного списка, с recall@K которого 0.95+ выберет вам с 100% вероятностью нужный ответ. И фигак ты и кпэ закрыл и как бы LMка в проде. А чтобы это было чисто на LMке тебе придется еще думать про скейлинг, сегодня у тебя 10 интентов, а завтра 20 и перетюнить LM ты задолбаешься, классификаторы быстрее ретюн. Конечно можно лорку гонять, да.
Ах и да, тут ещё важно,что на запросы отвечает всеравно старый добрый сценарный движок или qa система. Да, да это оч близкий подход к RAG.

Кейс 2. Поиск и LLM. Мы же понимаем,что из весов LM поисковик так себе? Тут возникает вопрос актуальности данных,постоянного из-за этого переобучения, да и еще до кучи — глюки. Поэтому тут как раз, был придуман RAG. А LMка получает роль или ризонера по выдаче или вообще пишет тлдр по выдаче. До кучи, конечно, это над присыпать ссылками на источники, чтобы повысить доверие, да еще пошарить с вами ответственность за верификацию выдачи. Но иногда, ребята идут дальше, например делают технологию блендера, когда ответ из весов LM и выдачи с поиска (иной любой системы) еще скорится доп.алгоритмом и выбирается лучший ответ. К примеру, тут вот ребята с Яндекс создавали рекламные тайтлы, используя такой подход.

Кейс 3. Про читчат и ассистентов.
Когда появились LMки аля ChGPT все говорили, что это новая эра для ассистентов. Но в итоге, эти LM-based системы всеравно у серьезных игроков опираются на тот самый блендер между старыми отлаженными модулями: intent recognition, retrieval и дерево сценариев. А роль БЯМ или переписывать ответы, или выбирать из уже порезанной выдачи ретривала/интент классификации и в остальных случаях вести беседу самостоятельно e2e. Вообщем в целом жизнеспособность only e2е LLM в таких задачах спорно. По крайней мере сейчас. У знакомых вообще долгое время retrieval based диалоговая система не уступала LLM-based причем метрику оценки формировала команда БЯМ. Да LLM дает больше разнообразия ответов, интересности, зато ретривал релевантности. Поэтому и тут-то тоже блендер схема зашла на ура.

К чему я это все, да оркестрация старых + склейка с новыми системами важна. Переиспользование старых стабильных, надежных и высокоэффективных модулей тоже не зазорно. Можно ли это блендить и мерджить с LLM? Нужно. И не стоит делать all in на LLM. Сложно ли это сделать? Да нелегко, но дорогу осилит идущий.

По следам reasoning и моих комментариев к посту выше. Паша подготовил краткий tldr статей,что я посоветовал прочитать.

https://t.me/evilfreelancer/1230

YandexGPT R1 на Huging Face

Выпустил адаптер на Hugging Face который я дообучил при помощи impruver поверх YandexGPT-5-Lite-8B-pretrain вышедшей на днях, используя датасеты оптимизированные под reasoning.

Ссылки:
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_lora
- https://huggingface.co/evilfreelancer/r1_yandexgpt5-lite_gguf
- https://ollama.com/evilfreelancer/r1_yandexgpt5-lite

Конфигурация: YandexGPT/8B_lora_r1
Отчёт W&B: https://api.wandb.ai/links/evilfreelancer/zj6s02v4

Запустить через Ollama:
ollama run evilfreelancer/r1_yandexgpt5-lite

📼 Вышел новый ролик от Андрея Карпаты — Как я использую LLM.

В прошлый раз он объяснял, как [устроены] модели ChatGPT, а теперь делится реальными кейсами из своей жизни.

Что в ролике:
• Разбор популярных моделей и их возможности
• Как выбирать модель под задачу (и не переплачивать)
• Инструменты: поиск, код, графики, работа с файлами
• Голос, изображения, видео и даже Custom GPTs

2 часа контента с таймкодами. Отличное времяпровождение на выходные 😬

🔘Ссылка [тут].

@tips_ai #news

https://openai.com/index/introducing-gpt-4-5/

Тлдр.

- Безопасность не предел.
- Креативный креатив.
- Интересненько.
- Грибы не предлагать Меньше глючит.

Упд. Поменял картинку.

Everyday i shuffle you, MMLU.

Недавно вышла интересная работа про замер MMLU путем подмены варианта ответа.
Авторы предлагают в MMLU-like бенчах рандомно подменить один из неправильных ответов на «None of the above», и это рушит на ≈10-15 процентных пунктов перфоманс).

Также напомню,что ранее еще работал шаффл, замена индекса с abcd, на i,ii,iii и т.п. В целом давно пора подрайвить эти бенчи на leakage и format overfitting.

За наводку спасибо @walfry

🔮 CN-AI-RESEARCH | Исследования в области ИИ

Компания DeepSeek в рамках своей недели Open Source представила два новых инструмента и набор данных, которые помогут улучшить производительность AI-моделей.

🔧 DualPipe
Этот алгоритм параллельной обработки позволяет одновременно выполнять вычисления и обмен данными, устраняя задержки (так называемые "пузыри" в pipeline). Представьте, что вы дирижируете оркестром, где каждый музыкант (GPU) работает синхронно, без ожидания других. Именно это делает DualPipe!

🔧 EPLB (Expert-Parallel Load Balancer)
Инструмент для балансировки нагрузки между GPU при использовании экспертного параллелизма. Он оптимизирует распределение задач, чтобы минимизировать простои и максимизировать эффективность использования ресурсов.

📊 Анализ данных тренировки и инференса
DeepSeek также опубликовал данные анализа своих фреймворков, чтобы помочь сообществу лучше понять стратегии перекрытия вычислений и коммуникаций.

🎯 Почему это важно?
Эти инструменты не только упрощают работу с моделями DeepSeek, но и могут быть полезны для разработчиков других крупных языковых моделей.

Подробнее о проектах: 
👉 DualPipe 
👉 EPLB 
👉 Анализ данных 

#КитайскийИИ #КитайAI #DeepSeek #OpenSource

Удиви своим SVG. Нарисуй с LLM.

На kaggle вышло соревнование, где нужно тюнить LMку по промпту генерить svg'шку максимально близкую по clip score к референсу в тесте.

Дядя помимо прямого тюна, куче открытой датки и дистилляции моделек лидеров на рынке (кстати Sonnet3.7 круто могет), уже видит, также атаки на тестовый файл. Ведь CLIP скор можно взломать через OOV примеры, подобно взлому reward моделей. И мы видели соревнования,где атаковали модели скореры промптов. Цель однако соревнования в первую очередь сделать тюн генераций, но сопутствующие бонусы как уберечь от атак.

Ссылка: https://www.kaggle.com/competitions/drawing-with-LLMs

От подписчика

З.Ы. не то запинил ответом, но вы поняли.

Мои бывшие студенты ищут к себе коллег в команду.

В Туту ищем middle/middle+ Data Scientist.

Локация: у нас есть офисы в Москве, Санкт-Петербурге и можно работать удалённо (и за пределами РФ тоже).
З/П: 300 000 – 370 000 gross (зависит от итогов интервью).

Туту - онлайн-сервис для планирования путешествий. Помогаем с билетами, расписаниями, отелями и всем прочим для поездок.

Основные задачи:

— Разработка моделей рекомендаций для персонализированных маркетинговых коммуникаций, оптимизации времени и канала взаимодействия с клиентами (email, push-уведомления и т.д.).
— Разработка и внедрение Look-a-like моделей для поиска новых клиентов, похожих на самых ценных покупателей Туту.
— Прогнозирования LTV (Lifetime Value) для каждого сегмента, для эффективного расходования маркетингового бюджета.
— Создание и поддержка прогнозов (бейзлайнов) для целевых метрик на квартальный и годовой горизонт.

Мы ожидаем:

— Коммерческий опыт от 2 лет.
— Знания и опыт в области статистического анализа и методов моделирования.
— Владение алгоритмами машинного обучения и их применение в аналитике.
— Знакомство с эконометрическими методами и моделями прогнозирования маркетинговых данных.
— Опыт в разработке и внедрении прогнозных моделей (как плюс — для оптимизации маркетинговых стратегий).
— Опыт работы с SQL, ClickHouse, Python (scikit learn, catboost, pytorch, prophet, plotly).

Отклики направлять @juliape_TuTuHR

YaGPT-5, без комментариев.

Читайте тут.

https://habr.com/ru/companies/yandex/articles/885218/

Забавно, что Anthropic'и успели быстрее.

https://t.me/ai_newz/3694

Забавно,что Claude успел быстрее

https://t.me/c/1666071682/3385

А...
Это, всего лишь, крыжовник...
😂😂😂😂

З. Ы. Запахло Йенифер...

Спасибо за шутку @kristaller

Qwen`цы сделали анонс перед релизом своего нового супер-сервиса, видимо и чит-чат и поиск и рассуждения и тп – все в одном.

https://chat.qwen.ai

Спасибо товарищу по цеху, как-то удачно выпустил пост про длинные контексты: https://t.me/gonzo_ML/3408

Тут прям в тему моего поста про CAG. Мы там с подписчиками в комментариях также сошлись ко мнению,что хорошо бы смотреть на метрики forgot in the middle для длинноконтекстных моделек.

Черного юмора пост. 🌚

Осторожно, админа немного покусали "е*ные идеи для рисерча".

Тут недавно выпустили Nanotron кукбук по mgpu learning. Да и еще дали нам ПыкаТрон , чтобы отрабатывать умения из кукбука.

Ну а мы с мужиками во дворе подумали и выдвинули свою версию библиотеки. Для самых дерзких идей и gpu-poor лернинга.  Встречайте ebatron на ml-***-ebal-env.
Ну и мы погуглили, вроде, пока название вакантно, не благодарите.

Рубрика выходного дня(с).

Лабиринты, тесты абстрактной логики и игра в жизнь.

Продолжаем думки на тему, а зачем ученые дяди и тети   заставляют LLM решать задачки ARC, поиск пути в лабиринте и тп.

Рассуждения навеяны статьями:
- AlphaMaze
- Beyond A*
- On the Messure of intelligence

Увидев вчерашние посты, коллеги стали задаваться вопросом: "а возможно ли обучаясь на такой синтетике и вообще решая задачки типа лабиринта словить aha эффект – когда модель начнет использовать полученные навыки в других задачах, также как это у людей получается?"

И мой ответ, конечно это возможно, даже больше скажу авторы данных экспериментов в первую очередь преследуют именно цель трансфера знаний и навыков на смежные задачи. Ведь, на самом деле, нам не так интересно искать пути в лабиринте с помощью LLM для этого у нас итак куча алгоритмов аля A* и др. Они быстрее, легче и эффективнее. А тогда зачем?
Наша цель подобно, как человек решает задачи абстрактной логики – это аля IQ тесты, где по картинкам над понять закономерность, в тч ARC, тренировать теже области весов модели, как области коры мозга у человека, которые позволяют нам лучше решать другие задачи,где важно абстрактное мышление. 

Поэтому исследователи гоняют лабиринты 5*5/10*10, покоряют бенчмарки ARC и тп и тд. И мы видим, в статье про AlphaMaze важные выводы,что тупой прямой тюн не работает, модель из коробки не работает. А чтобы решать такие задачи приходится тюнить R класса модели, т.е. учить рассуждениям, планированию специально. "Ризонинг нада качать(с)". Но на самом деле, ризонинг в т.ч. качается через обучение таким задачам.

Еще интересное, что делали ребята из sakana.ai про создание симулятора игры в жизнь, через работу в пространстве visual embeddings. Но можно пойти дальше, не просто искать переходные состояния в пространстве векторов, можно же предсказывать в принципе следующие состояния эволюции популяции. Это как в arc мы связываем серию изображений с следующим наиболее логичным к этой серии. А тут мы по серии развития популяции (тоже в виде картинок, там же 2d) можем по ее картинке предсказывать следующий шаг. Кто знает,где такой трансфер может сыграть, помимо ARC-лайк и планинга. Может в прогнозировании динамики сложных систем? Создании новых материалов и драгов?

В общем, идея интересная, записывайте. Пробуйте.

Памятуя мой пост про планинг на LLM, вот ниже таки ребятки сделали аналогичное.

Отмечу, что решение в т.ч. arc также как и темы с алго A* по идее дают действительно трансфер и на "абстрактное суждение"/ориентацию и распознавание объектов. Причем и для arc абстракций и для лабиринтов в A* нагенерить можно кучу. Тут синты поле непаханное, а еще ж есть игра в жизнь, туда же, на клеточных автоматах.

https://t.me/AGI_and_RL/971

Оно же для любителей ЧБ

Схема

Ну CAG таг? Это ж и ни RETRO и ни RAG и не кагдилаг...


Тут ребята упоролись, и как в сказке: "родила царица в ночь не то сына, не то дочь". И перед нами предстает CAG (дилаг простите 🤣) - Cache augmented generation. CAG это мутант между RETRO и RAG, порождение зла и KV-cached подхода.

CAG работает на основе контекста LLM и использует ее же логику kv-кеширования (схема будет ниже) для создания "индекса" и самого запроса, хотя, буквально, это ретривал индексом назвать нельзя, все сразу на этапе инициализации грузится в контекст модели в kv-кэш. Отсюда же и ограничения на использование такой схемы, ввиду длины контекста (привет Titans и прочие жирноконтекстные момзели). Также такая схема работы нас роднит с моделями типа RETRO, тк для вычисления ответа нам нужно получить векторные представления подсказок. Но тут у нас нет cross-attention схемы и отдельного блока кодирования подсказок, модель сама их себе эмбеддит через kv-cache механизм.

Авторы выделяют плюсы: скорость работы, независимость от внешней базы и ретривера, ну и высокое качество по сравнению с классической RAG архитектурой на базе bm25 или dense retriever. Но смотрят всего две задачи HotPotQA и SquadQA.

Из минусов: мы во всю зависим от длины контекста модели для кеширования, и поэтому же не можем динамически менять индекс и в принципе иметь большой индекс как в RAG тк тут "индекс" подсказок грузится в контекст и модель сама решает какую часть этого кеша ей использовать. Нет возможности юзать мультимодалку. Хотя последнее спорно – можно эмбедить в kv-кеш и вектора картинок и аудио и видео.

Дяде, с одной стороны, конечно, такая схема не нравится,хотя он и rag и retro уважает,с другой стороны, если идти в развитие бесконечных контекстов LLM, почему бы и нет? А что думаете вы? Пишите мнение в комментариях.

Популярная математика в "картинках".

Дяде сложно представить современное IT и многие другие области без векторов, матриц и прочей линейной алгебры. Особенно, любимые Deep learning и metric learning. Вот только как понять все эти темы, не сломав мозг?

Ребятки из проекта Popmath создали курсы по линейной алгебре. Максимум геометрического смысла, много рисунков и уникальных 2D и 3D анимаций, т.е. все очень наглядно!

За 4 месяца ты, шкет, пройдёшь весь базовый курс с минимумом скучных вычислений и многоэтажных формул.

С программой курса и условиями можно ознакомиться на сайте

Старт групп, говорят, середина марта

Также Popmath предлагает курс по математике с нуля для взрослых дядь и тёть: т.е. для всех, кому нужна прочная математическая база.

Старт групп: середина марта

По всем вопросам на связи ребятки из @popmath_support

Если вы решили делать агентную систему на LLM по имитации офисных процессов, то вот вам идеальный алгоритм.

Gemini Advanced обзавелся "длинной" памятью.

Разаботчики утверждают,что модель может эффективно использовать RAG механику для памяти, запрашивая схожие диалоги к текущему во всей истории общения с юзером.

Рассуждения Дяди на тему RAG памяти:
A. Нужно хранить нарезку диалогов по юзеру. И тут возникает сразу задачи: обновление индекса юзер диалогов на лету и идентификация какой кусок или какой диалог сохранить (ну не хранить ж все диалоги или хранить) и сюда же если резать,то как.

B. Обучение эмбеддера тоже дает вызовы: с чем матчить эмбы памяти (с фразой текущей юзера или фразой +контекст, если +контекст, то какой он глубины), по данной нарезке и состоянии диалога, и диалогов в памяти, делать обучение раг эмбеддера.

В остальном, идея понятна, имеем диалог стейт менеджера с ранкером,который подыскивает комплиментарные текущему контексту похожие диалоги в пршлом.

https://blog.google/feed/gemini-referencing-past-chats/

Если у вас в городе не выпал зимой снег, голоса в голове говорят взять вон тот шиткоин, значит это нейрокомпьютеры уже всех победили...🧠

Но, без шуток, интересная шиза. Или не шиза...🤨

Читаем тлдр у дяди Бакуна
https://t.me/addmeto/6037

А если глянуть че за сетики в тюне...

Метрики 🌿 йопта

Схемы сборки триплетов для задачек.
Upd. Рецепт прост-«all in» на все комбо.

Как mm-e5 синту собирали

Боже какой у тебя большой Multimodal Embedder!?😏

Сегодня будет пост с максимальным числом скрытого текста.

Тут китайцы продолжают меряться дикпиками размерами моделей. И выпустили me5 мультимодальный на 11 ярдов параметров, который базируется на архитектуре llama. 🪨 Боже кому это нафиг надо. Конечно показывают 🌿 метрики ребята, обогнав малышей CLIP, SigLIP и др. Избиение младенцев по капасити какое-то (челы побили модельки в десятки раз меньшие). Но самое интересное про метрики будет чуть позже.

Честно, кроме, как дистиллить такое чудо более меньшей моделькой для прод пригодности я не вижу вариантов. Однако, кое-что интересное из статьи вытащить можно.

А именно, это пайплайны создания и рафинирования обучающей выборки. Да, да, снова оказывается data science это про 80-90% качественной датки. Ребятки нагенерили качественной синты из не синты. Это как? А все просто используют многоуровневый пайп вычистки открытых сетов мульимодалки аля LAION (чет там набрали около 400M примеров), а дальше делали следующее комбо. Для каждого имаджа или подбирают или генерят высококачественный инстракт и описание. Далее матчат это в конструкции для контрастив обучения: IT-I, IT-IT, I-TI и тп и тд.

А что это вы спросите за набор аббревиатур самой секси-шмекси отрасли (ойти тобишь)? Дурак ты, шкет, это обозначения пар image, text и их интеракций в триплетах для сведения и разведения эмбеддингов в векторном пространстве. Причем, за этой простой аббревиатурой лежит более интересный дизайн сэмплинга. Ребята собирают не просто триплеты, а квадрии. Хотя в статье это зовут гордым именем эля с четверной выдержкой - квадрюпель, эт мы с мужиками в гараже одобряем.🤙 Крч, квадрии это связка: инструкции, query caption, positive caption, hard negative caption и тоже самое для картиночки инструкция + триплеты картинок позитив и негатив. И вот это получается кидают для дотюна в contrastive mode в квадрию: [Instruction, (Qt,Qi) , (Dt+ , Dt-), (Di+, Di-)], где i, t как раз картиносы и текст обозначения. Для дообучения используют естественно InfoNCE.

Там еще насыпали абляций, оценку влияния температуры и тп и тд. Почитаете в статье.

На сладкое осталось то, что подписчики пошарились по сетам тюна этого чуда и увидели там сабсеты с бенчей.🚬 Не в этом ли сила сота метрик или все же датка+капасити+проверенный контрастив пайп?💪
Пишите в комментариях свои мнения.

Новый эмбеддер Nomic на MoE.

450M параметров, мультлингвальность и всего две целевые задачи: поиск парафраз и ассиметричный поиск (вопрос/ответ).

Интересен только код и мультилингвальный датасет.

https://www.nomic.ai/blog/posts/nomic-embed-text-v2

https://x.com/sama/status/1889755723078443244?s=46

Ночные новости "одной строкой":

Meta обвинили в пиратстве на 81.7TB с таких ресурсов как LibGen и тп. 🤣

В одном из чатиков: 😎
ai.com теперь ведёт на chat.deepseek.com, вот это поворот

Продолжаем. Чет навеяло.

Немного вечного ;)

AGI achieved internally

Основатели AI-стартапов здесь? Пост специально для вас

С новым витком развития GenAI, к примеру, DeepSeek R1, мы видим, как появляется шанс у небольших игроков. Да и AI, в целом, сейчас явно проживает «золотую эру». Однако, запустить успешный AI-стартап — та ещё задачка. Вы придумали идею, сделали первую версию продукта... А что дальше? Как финансировать проект?

Многие начинают с бутстрепа — вкладывают в стартап деньги из собственного кармана. Это сработает, если у вас есть накопления или стабильный доход с основной работы.

Другой путь — привлечь инвестиции. Но есть куча вопросов:

▪️Может ли мой AI-продукт рассчитывать на инвестиции?
▪️Где найти инвестора?
▪️Как подготовить презентацию стартапа?
▪️Как вообще вывести продукт на рынок и собрать первую команду?

Андрей Резинкин сделал про все это тг-канал для начинающих фаундеров — Money For Startup. Андрей — ранний инвестор в AI-стартапах XOR, AiTOMATIC, InTone и др. и рассказывает про стартапы с точки зрения инвестора. А это взгляд, которого часто не хватает фаундеру.

Знакомство лучше начать с этого поста:

👉 Что нужно знать фаундеру на каждом этапе развития стартапа?

Если хотите не просто разработать AI-продукт, а построить бизнес, подписывайтесь. Канал Андрея поможет разобраться с фандрейзингом и вывести ваш AI-стартап на новый уровень. Кто знает, может уже "завтра", Вы станете тем самым GameChanger, а эта информация будет как нельзя кстати.

О, кажется, Антропики читают Дядю. 😎

Anthropic оказывается довольно долгое время уже работают над использованием классификаторов для борьбы против джейлбрейков.

Напомню, почти все большие языковые модели содержат некоторую цензуру, им запрещено говорить на некоторые темы. Для обхода этой цензуры постоянно появляются "джейлбрейки" - такие хитрые методы сформулировать запрос так, чтобы всё же получить ответ.

Anthropic вроде бы раньше пытались сделать так, чтобы сама модель отказывалась говорить и думать на неприятные темы, однако видимо сдались - теперь они двигаются в сторону классификаторов, т.е. небольших подсистем, понимающих что в запросе содержится джейлбрейк или в ответе нейронки есть что-то неправильное. https://shrtdb.com/6867a18b-c418-4ed6-8e4c-3f7d1d0829b8

Ребятки из HF выкатили небольшой постик по текущему прогрессу с Open-R1

https://huggingface.co/blog/open-r1/update-1