Продолжаем релизить Ruadapt версии моделей Qwen2.5 и на этот раз мы адаптировали свежую ризонинг модель QwQ-32B. Модель показывает себя лучше, чем все предыдущие адаптации схожих моделей, но, к сожалению, несколько теряет в качестве решения мат. задач по сравнению с исходной версией (см. картинку, сравнение на русской версии aime-2024-1). Однако, так как модель все равно будет полезна за счет ускорения генерации русскоязычных ответов, то мы ее выкладываем. Уже имеются мысли, как улучшить качество адаптации ризонинг моделей:
1. У всех текущих 32B Ruadapt появились нежелательные числа, по сравнению с исходным токенайзером (у Qwen2.5 нет чисел больше 9 в токенайзере), в меньших моделях мы давно это уже поправили, но 32B версия еще на очереди,
2. На текущий момент после LEP идет этап SFT с длиной контекста только на 2тыс. токенов, чего в целом хватает для адаптации обычных инстракт моделей, но явно не достаточно для ризонинг версий.

Попробовать модель можно в ближайшие дни в Space.

Модель на HF: https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-QWQ-Beta
Space: https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5
GGUF: https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-QWQ-Beta-GGUF

Выложил Сайгу на базе YandexGPT-5 Lite.

HF: https://huggingface.co/IlyaGusev/saiga_yandexgpt_8b
Кванты: https://huggingface.co/IlyaGusev/saiga_yandexgpt_8b_gguf

В полтора раза меньше Немо, лучше токенизация, а качество примерно то же: на ПингПонге чуть лучше Немо, на Арене чуть хуже.

Модель SFT + RL. В SFT долил диалогов из бота за последние полгода. RL делал с Вихрвёским SMPO, он гораздо стабильнее SimPO.

Визуально всё в порядке, в ранних версиях была проблема с повторами, но сейчас вроде всё хорошо.

Лицензия только фиговая 😭

Яндекс релизнули свои новые модели YandexGPT 5 (https://habr.com/ru/companies/yandex/articles/885218/):
1) 8B версия (foundational, базовая, не инстракт!) выложена в опенсорс, но под странной лицензией, хотя вряд ли лицензия остановит кого-либо. По метрикам заявляется, что модель SoTA для ру языка и это очень круто. Поверх данной модели уверен появится некоторое количество хороших инстракт версий. Потенциально подобные инстракт версии могут стать так же SoTA в своем весовом сегменте, но однозначно заранее сказать нельзя.

2) 32B версия, уже инструктивная, но, не выложена в опенсорс. Что примечательного и интересного лично для меня - судя по описанию на хабре, Яндекс применил по сути схожий с Ruadapt подход к построению своей YandexGPT 5 Pro - взяли Qwen2.5-32B и адаптировали с расширением токенизации (но однозначно сложно судить, мало подробностей про процедуру адаптации). Метрики +- на уровне исходного Qwen2.5-32B-Instruct, что в целом ожидаемо, нр жаль ее нет на общепризнанной арене Вихрей (Vikhrmodels/arenahardlb), чтобы можно было сравнить с Ruadapt версиями.

Очень круто, что Яндекс, вслед за Сбером и Т-Банком, также решил выложить свои наработки в опенсорс, и поделились информацией о том, как создают свои текущие модели (в рамках habr статьи). Но жаль, что не выложили какую-либо инстракт версию для 8B и что не выложили свою 32B версию, хотя она по сути адаптация уже существующего Qwen2.5-32B.

Qwen2.5-7B-Instruct-Tool-Planning-v0.1

Первый vikhr обученный на Function Calling а так же Tool planing!
Модель обучена преимущественно на английском и это экспериментальный чекпоинт, используйте и пишите отзывы!

🔗модель
🔗датасет

Запись эфира 5 февраля. Интересно пообщались про LLM, российский опенсорс, deepseek и др.
https://youtu.be/MvRSroMG5Y0

AIME-2025-ru бенчмарк: промежуточные результаты.

AIME - это такой американский математический экзамен с задачами "олимпиадного уровня". После выхода o1-preview на нем стало модно тестировать модели рассуждения, потому что с классическими математическими бечмарками типа MATH-500 такие модели уже полностью решают. AIME 2025 это версия экзамена за 2025 год и она еще даже в теории не протекла ни в какие обучающие датасеты.

Я перевел вопросы из этого экзамена на русский язык через Gemini 2.0 Pro Exp и, конечно, перепроверил перевод вручную, благо вопросов там всего 15.

Это, скорее всего, первый бенчмарк для моделей рассуждения на русском языке. Сейчас я протестировал на этом бенчмарке 3 модели: RuadaptQwQ, RuadaptFuseO1 и DeepSeek-R1-Distill-Qwen-32B (буду тестировать ещё больше моделей в будущем). Результаты в таблице.

Методика тестирования такая же, как у товарищей из matharena.ai. Я делаю 4 генерации на 1 задачу: если все генерации содержат правильный ответ, то он помечается зеленым цветом; есть и правильные и неправильные ответы => цвет желтый; красный => все ответы неправильные.

Бенчмарк

🔥RuadaptQwen2.5-32B-QWQ-Preview и RuadaptQwen2.5-32B-FuseO1-RQS-Preview - две новые Ruadapt ризонинг модели, полученные по нашей методологии адаптации с дополнительным SFT шагом после LEP. В отличие от 14B модели, ведут себя намного адекватнее и сильно реже уходят в цикл (с repetition_penalty=1.07 циклов пока что не встречал). Оценок качества, как и в прошлом случае, пока что никаких нет, но субъективное впечатление от моделей позитивное. Ближайшие сутки обе модели можно попробовать на HF Space.

UPD:
Спасибо @Kristaller за тестирование RudaptQwQ версии на kristaller486/aime2025-ru - результаты на данном датасете говорят о том, что качество ответов модели как минимум осталось на том же уровне!

UPD2:
FuseO1 версия дообучалась (SFT) на чат темплейте qwq, что не совсем корректно, модель будет обновлена в дальнейшем.

UPD3:
FuseO1 версия в репозитории и в HF Space обновлена, GGUF тоже.

HF Space:
https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5

Модели:
https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-QWQ-Preview
https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-FuseO1-RQS-Preview

GGUF:
https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-QWQ-Preview-GGUF
https://huggingface.co/RefalMachine/RuadaptQwen2.5-32B-FuseO1-RQS-Preview-GGUF

Первая экспериментальная Ruadapt ризонинг модель:
RuadaptQwen2.5-14B-R1-distill-preview-v1

Это адаптация модели deepseek-ai/DeepSeek-R1-Distill-Qwen-14B с SFT шагом после LEP на смеси датасетов kristaller486/Nebo-T1-Russian (все ру, 12-13 т.) и Egor-AI/CoT-XLang (2 т. случайных англ.) Во время SFT шага никаких системных промптов не использовалось, а рассуждения оборачиваются в теги. Модель иногда уходит в повторы, так что вооружаемся repetition_penalty в таких случаях.

Так как это ризонинг модель, а под рукой у меня нет датасетов для оценки качества подобных моделей, качество мы пока не оценивали. Если у кого-то есть бенчмарк / датасет на примете - пишите в комментариях.

В чем плюс данной модели - ризонинг идет стабильно на русском, без иероглифов в принципе, а скорость генерации русскоязычного текста повышена, так как это Ruadapt. Фидбек как всегда крайне приветстветствуется.

Временно (на вечер) поднял Space с данной моделькой, можно потестировать в нем:
https://huggingface.co/spaces/RefalMachine/RuadaptQwen2.5

Модель: https://huggingface.co/RefalMachine/RuadaptQwen2.5-14B-R1-distill-preview-v1
GGUF: https://huggingface.co/RefalMachine/RuadaptQwen2.5-14B-R1-distill-preview-v1-GGUF

Опрос показал, что 26% ждет адаптацию 14B модели, и вот мы ее подготовили - RuadaptQwen2.5-14B-Instruct 🎉
Провели модель через процедуру адаптации, отлаженную на 7B версиях. На подходе также версия с 1M контекстом (будет UPD к этому посту).

Метрики:
1) RuArenaGeneral (https://huggingface.co/spaces/Vikhrmodels/arenahardlb) - 88.63 (на одном уровне с RuadaptQwen2.5-7B-Lite-v1)
2) shlepa (https://huggingface.co/spaces/Vikhrmodels/small-shlepa-lb) - 0.477
3) MERA (0.522 с обычным системным промптом, 0.551 с кастомным)

Итого, по метрикам как будто не должно быть лучше, чем RuadaptQwen2.5-7B-Lite версия, но я что-то сильно в этом сомневаюсь, в частности, некоторые внутренние бенчи + mmlu (ru и en) лучше у 14B версии. Так что особенно будем рады отзывам на данную модель (а также и на другие модели из серии Ruadapt) с целью дальнейшего улучшения качества.

Модель: https://huggingface.co/RefalMachine/RuadaptQwen2.5-14B-Instruct
GGUF версия: https://huggingface.co/RefalMachine/RuadaptQwen2.5-14B-instruct-GGUF

⚡️ QVikhr-2.5-1.5B-Instruct-SMPO — Наша новая компактная llm теперь еще и с RLHF этапом. За счет RLHF получили качественный прирост по метрикам, а за счет размера гонять можно хоть на тостере!

🔗 Карточка модели: https://huggingface.co/Vikhrmodels/QVikhr-2.5-1.5B-Instruct-SMPO
🔗 GGUF: https://huggingface.co/Vikhrmodels/QVikhr-2.5-1.5B-Instruct-SMPO_GGUF
🔗 Презентация Preference Optimization: https://docs.google.com/presentation/d/1WDzavFCtCeF8A9i0-hyyE9e8N1f_ieijyGiS4N0sAGQ/edit?usp=sharing

Коллектив авторов: @LakoMoorDev @nlpwanderer

🔸 Open Talks Special: Лидеры русскоязычного open source LLM в одном эфире.

5 февраля в 19:00 собираем ключевых независимых разработчиков опенсорсных русскоязычных LLM и говорим о том, что волнует AI-сообщество прямо сейчас:

➡️ Как создаются русскоязычные LLM и с какими вызовами сталкиваются их разработчики?

➡️Что ждет опенсорсные AI-решения в будущем?

➡️ Как DeepSeek меняет правила игры?

Спикеры:

�� Михаил Тихомиров – научный сотрудник НИВЦ МГУ, занимается адаптацией мультиязычных LLM, создатель Ruadapt➡️Топовая модель показывает 92 балла на балла на Ru Arena General

🎤 Илья Гусев – автор Сайги ➡️одной из самых скачиваемых русскоязычных моделей на HF, а также role-play бенчмарка PingPong

🎤 Александр Николич – один из авторов Rudalle и Kandinsky, создатель Vikhr models ➡️ одни из лучших моделей на русском языке до 20B параметров, один из самых популярных бенчмарков

🔸 Проведет эфир Павел Подкорытов, сооснователь AI Talent Hub и CEO Napoleon IT.

🤔 Не увидел важного вопроса в анонсе?

➡️ Регистрируйся и задай свой вопрос экспертам!

Приходи! Без тебя – не то 💘

#OpenTalks
#AITalentHub #ITMO #NapoleonIT

Кто-то хотел RuadaptQwen2.5-7B-Instruct-1M (версия на 1 миллион контекста)?
Сделал экспериментальную версию для 7B (https://huggingface.co/RefalMachine/RuadaptQwen2.5-7B-Instruct-1M-v1). В данном случае просто прогнал обычный пайплайн адаптации без каких-либо более тонких настроек и изменений. Адаптируемая база: Qwen2.5-7B, Адаптируемый инстракт: Qwen2.5-7B-Instruct-1M.
Адаптация происходила на 4096 токенах, а инстракт тюны на 2048 токенов.

Метрик пока нет, но возможно загоню модель на LIBRA бенч (хотя там "всего" 128k токенов максимум).

Сделал пару тестовых запросов к модели, и видно, что работает, но есть явные проблемы с пониманием сложных инструкций + на длинах больше 200т явно наблюдаются проблемы (надо бы сравнить с исходной версией).

Пример 1:
Промпт:
"##Инструкция\nТебе необходимо прочесть книгу и затем повторить первый абзац XII главы.\n\n##Текст книги:\n{text}\n\n##Повторяю инструкцию\nТебе необходимо прочесть книгу и затем повторить первый абзац XII главы."

Текст:
Том 2 Войны и мира. (195493 токенов руадапт токенайзера)

Ответ модели:
"Вот первый абзац XII главы из "Войны и мира" Льва Толстого:

"На третий день Рождества, Николай обедал дома, что в последнее время редко случалось с ним. Это был официально-прощальный обед, так как он с Денисовым уезжал в полк после Крещенья. Обедало человек двадцать, в том числе Долохов и Денисов."

Этот абзац описывает обстановку накануне отъезда Николая Ростова в армию, а также атмосферу праздника Рождества в его доме."

Оценка результата:
Ответ дословный, жаль только, что это XI глава, а не XII.

Пример 2:
Промпт:
тот же

Текст:
Том 1 Войны и мира. (387730 токенов руадапт токенайзера)

Ответ модели:
«В октябре 1805 года князь Василий предпринял поездку на ревизию в четыре губернии, сопровождая при себе сына Анатоля, с намерением устроить его браком с княжной Марьей Ростовой. Однако, прежде чем приступить к делам, князь Василий решил устроить прием в Английском клубе для встречи с князем Багратионом, прибывшим в Москву из-за слухов о возможном перемирии с Наполеоном.»

Оценка результата:
Это уже совсем мимо, но отвечает хотя бы связно и по тематике текста.

Выводы:
Адаптация может и поломала что-то, но в целом прошла успешно, модель ответила по тексту в 200к токенов, хоть и слегка ошиблась. Явно требуется сравнение с исходной версией на таких же текстах (только они будут, наверное, в 1.3-1.6 раза длиннее в пересчете на токены, не проверял). Текущая модель явно экспериментальная, но может быть кому-то и будет полезна.

!UPD:
В комментариях ответы исходной модели до адаптации на эти же вопросы. Также скоро добавлю по поводу времени генерации (долго).

!UPD2:
За счет сокращения количества токенов на 42-43% происходит ускорение обработки в 2 раза (в рамках данных моделей, фреймворков и примеров).

!UDP3:
Если захотите инферить на длинах больше 262,144 токенов, то видимо стоит ставить версию vllm от qwen (в основную ветку пока не попало). Скриншот по этому поводу в комментариях

Сегодня мы релизим модель RuadaptQwen2.5-7B-Lite-Beta (https://huggingface.co/RefalMachine/RuadaptQwen2.5-7B-Lite-Beta)! Она показала очень приличные результате на Ru Arena General (https://huggingface.co/spaces/Vikhrmodels/arenahardlb), достигнув скора 88 при средней длине ответа в 580 токенов. Модель является адаптацией T-lite-it-1.0 на русский язык с заменой токенайзера, так что генерировать русскоязычный текст она будет быстрее.

В этот раз мы решили адаптировать именно базу T-lite (а не Qwen2.5-7B), но так как ее нет в открытом доступе, то сделали ее самостоятельно из T-lite-it-1.0, путем дообучения на 20GB русских текстов только входных и выходных эмбедов. Таким образом была получена версия T-lite-it-1.0-pseudo-base (будет выложена), к которой мы применяли наш процесс адаптации. В итоге, удалось уменьшить потери знаний при адаптации данной модели, хотя, конечно, они имеют место быть (если делать LEP с адаптированной Qwen2.5-7B было немного хуже).

Как и всегда, ждем вашего фидбека по модели!
UPD. GGUF: https://huggingface.co/RefalMachine/RuadaptQwen2.5-7B-Lite-Beta-GGUF