Спасибо в карман не положишь, за него еще и вытащить надо
#MLВброс #MLПост

Или как надо хайповать

Еще 17 апреля CEO OpenAI сказал, что несколько 10млн $ тратятся на обработку "спасибо", "пожалуйста" и подобного от людей

Странного тут ничего нет. Для ответа на это модель смотрит весь текущий диалог, точнее, все токены в нем. После этого она еще и отвечает на вежливость тоже токенами. А токены = деньги

Но из-за курьеза этот твит уж очень сильно разлетелся😄 Вот это маркетинг!)
Я, конечно, в Алисе не работаю, но интересно было бы узнать какая у них статистика здесь. Я частенько на автомате ей это говорю)

💬 Кто делает чат-ботов и подобное или интересуется ими, что еще такого вы на своей практике встречали, что можно было бы оптимизировать и не тратить драгоценные токены?

Practical ML Digest
4️⃣
#MLПост #PMD

Давно ничего не было про чисто ML...

Недавно очень хайпанули модель от Гугла (Gemini 2.0 Flash Experimental) и OpenAI (GPT-4o) своей работой с изображениями и их генерациями. Например, очень завирусился тренд со своей фигуркой как на фото (исходное фото и промпт уже в комментах). Все это берет свои корни из VLM (Vision Language Model) - модель, которая работает с несколькими модальностями: текст и изображение. Поэтому сначала поговорим про них

Базовые задачи VLM
🔄 Image captioning - по фотке сделать описание, что на ней
🔄 Visual QA - ответить на вопрос по картинке

Базовая архитектура VLM
🔄 LLM - предобученная большая LLM, которая не знает ничего про картинки
🔄 Image Encoder - предобученный картиночный encoder, который ничего не знает про тексты
🔄 Adapter - переводит картиночные токены в пространство текстовых токенов. Обычно MLP слой, а может и cross-attention

Обучение VLM
🔄 Pretraining. Большой датасет из пар картинка-текст (Image captioning) или веб-документов с картинками (Interleaved данные). Также, как и в LLM учим предсказывать следующее слово
🔄 Alignment. Обучаемся на меньшем количестве данных ввида (картинка, instruct, ответ)

Материалы
🔄 Доклад Ромы Исаченко из Яндекса - VK, Youtube, Хабр. Чуть подробнее про обучение VLM и как замерять качество
🔄 Доклад Кати Глазковой из Яндекса - VK, Youtube. Конкретные примеры применения VLM в продуктах Яндекса и как для этого их обучали

☁️ Делитесь в комментах своими фигурками

Первый CF Round от KIT
#Event #АлгоПост

До этого мы уже проводили свои соревнования (тут и тут), но в этот раз официальный раунд на КФ🔥 Выходим на мировой уровень, так сказать)

Приглашаю всех принять участие в CF Round 1016 (Div. 3) во вторник 08.04 в 17:35 МСК. Контест продлится 2 часа 15 минут.

👉 Ссылка на регистрацию 👈

Также, даже если не будете участвовать, поддержите лайком анонс контеста на кф: https://codeforces.com/blog/entry/141365

Всем удачи на раунде!

UPD. Разбор вышел

МОШ 10-11 классы + Метод отжига
#АлгоРесурсы #АлгоЕжемесячныеТемы
1️⃣2️⃣

Предисловие + теория:
Что надо знать к финалу МОШ, который уже 6 апреля

Это вероятностный алгоритм оптимизации, позволяющий решать NP-полные задачи точно, либо с очень хорошим приближением. Фишка этого алгоритма в том, что он позволяет избегать застревания в локальных оптимумах за счет временного принятия ухудшающих решений.

Совсем кратко алгоритм такой. Берем какой-то изначальный "ответ". Берем его случайного "близкого соседа" и смотрим стало лучше или хуже. Если лучше, то точно его берем как текущий ответ. Если хуже, то лишь с некоторой вероятностью его берем как текущий ответ. Вероятность контролируется так называемой температурой, которая понижается во время алгоритма. Чем температура больше, тем больше шанс перейти в плохого "соседа". За счет этого мы и выпрыгиваем из локальных оптимумов в начале процесса, а под конец уже топчемся около ответа. И, конечно, переход в плохого "соседа" зависит не только от температуры, но и от того насколько "сосед" плохой)

Пререквизиты:
🔙 Полные переборы

Еще теория + первые задачи:
📚 Материал от Яндекс Кружка - подробное описание алгоритма + пример реализации
📚 Пост на Хабре
📚 Статья от Бориса Минаева - серьезное чтиво для продвинутых, но того стоит. Он еще сейчас в OpenAI работает)
💻 4 задачи на informatics
💻 Задача с региона о раскрасках

KIT МОШ контесты 10-11 класс прошлых лет:
Советую потренироваться на задачах прошлых лет олимпиады МОШ. Там достаточно оптимизационных задач
🔄 2023-2024: https://contest.yandex.ru/contest/76048/enter/
🔄 2022-2023: (если кто-то поделится, будем рады😄)
🔄 2021-2022: https://contest.yandex.ru/contest/37652/enter/
🔄 2020-2021: https://contest.yandex.ru/contest/34306/enter/
🔄 2019-2020: https://contest.yandex.ru/contest/34285/enter/
🔄 2018-2019: https://contest.yandex.ru/contest/34298/enter/

Вопросы на понимание темы:
❓ Задача: Дан граф из n вершин и m рёбер. Нужно разбить вершины на две группы так, чтобы количество рёбер между группами было минимальным. Как применить метод отжига?
❗️ Создаем начальное случайное разбиение вершин на две группы. На каждом шаге выбираем случайную вершину и перемещаем её в другую группу. Принимаем новое состояние, если оно улучшает разбиение (количество ребер стало меньше), или с вероятностью, зависящей от температуры и ухудшения

❓ В чём принципиальное отличие метода отжига от градиентного спуска или жадного алгоритма?
❗️ Метод отжига может принимать решения, временно ухудшающие целевую функцию, что позволяет ему "выпрыгивать" из локальных минимумов. Вероятность принятия худшего решения уменьшается с понижением температуры. Градиентный спуск и жадные алгоритмы всегда двигаются только в сторону локального улучшения и могут застрять в локальных оптимумах

💬 Следующие темы смело предлагайте в комментариях. Также, делитесь интересными задачами и материалами по этой теме, тут их точно еще полно)

ВСОШ 2025 для KIT
#АлгоРепетиторство #РезультатыУчеников

На этой неделе проходил заключительный этап ВСОШ по информатике в Сириусе
И если в том году от нас был лишь 1 участник заключительного этапа, то в этом году числа такие:

💪 6 участников заключительного этапа 💪
🥈 из них 2 призеров заключительного этапа (Ипатов Андрей и Марченко Алексей на фотках) 🥈

Давайте накидаем парням реакций, прежде всего это их заслуга, а мы рады быть частью их успеха!

Не взявшим призера и не вышедшим на закл не вешать нос, даже если уже 11 класс. А если еще не 11, то отдохните, возвращайтесь к работе уже сейчас и все окупится. С этим поможет наша команда - актуальная информация про занятия здесь. Целимся натренировать еще больше участников и, конечно, призеров закла! 🔥

IT_ONE Cup. ML Challenge от IT_ONE и Sk FinTech Hub — создай AI-ассистента, который будет помогать в работе дизайнерам, системным и бизнес-аналитикам. Участвуй онлайн с 12 по 29 апреля и поборись за 1 500 000 рублей.

Регистрация открыта до 11 апреля

Твоя формула победы:
✅ Разбираешься в машинном обучении.
✅ На ты с NLP и LLM.
✅ Концептуально понимаешь принципы работы веб-приложений.  

Также приглашаем Backend и Frontend-разработчиков, системных и бизнес-аналитиков, UI/UX-дизайнеров. Участвуй онлайн соло или командой до 5 человек. 

Задачи IT_ONE Cup. ML Challenge:
🔤 Динамические контекстные подсказки для системного аналитика.
🔤 AI-генератор дизайн-макетов по описанию требований.
🔤 Система визуализации BPMN-диаграмм.

4 апреля приходи на митап с экспертами соревнования — задай вопросы и узнай больше о задачах. 

Создай AI-ассистента, который облегчит выполнение рабочих задач — регистрируйся на IT_ONE Cup. ML Challenge

ИИ на пути к олимпийскому золоту: как нейросети решают задачи и меняют правила игры
#Event #MLВброс

Появилась запись доклада с ПИК-ИТ 2025. Он рассчитан на широкую аудиторию, поэтому всем рекомендую послушать, чтобы быть в курсе событий. И спасибо всем, кто пришел послушать очно!
Первые 16 минут - доклад, остальные - ответы на вопросы

▶️ ВК видео ▶️
▶️ Youtube (будет чуть позже) ▶️

💬 Готов к обсуждениям и вопросам в комментах

ИИ на пути к олимпийскому золоту: как нейросети решают задачи и меняют правила игры
#Event

Давно постов не было, пора исправляться и сразу с анонсом⚡️

Снова выступаю на ПИК-IT в Екатеринбурге 15.03 (суббота) в 11:00 (по ЕКБ)

В том году обсуждали, зачем и как людям становится круче в олимпиадах, а в этом - посмотрим уже за нейросетями, каких они добились успехов) Рассмотрим за счет чего это получилось, что модели умеют и порассуждаем над будущим олимпиад

Я делал уже много постов на эту тему ранее, но хочется обобщить это кратко в один доклад. А еще DeepSeek r1 ни разу не обсуждал, хотя они больше всех пролили свет на техники обучения reasoning (рассуждающих) моделей и это интересно

Понятно, что за 15-20 минут в серьезные детали не погрузиться, но основные идеи точно узнаем
Доклад не предполагает знания машинного обучения, поэтому понятно будем всем

Жду всех в субботу на докладе и в обсуждении после него! Не забудьте зарегистрироваться, там еще и призы за это давать будут)

Нейросети в спортпроге. Детали
#MLВброс #MLСтатья

Давно не было длинных постов да еще и про ML - исправляюсь

OpenAI чуть рассказали про то, за счет чего их модели решают олимпиадные задачи по программированию

В статье затронуты модели o1, o1-ioi и o3 (которую еще не релизнули). Я уже писал про результаты o1 и o1-ioi тут и o3 здесь. Но в этом посте обсуждаем как они этого добились и что модели могут. Читайте до конца, их возможности меня поразили. Начнем по порядку

o1

🔄 Уже давно известно, что эта модель сначала "рассуждает" (генерирует цепочку рассуждений или же chain of thought) и потом уже дает ответ. Так у нее получается исправлять ошибки, продумывать другие варианты, если не получилось
🔄 Также, ее тренировали использовать внешние инструменты, например, запускать свой код и анализировать результаты для принятия решений.

📊 Рейтинг на кф: 1673

o1-ioi

🔄 Взяли o1 и еще обучили через RL конкретно на решение спортпрог задач. За счет такого фокуса модель лучше стала писать и запускать свои программы во время генерации ответа
🔄 Эвристики для спортпрога во время инференса:
🔄 Если у задачи подзадачи, то решаем каждую из подзадач отдельно - подаем их отдельно в модель как другую задачу
🔄 Кластеризация решений. Сначала модель промптят, что б сгенерировала несколько генераторов тестов (это тоже программа). Далее промптят, что б сгенерировала несколько валидаторов тестов (тоже программа!). Оставляют тесты, которые прошли часть валидаторов. Прогоняют решения на этих тестах и кластеризируют по одинаковым выходам на них.
🔄 Переранжирование решений.
* "Умная" посылка решений. Например, не посылать код на подзадачу, если он не проходит тесты уже решенной подзадачи, которая полностью входит в первую (так как точно зафейлится)

📊 Рейтинг на кф: 2214
📊 IOI 2024: 213 баллов

o3

🔴 Отказались от людских эвристик во время инференса
🔴 Вместо этого больше обучения RLем, что б модель сама придумывала и использовала свои стратегии
🔴 Благодаря этому модель САМА, если ей сложно, пишет СТРЕСС-ТЕСТ🤯 (пример на скрине, а почитать как это делать самому можно здесь) То есть модель сама создает простое, но неэффективное решение, генератор тестов и проверяет основное решение на соответствие

📊 Рейтинг на кф: 2724
📊 IOI 2024: 395 баллов


Выводы:
⚡️ Если модели действительно хорошо могут делать генераторы и валидаторы тестов просто по условию, то когда-то это точно добавят в Polygon (система для разработки задач) и новые контесты будут появляться еще быстрее и олимпиад будет больше!
⚡️ Что модель сама догадывается генерить стресс-тест - это очень меня удивило. Но мне кажется, что во время RL все-таки ей это подкидывали, но все равно мощно!

💬 А вы что думаете на этот счет? Пишите в комментариях

Innopolis Open - где порешать прошлые года
#АлгоРесурсы

Финал Innopolis Open для 7-11 классов будет уже на выходных следующей недели (14-16 февраля). Еще есть время нарешать финалы прошлых лет!

Тут легче, чем с МОШ - все (точнее большинство) финалы и отборы на CF 🔥 То есть можно и на следующий год потом поготовиться!

Всем удачи в подготовке и на самом финале!

МОШ 6-9 классы - где порешать прошлые года
#АлгоРесурсы

В прошлую пятницу подвели итоги отборочного этапа олимпиады МОШ по информатике для 6-9 классов - https://t.me/inf_mosh_25/9. И в начале февраля (обычно так) уже будет финал!
Кто прошел в финал, поздравляю 🥳

Но к финалу надо готовиться, и минимальная подготовка к любой олимпиаде - это прорешивание ее контестов прошлых лет
На сайте самой олимпиады за прошлый год есть только условия задач, разбор и архивы, но нет ссылки на контест - https://mos-inf.olimpiada.ru/archiv_2023_2024

Найти, где можно заслать эти задачи чуть сложнее) Поэтому делимся ссылкой, где есть все задачи прошлых финалов (не только 24 года) - https://informatics.msk.ru/course/view.php?id=13#section-1
Да, виртуального участия там нет, но можно просто поставить таймер на 3 часа, если 6 класс и младше или 4 часа, если 7-9 класс

Всем удачи в подготовке и на самом финале!