До закрытия приёма заявок на школу по искусственному интеллекту «Лето с AIRI» в ТГУ — всего 4 дня!

Все лекции и семинары прошлого года доступны в VK Видео — загляните, чтобы почувствовать атмосферу Школы и вдохновиться на участие.

Подавайте заявки по ссылке до 29 апреля 23:59📌

#пятничныемемасы

🇸🇬Непрямой эфир с открытия ICLR

Конференция ICLR в Сингапуре самом разгаре.

🙀Ловите основные цифры и оцените масштаб:
✔️10k+ очных участников
✔️12k поданных работ
✔️3000+ принятых статей (Acceptance Rate = 25%)
✔️А среди основных топиков LLM, Diffusion Models, RL и бенчмарки.

👏В этот раз организаторы очень большое внимание уделили процессу ревью и привлекли огромное количество ревьюеров, чем добились того, что каждый ревьюил в среднем <2,5 работ. (Думаю, те кто участвовал в последних циклах ARR с жёсткой нехваткой ревьюеров и по 10-16 работами на ревьюера, сейчас апплодируют стоя).

🤖А еще впервые они ввели AI- помощника: ревьюеров оценивала LLM, которая давала советы, как можно улучшить ревью по структуре и сделать его более конструктивным.

@mashkka_ds

#трудовыебудни #llm #новостисполей #mashkka_singapore

Сингапурские новости с полей ICLR🇸🇬

Второй раз (про первый визит сюда на EMNLP'23 читай тут) в Сингапуре и второй раз приезжаю сюда на конференцию со статьёй. В этот раз, презентуем работу на ICLR - крупнейшей мировой конференции по Data Science.

Следите за новостями с ICLR под тегом #новостисполей.

#трудовыебудни #mashkka_singapore #новостисполей

#backstage глазами спикера🎤
⠀
На выходных участвовала в дискуссии про ИИ на ГЭС-2, проходившей здесь в честь университетской субботы. Отличный повод дойти до этого места, где я собиралась побывать с самого открытия.
⠀
Разговор про креативность вышел очень интересным, за полтора часа обсудили столько креативных идей и пришли к выводу, что у ChatGPT отлично развита дивергентная креативность. Спасибо за отличную дискуссию и за возможность поговорить на любимую тему с такими замечательными людьми.
⠀
#трудовыебудни #гэс2 #веснавгороде #ии

5️⃣Круглая отличница OTUS: 555 уроков за 5 лет5️⃣
⠀
Сегодня отмечаю отличную круглую цифру в Otus: 555 проведенных вебинаров за 5 лет! Для меня самой это неожиданный сюрприз - увидела цифру, случайно на платформе и поняла, что чуть не пропустила такой важный юбилей!
⠀
5 лет и 2000+ выпускников - приятно осознавать, что этим трудом ты помог стольким людим стать на шаг ближе к технологиям Data Science и ИИ!
⠀
#преподавание #отус #datascience #ai #трудовыебудни

👠#justaboutme человечки в моей голове, что пора танцевать high heels

Новая мистическая и такая французская хореография вышла просто 🔥 Не буду загадывать, что получится в итоге, но это точно были самые лучшие два часа этих выходных! Обожаю процесс съемок, а с танцами иду по жизни всегда!

❕#justaboutme - воскресная рубрика, в которой я делюсь яркими событиями из своей жизни, не связанными с DS и ИТ подобно тому, как я это делаю в соцсетях.

🎙Неизданные главы большого интервью для @kantor_ai (часть 2)

Наш разговор с @kantor_ai получился насколько насыщенным, что не уместился в один подкаст.

Встречайте вторую часть с самыми острыми темами про AI и работу в Data Science.

👀 Смотрим на YouTube
👉Первая часть тут

@mashkka_ds

#ai #datascience #agi

Сегодня у нас в гостях #Типичный_айтишник Маша. Не восхищаться Машей невозможно, поэтому мы просто оставим ее интервью вам, читайте и влюбляйтесь.

- Кто ты и чем занимаешься?

Я Маша Тихонова (aka @mashkka_ds), Руководитель Исследовательского направления команды AGI NLP в Сбере. Кандидат компьютерных наук, доцент ВШЭ, занимаюсь исследованиями в области обработки естественного языка и преподаю.

- В каких самых крутых проектах ты участвовала?

В создании бенчмарка MERA для оценки больших языковых моделей (LLM) на русском языке, разработке модели mGPT - мультиязычной LLM для 61 языка, бенчмарка ruMTEB для оценки русскоязычных эмбеддеров.

- Как ты начала заниматься тем что делаешь сейчас?

Высшее образование я получила на Мехмате МГУ по специальности «Фундаментальные математика и механика». Математика интересовала меня с детства, тут я пошла по стопам родителей, но я никогда не хотела быть тем ученым, который только на бумаге доказывает теоремы — мне это казалось скучным, хотелось делать что-то, что будет находить практическое применение и будет полезно людям.
Я всегда хотела найти прикладное применение математических знаний и на третьем курсе я, пройдя серьезный отбор, поступила в Школу Анализа Данных, где увлеклась машинным обучением и поняла, что это как раз то, с чем я хочу связать свою жизнь. Мои усилия определенного стоили того.

- Что самое интересное в работе?

Как я сказала, я всегда хотела найти прикладное применение математических знаний, а не просто быть ученым, который на бумаге доказывает теоремы и Data Science дает такую возможность. Здесь у меня есть возможность воплощать в жизнь свои идеи, применяя свои знания для создания крутых вещей на острие науки. Я люблю то, что я делаю, мне это интересно и атмосфера в нашей команде AGI NLP максимально заряжает тебя на новые идеи.

- Твой совет для тех, кто начинает путь в Data Science.

Область ИИ сегодня развивается с такой скоростью, что за событиями порой бывает сложно следить. Поэтому, вступая на путь DS, готовьтесь что постоянно придется изучать что-то новое: новые методы, модели, библиотеки. Data Science - область для креативных людей, которые не боятся изучать новые технологии в первых рядах

Уровень принятия рабочих неожиданностей - бесконечность
#пятничныемемасы

✨Уроки ИИ в школе

Сегодня увидела у коллег на столе Учебники по ИИ(!) за 5 и 9 классы. Так абалдела, что решила заглянуть внутрь... Ох, лучше бы не заглядывала.

Первое попавшееся задание в учебнике за 9й класс (уровень, когда школьники сдают ОГЭ и решают зубодробительную геометрию): зайдите в Яндекс.Браузер и изучите как работает автоматический переводчик (смотрите скрин, если не верите мне). Может еще зайти в поиск и попробовать загуглить там, например, ГДЗ!

Я абсолютно точно поддерживаю введение дисциплины с основами ИИ и машинного обучения в школе, но не в таком же формате. В 9ом классе ребята вполне способны освоить основы машинного обучения и программирования на Python. Дальше основ пойти сложно - для этого нужна высшая математика и линейная алгебра, но основные концепции - вполне. А преподавать, что умеет Яндекс.Браузер - это скорее для подготовишки, точно не для людей, которые изучают дисциплину с 5го класса.

❔Кстати, а есть среди вас школьники/родители школьников? Расскажите, вводят ли у вас этот предмет? И что преподают на нем? А то я совсем не в теме....

🐾По следам вебинара AI агенты на основе LLM: что нас ждет?

На открытом вебинаре от курса NLP.Advanced рассказала про новые перспективы, которые открывают перед нами агенты на основе LLM.

✅И да, вы не ослышались, это действительно наш новый продвинутый курс по LLM NLP.Advanced, в программу которого мы вложили самое крутое, что есть сегодня по LLM и трансформерам: от классической архитектуры трансформеров до современных мультимодальных моделей, современных библиотек типа vLLM и введения в LLM-агентов. Стартуем уже 30 апреля, вас ждет увлекательное погружение в мир LLM! А ты с нами?

👀Запись
💭Слайды
👩‍🏫Программа NLP.Adnvaced

🎚 @mashkka_ds

#ml #otus #nlp #datascience #llm #aiagents

✨МарьИванна идет на MERA meetup
⠀
Как вы знаете, наш основной проект - бенчмарк MERA, который содержит 23 задачи для LLM. Среди них набор вопросов из "Что?Где?Когда?", тесты на программирование и даже ЕГЭ.
⠀
Сложность в том, что модели стремительно умнеют, и тесты для них нужно делать все сложнее. А как правильно, какие именно навыки оценивать, и как сделать так, чтобы честно, непредвзято и чтобы задачи не были слиты в претрейн - непростые вопросы....
⠀
...которые мы собрались обсудить научным NLP-сообществом на MERA meetup. Новый формат "коллективного" брейншторма и обсуждения. Митап вышел продуктивным, почерпнули множество идей, теперь осталось воплотить их в жизнь!
⠀
#трудовыебудни #митап #llm #ai #ghibistyle #chatgpt

GPT 4.1 Prompting Guide

Помимо самой GPT 4.1, OpenAI выпустили большой гайд о том, как эту версию промптить.

Казалось, что мы уже немного ушли от необходимости писать длинные инструкции, но нет - опять возвращаемся к этому.

Настоятельно советуется использовать три типа напоминалок для модели:
• Persistence - напоминать модели, чтобы думала до конца решения проблемы, в не возвращала ответ слишком рано
• Tool-calling - напоминать использовать инструменты
• Planning - напоминать модели, что планировать и рефлексировать полезно.

Как-то мне кажется, что это шаг назад - модели вроде итак должны этому следовать. С другой стороны, почти весь Deep Learning - это шаманство, алхимия, махание руками и надежда на то, что очередной трюк успешно сработает. Или, как это называется по-умному - experimentation and trial and error :)

Кстати, их системный промтп на SWE-bench Verified занимает почти 80 строк.

#datascience

⚡Молния от OpenAI: GPT-4.1 уже в API

Только что OpenAI представили новую линейку GPT-4.1, в которой улучшена работа с кодом, следование инструкциям и расширен контекст:

GPT‑4.1 model family offers exceptional performance at a lower cost

OpenAI запустили в API 3 модели: GPT‑4.1, GPT‑4.1 mini и GPT‑4.1 nano, которые обходят GPT‑4o на основных задачах.

🖊Пост от OpenAI
👀Презентация на YouTube

@mashkka_ds

#chatgpt #gpt #gpt41 #gpt4.1 #openai #llm #nlp

Ощутите на себе ГИГА-эффект нового GigaChat 2.0 🔥

Новый GigaChat 2.0 теперь с вами! Встречайте нейросеть с крутыми возможностями и скорее пробуйте сами 👇

🟢найдёт актуальную информацию в интернете и даст ответы со ссылками на источники
Подбери крутой детектив на вечер

🟢проанализирует документы до 200 страниц
Сделай краткий обзор этой научной статьи и выдели главные открытия [приложить pdf-файл]

🟢создаст музыку и песни по вашему запросу
Сочини романтическую песню о весне в Петербурге в стиле джаз

🟢проанализирует голосовые сообщения и аудиофайлы длиной до 60 минут
Выслушай мою идею и составь по ней бизнес-план [ваша аудиозапись]

🟢распознает изображения — от расшифровки медицинских анализов до советов по стилю
Мне пришла квитанция ЖКХ. Объясни, за что я плачу? [фото квитанции]

🟢проанализирует ссылки
сравни основные идеи этих двух статей: [ссылка1] и [ссылка2]

🔘А умные колонки Sber теперь полностью под управлением GigaChat 2.0: обработка запросов станет ещё быстрее, а общение — ещё более естественным
Салют, объясни теорию относительности семилетнему ребёнку

➡️ Попробуйте на сайте, в телеграм-боте и в новом мессенджере MAX от VK и испытайте настоящий ГИГА-эффект

😎 Ваш помощник всегда рядом

💅Upacking куклы имени меня

Вдохновилась @complete_ai и сделала себе персональную куклу. Одно фото + три нейросети и теперь у меня есть ее unpacking в разрешении 4k.

Ставьте 🔥, если хотите узнать промпты или ищите их в канале у @complete_ai (все явки-пароли уже там).

👀Spoiler: для видоса достаточно и двух нейросетей, но я же фанат качества, мне подавай 4k.

#chagpt #genai

#justaboutme Марокко - с этого все и началось

Мое исследование Африки началось с Марокко🇲🇦 в далеком 2021 году. Сегодня пришла очередь вспомнить путешествие в эту невероятную страну:
✔️Ночёвка в пустыне и встреча рассвета в Сахаре
✔️Голубой город Шефшауэн
✔️Рынок и вонючие кожаные фабрики Феса
✔️Прекрасная Эссуэйра на океанском побережье
✔️Сады Мажорель в жарком Марракеше, где гулял Ив-Сен Лоран
✔️Необъятная мечеть Хассана II в Касабланке
✔️Крепость Айт-Бен-Хаду, где снимали Игру Престолов и это еще не все...

Марокко - это смесь Востока и Запада, пустыни и океана, традиций и современности... Марокко покоряет навсегда...

❕#justaboutme - воскресная рубрика, в которой я делюсь яркими событиями из своей жизни, не связанными с DS и ИТ подобно тому, как я это делаю в соцсетях.

#марокко #africe #турафрика #justaboutme #mashkka_morocco #mashkka_africa

#mashkka_reading Читай!📚

Прочитала книгу "Читай!" от Игоря Манна и Ивана Малина. Если честно, сама не очень знаю зачем, но книга была легкая, а мне было лень искать что-то лучше, вот и дочитала до конца.

"Читай!" - энциклопедия, или даже онтология всего, что есть в мире книг. В ней по главам аккуратно разложено на категории все, что связано с книгами:
✔️Как читать?
✔️Что читать?
✔️Зачем читать?
✔️На чем читать?
✔️Как найти время читать?
✔️Как убедить детей читать и т. п.

В каждой главе ее тема разложена по полочкам-пунктам и кратко комментируется каждый из них.

При этом сквозь всю книгу между строк красной нитью читается мысль: "Все, кто не читает - люди, так скажем, низшего звена", и явно прослеживается, что авторы смотрят на нечитающую серую массу немного свысока. Такие вещи я не одобряю и не люблю. Я сама поддерживаю чтение, но навязывать и делить людей по этому признаку (как и по любому другому) считаю too much.

Книга показалась больше похожей на агрессивный маркетинг книг - Читай или будешь низшим звеном. Мне такая навязчивая реклама воспринимается в штыки.

Не очень понравилось и то, что авторы уверенно используют ложные мифы, связанные с чтением, выдавая их за известный всем факт. Например, в одной из глав они пишут, что из-за чтения при плохом освещении портится зрение и снижается его острота. Однако по последним исследованиям чтение при слабом освещении не приводит к близорукости, хотя и вызывает временную усталость глаз и другие неприятные вещи вроде больной головы.

Вопросы вызывают и советы из книги. Например, в главе "Как найти время на чтение" автор приводит совет Просто спите на полчаса меньше как очень неплохой - no comments...

Резюме: не самая лучшая книга, хотя и может дать пинок побольше читать, а еще структурирует все о книгах. Только прошу, не верьте всему, что там написано, перепроверяйте хотя бы с помощью ChatGPT.

✔️11-я книга за 2025

#mashkka_reading #книжнаяполка #книга #book

🫥#paperwatch Обзор исследований по интерпретации «мыслительных» процессов LLM

В новом выпуске #paperwatch @doomgrad разбирает последние исследования о том, как мыслят LLM.

References:
✔️ Tracing the thoughts of a large language model
✔️On the Biology of a Large Language Model
✔️Circuit Tracing: Revealing Computational Graphs in Language Models

👀Запись

#paperwatch #llm #nlp #diffusionmodels

#пятничныемемасы
Как это жизненно для преподавателя=)

#пятничныемемасы
Как это жизненно для преподавателя=)

🐾По следам вебинара BERT for NLP

На открытом уроке курса NLP рассказываю про технологии и методы, которые стоят за современными LLM (Large Language Models).
Хотите узнать про модель BERT и как дообучать трансформерные модели, чтобы с их помощью решать самые разные задачи NLP? Тогда welcome смотреть вебинар.

✅А если хотите освоить самые другие методы работы с трансформерными моделями, то записывайтесь на курс NLP. Стартуем уже в апреле вас ждет увлекательное погружение в мир трансформеров и классического NLP!

👀Запись
💭Слайды
💻Практика
📚Подборка открытых уроков курса NLP

🎚 @mashkka_ds

#ml #otus #nlp

Сегодня рассказываем подробнее про доклады, которые будут на ИИшнице 10 апреля 🍳

◼️В 15:30 кандидат физико-математических наук, Chief Data Scientist B2C Сбер Дмитрий Бугайченко выступит с докладом про краткую историю мультиагентных систем.

◼️В 15:50 руководитель группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине» AIRI Ярослав Беспалов расскажет про создание мультиагентной системы на примере медицинского цифрового ассистента.

◼️В 16:10 пройдет доклад Никиты Любайкина, инженера–исследователя группы «Адаптивные агенты», про модель Vintix: Action Model via In-Context Reinforcement Learning.

◼️В 16:30 Technical Product Owner команды по разработке ИИ агентов в Альфа-Банке Артём Павленко расскажет про новый стандарт взаимодействия ИИ-агентов — Model Context Protocol.

◼️В 16:50 пройдет доклад техлида команды GigaChain SDK и развития агентов Константина Крестникова «Query construction in RAG: как мы решали задачу поиска на сложной базе данных заказчика с помощью langchain и chroma».

◼️В 17:10 завершающий доклад «Ассистент-исследователь: на пути к автоматизации научных исследований» прочитает доктор физико-математических наук, директор лаборатории когнитивных систем искусственного интеллекта AIRI, директор ЦКМ Института ИИ МФТИ Александр Панов.

Ведущим мероприятия будет руководитель группы «Глубокое обучение в науках о жизни» AIRI Артур Кадурин.

Подключайтесь к трансляции в VK Видео или на YouTube 🍿

⚡️Открываем прием заявок на Лето с AIRI 2025!

В этом году мы запускаем Школу совместно с ТГУ. Программа пройдет в Томске с 30 июня по 10 июля. Это отличная возможность поработать с экспертами в области ИИ, прокачать навыки и погрузиться в исследовательскую атмосферу. В расписании — лекции, семинары, практическая работа, постерная сессия и внеучебные активности.

📎 Подать заявку на участие можно по ссылке до 23:59 29 апреля 2025 года.

Организаторы обеспечивают обучение, проживание и питание, вам нужно будет только добраться до Томска.

Подавайте заявки и делитесь постом с друзьями и коллегами!

#justaboutme Кения: National Geograthic своими глазами

Продолжаю вспоминать Африку. Сегодня пришла очередь моей поездки в Кению🇰🇪 в 2023 году:
✔️Самое невероятное сафари у подножия Килиманджаро
✔️Восход над саванной - проплывая над стадами антилоп гну
✔️Обнимашки с жирафами
✔️Великая миграция
✔️Встреча с племенами и это еще далеко не все...

🦒В Кении ты увидишь National Geographic своими глазами. Такого сафари как тут больше нигде не найти.

❕Note: ехать в Кению лучше в августе, как раз в это время здесь проходит великая миграция антилоп гну.

#ЮАР #africe #турафрика #justaboutme #mashkka_africa

🔥 На улице снег, на HF — Llama 4

И у них, наконец, появились имена — Behemoth, Maverick, Scout. Последние две уже можно скачивать с HF и официального сайта.

🔸 Все модели теперь MoE (каждый раз активируется только часть от всех весов — "эксперты"). Дальше указаны активное/общее количество параметров.

🔸 Модели мультимодальные и еще более мультиязычные. Претрейн был на более чем 200 языках, из них более ста были с 1B+ токенов. Русский среди поддерживаемых 12-ти языков не указан, видимо, в топ-12 не входит.

🔸 Скаут и Маверик дистиллированы из Бегемота.

Scout → 17B/109B, 16 экспертов. Контекст — 10M токенов❗️. Должна быть умнее всех предыдущих Llama, при этом помещаясь на одну H100 карту.

Maverick → 17B/400B, 128 экспертов. Контекст — 1M токенов. На некоторых тестах показывает уровень GPT-4o. На lmarena.ai вторая после Gemini 2.5 Pro Exp.

Behemoth → 288B/2T❗️, 6 экспертов. Все еще обучается на 32K GPU, по заявлениям разработчиков на некоторых тестах уже превосходит GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro. О, да.

👉 llama.com (дают временную ссылку) | HF (одобряют заявку)

🎉It's Friday

Приходить в офис по пятницам, кажется, становиться традицией. Работается у меня более продуктивно из дома, а вот общение с коллегами всегда приносит позитив. А по пятницам под пиццу так и вообще!

#трудовыебудни

🦸ШАД ждет своих героев

Недавно на интервью у @kantor_ai рассказывала про то, как учеба в ШАД во многом определила мою жизнь. А сегодня в Школу Анализа Данных открывается новый набор. Поверьте, ШАД это чудесное место, которое меняет жизни людей, но готовьтесь, что на два года про выходные и сон придется забыть. Готовы к хардкорному погружению в мир ML и DS? Тогда заполняйте заявку и смело в бой!

👉Заполняй заявку тут.

Недавно на интервью у @kantor_ai рассказывала про то, как учеба в ШАД во многом определила мою жизнь. А сегодня в Школу Анализа Данных открывается новый набор. Поверьте, ШАД это чудесное место, которое меняет жизни людей, но готовьтесь, что на два года про выходные и сон придется забыть. Готовы к хардкорному погружению в мир ML и DS? Тогда заполняйте заявку тут.

Вдохновиться историями других выпускников и подать заявку можно здесь

#пятничныемемасы

🐾По следам вебинара ChatGPT VS DeepSeek

На открытом вебинаре от курса NLP.Advanced разбираем, что под капотом у самых провинутых LLM и что же инновационного предложила нам модель DeepSeek-R1.

✅И да, вы не ослышались, это действительно наш новый продвинутый курс по LLM NLP.Advanced, в программу которого мы вложили самое крутое, что есть сегодня по LLM и трансформерам: от классической архитектуры трансформеров до современных мультимодальных моделей, современных библиотек типа vLLM и введения в LLM-агентов. Стартуем уже 30 апреля, вас ждет увлекательное погружение в мир LLM! А ты с нами?

👀Запись
💭Слайды
📚Материалы про DeepSeek
👩‍🏫Программа NLP.Adnvaced

🎚 @mashkka_ds

#ml #otus #nlp #datascience

🌸LLM-агенты для науки: теперь и от OpenAI🌸
#nlp #про_nlp #nlp_papers

Вчера OpenAI зарелизили PaperBench — новый бенчмарк для оценки агентов по их способности понять и полностью воспроизвести основной технический вклад научной статьи, с кодом и результатами.

🌸TLDR Claude 3.5 оказался на нем лучше всех на задачах длиной 12 часов.

Бенчмарк состоит из 20 статей ICML 2024 года, принятых к представлению в Spotlight и устных докладов. Полное воспроизведение включает в себя понимание статьи, разработку кодовой базы с нуля для реализации всех экспериментов, а также запуск, мониторинг и устранение неполадок этих экспериментов по мере необходимости. Каждая задача репликации является крайне сложной и требует от экспертов-людей как минимум нескольких дней работы.

Все отобранные статьи
— представляют темы reinforcement learning, robustness, probabilistic methods.
— сделаны лабораториями без прямого индустриального финансирования (что интересно! см пост про независимость науки)
— отвечают критериям воспроизводимости и машиночитаемости из authors checklist — имеют четкое описание вычислительного бюджета, конкретных датасетов, бенчмарков, версий моделей. 

Агентам можно ходить в интернет, но нельзя пользоваться непосредственным списком ресурсов из статей (защита от списывания слабоватая, конечно, обычно статью подробно разбирают в каком-нибудь блоге с кусочками кода). Для оценки используются LLM-судьи и автоматические метрики. На выполнение каждой задачи дается 12 часов, на одну статью — 3 попытки.

На основе текста и кода статей составляются 8,316 отдельных подзадач для агентов, и ряд LLM (O1, O3, Claude 3.5, Gemini) тестируются в нескольких агентских фреймворках:
— Basic Agent — по сути ReACT
— Iterative Agent  — openai-ишное поделие, которое использует всю ту же логику, но убирает возможность закончить эксперимент раньше срока, пытаться надо как бы до конца, и это все будет одной попыткой. 
У бенчмарка два подмножества: основное на 20 задачах, и мини на 3х статьях.

🌸Из интересного:
— в отличие от результатов MLE-bench, где лучшим вполне осмысленно оказался AIDE + O1  - самым лучшим из опробованного оказался обычный ReACT + Anthropic Claude 3.5
— Не совсем ясно, пробовали ли еще какие-то агентские фреймворки вообще, и не опробованными оказались более новые модели — Claude 3.7, Deepseek R1 новый, Gemini 2.5
— в целом работа производит впечатление очень сырой, что авторы и сами отмечают: работа с развитием агентных методов может существенно улучшить текущие результаты моделей.
— Лидерборд меняется, если ограничить решение задачи 36 часами, а не 12: тогда комбинация итеративного агента с О1 побеждает Claude + ReAct.
— В статье достаточно интересные результаты относительно сравнения с настоящими исследователями: агенты могут опережать их в течение первого часа автоматической работы, но затем выходят на плато, и после 12-24 часов работы человеческий результат стабильно обгоняет текущие решения ML-агентов. Учитывая наметившийся тренд и внимание к долгим задачам, постепенное улучшение в этом направлении очень ожидаемо.

🟣Paper
🟣Github (спросила про лицензию, у всего репозитория вроде MIT)
🟣Blogpost

🤖 Используем BERT для решения NLP задач 

🗓 07 апреля в 18:00 МСК
🆓 Бесплатно. Урок в рамках старта курса «NLP / Natural Language Processing».

Вебинар посвящен такой классической трансформерной модели BERT, которая в свое время совершила революцию в мире Natural Language Processing. На вебинаре вы узнаете, что представлет из себя модель BERT. И как с ее помощью можно легко и эффективно решать разнообразные NLP задачи.

Данный вебинар будет особенно интересен:
- Практикующим Data Scientist и ИТ-специалистам, которые хотят глубже погрузиться в область NLP
- Тем, кто хочет узнать, что делает ChatGPT такой умной
- Людям, освоившими основы машинного обучения, но желающими развиваться в области DS

В результате урока вы:
- Узнаете, устройство модели BERT
- Научитесь дообучать предобученные трансформерные модели
- Научитесь дообучать BERT и работать с ним на практике.

🔗 Ссылка на регистрацию: https://otus.pw/1VIF/?erid=2W5zFGaCTha

#реклама
О рекламодателе

Save the date: следующая ИИшница пройдет 10 апреля в 15:30 🍳

Исследователи расскажут об ИИ-агентах и мультиагентных системах, их применении в медицине, автоматизации научных исследований и поиске в сложных базах данных. Скоро поделимся подробным расписанием онлайн-митапа.

Сохраняйте ссылки на трансляции, чтобы не пропустить: VK Видео, YouTube 🍿

😂Мы все под подозрением

Недавно ошибочно заподозрила свою подписчицу в том, что она бот, а сегодня в этом заподозрили меня. В ответ на мой невинный комментарий в канале @kantor_ai меня заподозрили в том что я бот (вот это поворот!). Как потом объяснили мне в комментариях "сейчас боты в основном девушки с ссылкой на какой-то канал, которые пишут какое-то предложение с восклицанием" - я в своем комменте собрала просто фулл-хаус: и девушка и канал и !

😂Ситуация очень смешная, я долго смеялась над собой😂

Осталось дождаться, когда реальные боты пойдут в атаку первыми и начнут обвинять нас - реальных людей.

❔Открытым остается вопрос: как теперь реально выгонять из канала ботов?

👉А что у меня был за коммент - ищите под постом

⭐️Итоги 2024 от @oulenspiegel_channel

Запись лекции @oulenspiegel_channel в центре «Архэ» про итоги года в ИИ и машинном обучении.

👉Слайды можно найти в канале автора тут.

Как удаление знаков препинания и артиклей в запросе снижает точность языковых моделей до 20%⤵️

Исследователи AIRI обнаружили, что знаки препинания и артикли играют более важную роль в обработке информации языковыми моделями, чем кажется на первый взгляд. Это удалось узнать с помощью метода, который позволяет определить, какие именно данные сохраняются в связке с конкретными токенами.

В серии экспериментов исследователи использовали тексты, из которых заранее убрали элементы, кажущиеся незначительными для логики повествования: знаки препинания, артикли и стоп-слова. Для этого систему обучили анализировать последовательность токенов и восстанавливать текст. Оказалось, что больше всего информации о контексте содержится именно в стоп-словах. Затем поставили перед несколькими популярными языковыми моделями задачу — решить, какие элементы текста, с точки зрения человека, можно удалить. Проверка подтвердила, что, если убрать из формулировки технического задания такие «незначительные» символы, качество работы модели падает.

📎Код для анализа работы языковых моделей доступен по ссылке.

🏆Приняла Большие Вызовы

Меня позвали экспертом на отборочный тур Больших Вызовов, который по традиции проходит в МФТИ.

Большие Вызовы - программа от Сириуса (в Сочи), на которой школьники за несколько недель выполняют определенный проект. На нее попадают лучшие из лучших, и за несколько недель они делают проект практически на уровне дипломных ВШЭ.

А на отборочном этапе ребята демонстрируют свое "ДЗ" - показывают проекты по итогам которых мы, эксперты, и принимаем решение, кто поедет на Большие Вызовы в Сириус, а кто нет.

Уровень современных школьников уже давно впечатляет меня и, кажется, с каждым годом он только растет. Все кто сегодня выступали - огромные молодцы и неважно, пройдут они на финал Больших Вызовов или нет, их определённо ждёт успех.

Слушать 20 проектов было непросто, после целого дня в роли эксперта я выжата, как лимон, зато вдохновилась тем, что делают школьники сегодня и так рада, что приехала в на Большие Вызовы в МФТИ.

#трудовыебудни #сириус #мфти

📚#mashkka_reading Новый нейрокопирайтинг
⠀
Прочитала книгу Новый нейрокопирайтинг. 99 способов влиять на людей с помощью текста Майи Богдановой, изначально подумав, что это про то, как писать тексты с помощью нейросетей (😂кто-то, похоже, прочитал лишь основной заголовок и сразу подумал о своем).

На практике книга оказалась про то, как доносить свою мысль и структурно составлять текст, будь то пост, блог или даже письмо. Автор дает много несложных советов, которые каждый без особых усилий сможет применить. Понятное дело, что не стоит теперь бежать и пытаться использовать их все (и лучше сразу в одном посте😂), каждый возьмет из книги то, что подходит именно ему.

Мне, например, больше всего зашла мысль о том, что после чтения вашего блога читателю должно становиться хорошо. Хейт, чужие недостатки, токсичность - очень сильные триггеры, которыми многие пользуются для раскрутки блога. Майя же пропагандирует совершенно другой подход: привлекать читателей тем, что после чтения ваших постов им должно становиться чуточку лучше, чем было до. Люлям должно быть приятно вас читать!

Последнее ровно про меня: я очень ценю своих подписчиков (то есть вас😊 многие со мной уже не первый год😊) и всегда стараюсь, чтобы мои посты вдохновляли, мотивировали и давали то, что нужно именно вам!

✔️10-я книга за 2025

❔И вновь я порадуюсь вашим советам, что дальше читать. Посоветуете что-то лёгкое и веселое?
⠀
#mashkka_africa #книги #mashkka_reading #книжнаяполка #книга #book

Привет ☺️

🔥24 мая - 1 июня 2025 состоится главное событие года для нашего сообщества — Data Fest 2025!

Приглашаем вас присоединиться в роли спикеров или организаторов секций, пока времени до мероприятия еще достаточно 😉

Да-да, это тот самый CALL 4 SPEAKERS & CALL 4 ORGS 📣📣📣
Переходите по ссылкам ниже, пишите о темах, с которыми хотите выступить, пересылайте этот пост друзьям 🦜

Предварительный список секций, куда уже можно податься с докладом:
🔮 Больше про ML в разрезе DS доменов: NLP, Advanced LLMs, CV, Speech, RecSys, TS & Forecasting, Reliable ML
🏭 Больше про индустрии и их приложения: ML in Manufacturing, Ужасы Медицинских Данных, ML in Marketing, ML in [Physics] Science, Robotics, Scoring, ML in Security, Code Generation / AI code (new), ML in Chemistry (new)
🛠 Больше про инженерию: MLOps, Optimal DL, Open Source, DL Frontier (new)
🎁 Неформат: Career & TeamLead, Random DS/ML
….и список будет пополняться!

Стать спикером <— тык
Стать организатором <— тык

🥰 Всех ждем!

#justaboutme Вспоминаю ЮАР

Сегодня в личнорубрике вспоминаю свою поездку в ЮАР с Travel4You, а то в прошлом посте убеждала, что начинать исследование Африки надо именно с него.

🇿🇦Так что же там делать и что же смотреть?🇿🇦
✔️Обниматься с зебрами и гепардами
✔️Побывать на краю Земли на мысе Доброй Надежды
✔️Гулять по разноцветным улочкам Cape Town
✔️Умиляться пингвинам
✔️Нырять с акулами
✔️Дегустировать вина на невероятно изысканных винодельнях
✔️Смотреть на жирафов и носорогов на сафари
✔️Полетать на вертолете над Африкой
✔️Насладиться закатом на белоснежной яхте
✔️и еще очень-очень много всего!

Южная Африка прекрасна! До сих пор вспоминаю эту поездку как одно из самых сильных путешествий, которое точно оставило свой след. И буду рада, если этот пост вдохновит вас открыть Африку, как когда-то открыла ее я!

#ЮАР #africe #турафрика #justaboutme #mashkka_africa

🌸Field Matters 2025: Call for papers🌸
#nlp #про_nlp #nlp_papers

Друзья, стартовал прием статей на наш ежегодный воркшоп по автоматическим методам и инструментам для полевой лингвистики Field Matters.

🟣Собираете корпус, бенчмарк или парсер для малоресурсного языка?
🟣Занимаетесь созданием инструментов для работы с аудио, транскрипцией, глиссированием, в целом работы в поле?
🟣Делаете машинный перевод и transfer learning для малоресурсных языков?
Приходите к нам!

В этом году воркшоп пройдет в рамках конференции ACL 2025 в Вене.

Прием статей — до 11 мая!
Пожалуйста, распространите CFP коллегам

🟣Подать статью
🟣Call for papers

🌸Стрим на Рабкоре в 20.00 🌸

Сегодня в 20.00 по мск стрим на Рабкоре. В гостях в рубрике Копилефт писатель, автор известной книги "Код Дурова" и журналист Николай Кононов, с которым мы будем обсуждать то, насколько критично важными стали для нас определённые IT-продукты и как они влияют на нашу жизнь.

🟣Что должен делать бизнес условиях блокировок?

🟣Где проходит грань между “частным бизнесом” и жизненно важной инфраструктурой?

🟣“А может, взять все – и поделить!” Если рассмотреть ситуацию, когда у крупнейших  цифровых платформ есть инструменты их институционального контроля, то каким этот контроль должен быть?

Приходите!
Запись будет
Вопросы можно задавать в комментариях к этому посту и на стриме!

🟣YouTube https://youtube.com/live/0P7LN7CMBsQ?feature=share

🌸METRики хайпа: найти экспонентциальный рост любой ценой🌸
#nlp #про_nlp #nlp_papers

На прошлой неделе вышел анализ от METR (Model Evaluation & Threat Research) — независимой организации оценки способностей и рисков ИИ систем.

🌸TLDR: предлагается измерять производительность ИИ с точки зрения продолжительности задач, которые могут выполнить агенты.
При этом вводится новый бенчмарк и показывается, что продолжительность решаемых задач постоянно экспоненциально растет в течение последних 6 лет, и удваивается примерно раз в 7 месяцев. Экстраполяция этой тенденции предсказывает, что менее чем через пять лет мы увидим агентов, которые смогут самостоятельно выполнять большую часть программных задач, на которые в настоящее время у людей уходят дни или недели.

Для точности вводится новая метрика: учитывается время, которое обычно требуется людям для выполнения задач, которые модели ИИ могут выполнить с 50%-ным успехом.
У Claude 3.7 Sonnet, например, этот временной горизонт около 50 минут.

Красивая экспонента и оценки будущих горизонтов агентов уже ушли в заголовки.

🌸А теперь самое интересное: на чем меряем?

На немотивированно странном подмножестве бенчмарков.
— 97 задач из HCAST: инженерные задачи от 30 сек до 30 минут
— 7 сложных ML задач из RE-Bench по 8 часов каждая
— 66 очень простых софтверных задач от 1 до 30 секунд (новый бенчмарк, Software atomic actions, SWAA)
— 1 (одна, Карл!) задача из GAIA

🌸Что не так с такими оценками?

— если бы это было так просто, новую метрику бы вводить в целом не потребовалось, можно было бы взять 100+, а то и 1000+ задач предыдущих лет (у нас что, дефицит бенчмарков??) и спокойно построить результат. К сожалению, так не получилось, поэтому пришлось черри-пикать задачи и даже придумывать новые, которые бы дали нужную картину.

— сложность и время выполнения задачи — не одно и то же, можно придумать много долгих тупых задач;

— даже если считать, что в целом это правда, что мы постепенно научились автоматизировать более сложные задачи (конечно), то давайте прямо скажем, что улучшение качества происходит за счет разных компонент прогресса: доступности обучающих данных, бюджета на разметку, вычислительного бюджета на масштабирование модели, и самое интересное — за счет алгоритмической новизны. Все эти факторы имеют совершенно разный вес в каждой из приведенных задач. Соотношение этих факторов во многом для closed source моделей нам совершенно не известно. Смысла искать в них общую экспоненциальную тенденцию немного.

— компьют и данные не скейлятся по экспоненте, при этом только их вклад является наиболее предсказуемым; а алгоритмические улучшения отдельно без скейлинга трудно прогнозировать.

В общем и целом, перебор результатов, чтобы найти экспоненту — это уже самостоятельная бизнес-модель и вообще, залог будущих инвестиций.

Ну и напоследок, результаты опроса AAAI 2025 :"Большинство респондентов (76%) утверждают, что «масштабирование текущих подходов к ИИ» для создания AGI «маловероятно» или «крайне маловероятно» приведет к успеху, что вызывает сомнения относительно того, достаточны ли текущие парадигмы машинного обучения для достижения AGI."

🟣Пост METR
🟣Arxiv

🫥#paperwatch Diffusion models in text generation

В новом выпуске #paperwatch разбираем современные диффузионные модели для текстов.

@mashkka_ds

👀Запись
📚Слайды

#paperwatch #llm #nlp #diffusionmodels

😊 Принимаем заявки на Летнюю школу машинного обучения Сколтеха в Китае!

Главная тема SMILES-2025, которая пройдёт в Харбинском технологическом институте (HIT), — генеративные методы в ИИ. В фокусе программы: большие языковые модели, мультиагентные системы, безопасный ИИ, генеративные подходы в компьютерном зрении. Лекции проведут ведущие эксперты по этим темам из Сколтеха, AIRI и HIT, в том числе Евгений Бурнаев, Александр Коротин и Андрей Кузнецов.

Школа продлится 12 дней и будет включать лекции, семинары и работу над проектами. Мы снизили лекционную нагрузку, чтобы у участников было больше времени на работу над проектами и знакомство с культурой Китая. В этом году наша команда отберет 100 очных и до 300 онлайн-участников: студентов, аспирантов и молодых AI исследователей из России и Китая.

🙂 Участие бесплатное: организаторы покроют перелёт, питание и проживание в Китае.

Отбор как для офлайн-, так и для онлайн-формата проводится на конкурсной основе. Заявки принимаем до 20 апреля включительно.

Соорганизатор летней школы — HIT, генеральный партнер — Альфа-Банк, научный партнер — институт AIRI.

😀 Узнайте подробности на лендинге SMILES-2025.

Котики в #пятничныемемасы

📚#mashkka_reading Фундаментальные законы человеческой глупости
⠀
Эта маленькая и остроумная книга историка экономики Карло Чиппола состоит из двух коротких эссе: первое - основная часть, в юмористической манере, высмеивающая человеческую глупость; второе - эссе «Перец, вино (и шерсть) как динамические факторы общественно-экономического развития в Средние века», посвящено тому как Средневековье перешло к Возрождению из-за самых неожиданных вещей.
⠀
Обе части - убойная смесь юмора, иронии и сарказма, написанного в псевно-научно-экономической форме. Но в каждой доле шутке есть доля шутки. Несмотря на всю легкость книга заставляет задуматься и посмотреть на поведение под другим углом=)
⠀
В первой части автор выводит 5 фундаментальных законов глупости (WARNING! Серьезно не воспринимать)
⠀
Фундаментальные законы:
⠀
1. Всегда и везде люди неизбежно преуменьшают количество глупцов, имеющихся в обращении.
⠀
2. Вероятность того, что тот или иной человек окажется глуп, не зависит ни от какой другой характеристики этого человека.
⠀
3. Глупый человек — это такой человек, который наносит вред другому человеку или группе людей, сам не получая при этом никакой выгоды и даже, возможно, неся убытки.
⠀
4. Неглупые люди всегда недооценивают вредоносную силу глупых людей. В частности, неглупые люди постоянно забывают о том, что всегда и везде и при любых обстоятельствах попытки иметь дело и/или связываться с глупыми людьми неизбежно плохо кончаются и дорого обходятся.
⠀
5. Глупый человек — самый опасный из всех типов людей.
⠀
Когда читаешь, создается ощущение, что автор написал книгу чисто по приколу - для души и повеселить других. Но если вдуматься, то это про то, что многие поступки людей глубоко иррациональны. Зачастую люди действуют под воздействием эмоций или своих неверных заблуждений так, что в итоге вредят и себе и другим. Иррациоальные мы до безумия, одним словом.
⠀
Мы часто ищем в поступках других злой умысел, пытаемся обвинить человека, что он сделал что-то "специально, ради своей выгоды". А на самом деле люди обычно действуют из лучших мотивов, а получается глупая дичь.

✔️9-я книга за 2025

❔А я вновь в поиске хорошей книги. Посоветуете что-то лёгкое и веселое?
⠀
#mashkka_africa #книги #mashkka_reading #книжнаяполка #книга #book

Новая версия DeepSeek-V3-0324 уже на 🤗

Только отгремел хайп вокруг R1, как подъехала новая версия DeepSeek-V3-0324 (улучшенная версия V3), которая с ветерком обходит оригинал на основных бенчмарках таких как MMLU-Pro, GPQA, AIME, LiveCodeBench.

🤗DeepSeek-V3-0324 (Warning! It's 685B parameters!)

Честное слово, новые боты мне нравятся все больше и больше😂

🐾По следам вебинара Новые тренды среди последних LLM

На открытом вебинаре от курса NLP рассказала про основные тренды в области NLP и трансформерных моделей сегодня. Хотите узнать, куда движется развитие LLM и что, скорее всего, нас ждет в 2025 году? Тогда смотрите!

✅А если хотите освоить самые продвинутые методы работы с трансформерными моделями, то записывайтесь на курс NLP. Стартуем уже в апреле, вас ждет увлекательное погружение в мир трансформеров!

👀Запись
💭Слайды
📚Подборка открытых уроков курса NLP

🎚 @mashkka_ds

#ml #otus #nlp #datascience