Всем привет!🔥

📆Сегодня (18 апреля) в 16:00
Данил Григорьев расскажет про

VLA: коррекция ошибок и усиление через обучение с подкреплением

В последнее время активно развиваются Vision-Language-Action модели (VLA) для роботизированной манипуляции. Основные задачи: обработка ошибок, адаптация к новым сценариям и оптимизация производительности. Работы [1-4] предлагают новые подходы к решению этих проблем. SC-VLA [1] использует двухсистемную архитектуру с механизмом самокоррекции. RoboDexVLM [2] расширяет возможности VLA для ловкой манипуляции с долгосрочным планированием. LIV [3] объединяет обучение представлениям и функций вознаграждения из видео без действий. RPD [4] применяет дистилляцию стратегий с RL для преобразования обобщенных VLA в высокопроизводительные экспертные модели. Эти методы показывают, как сочетание коррекции ошибок и обучения с подкреплением улучшает возможности VLA моделей

Статьи:
1. A Self-Correcting Vision-Language-Action Model for Fast and Slow System Manipulation
2. RoboDexVLM: Visual Language Model-Enabled Task Planning and Motion Control for Dexterous Robot Manipulation
3. LIV: Language-Image Representations and Rewards for Robotic Control
4. Refined Policy Distillation: From VLA Generalists to RL Experts

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆Сегодня (11 апреля) в 16:00
Никита Качаев расскажет про

Трансформерные модели для роботизированной 3D манипуляции

На текущий момент ключевыми направлениями исследований в данной области являются многозадачность, обобщение на ранее не встречающиеся сценарии и точная манипуляция. Помимо этого, в последнее время набирает популярность тема памяти в задачах робототехники. В ряде недавно вышедших работ были представлены гибридные трансформерные модели PerAct, RVT-2, ARP+ и SAM2Act, которые благодаря использованию продвинутых perception модулей и трансформерных архитектур способны эффективно решать многие сложные задачи. В докладе основной фокус будет сделан на работе [1]

Статьи:
1. SAM2Act: Integrating Visual Foundation Model with A Memory Architecture for Robotic Manipulation
2. RVT-2: Learning Precise Manipulation from Few Demonstrations
3. SAM-E: Leveraging Visual Foundation Model with Sequence Imitation for Embodied Manipulation
4. Autoregressive Action Sequence Learning for Robotic Manipulation
5. SAM 2: Segment Anything in Images and Videos

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!

Сегодня встречи не будет

Всем привет!🔥

📆Сегодня (21 марта) в 16:00
Татьяна Земскова и Алексей Староверов расскажут про

Дообучение VLA с помощью обучения с подкреплением

В основе VLA (Vision-Language-Action) модели обычно лежит LLM/LVLM, которая дообучается на заранее собранных наборах данных с помощью обучения с учителем. Дальнейшее дообучение VLA в среде с помощью обучения с подкреплением представляет интерес, т.к. позволило бы повысить устойчивость модели к новым средам. На встрече обсудим, какие особенности имеют VLA при дообучении в среде с помощью RL и рассмотрим методы iRe-VLA и PA-RL, позволяющие повысить устойчивость обучения с подкреплением в среде для VLA

Статьи:
1. Improving Vision-Language-Action Model with Online Reinforcement Learning
2. Policy Agnostic RL: Offline RL and Online RL Fine-Tuning of Any Class and Backbone

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆Завтра (14 марта) в 16:00
Даниил Зелезецкий расскажет про

Применение техники дистилляции для эффективного трансфера знаний от трансформерных архитектур к более простым моделям

Обсудим подход Actor-Learner Distillation (ALD), позволяющий качественно обучать легковесные рекуррентные модели путём дистилляции знаний от больших трансформеров. Рассмотрим результативность этого метода на POMPD средах, а также обсудим практические преимущества этого подхода в задачах робототехники

Статьи:
1. Efficient Transformers in Reinforcement Learning Using Actor-Learner Distillation

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆Завтра (7 марта) в 16:00
Эллина Алёшина расскажет про

Attacks on LLM-controlled robots

Обсудим атаки на LLM-агентов, направленные на манипуляцию их поведением и побуждение к выполнению вредоносных физических действий. Рассмотрим, как слабые места в механизмах выравнивания моделей позволяют злоумышленникам изменять поведение LLM превращая их в потенциально опасные системы

Статьи:
1. BadRobot: Jailbreaking Embodied LLMs in the Physical World
2. Jailbreaking LLM-Controlled Robots
3. A Mechanistic Understanding of Alignment Algorithms: A Case Study on DPO and Toxicity
4. Stealth edits to large language models

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆Завтра (28 февраля) в 16:00
Анастасия Иванова расскажет про

Beyond probability: Dempster-Shafer theory for AI and uncertainty modeling

На встрече мы обсудим теорию Депмстера-Шафера (DST) как альтернативу классическим вероятностным методам для оценки неопределённости и принятии решений на его основе. DST позволяет явно моделировать неопределённость и неполное знание с помощью распределения «доверия» (belief functions). Мы рассмотрим в чём отличия DST от байесовского подхода и в каких задачах DST оказывается полезной для AI на примерах трёх статей:

1. PrefCLM: Enhancing Preference-based Reinforcement Learning with Crowdsourced Large Language Models
2. Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval
3. Calibrating LLMs with Information Theoretic Evidential Deep Learning

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!🔥

📆В эту пятницу (21 февраля) в 16:00
Егор Черепанов разберёт статью

Flow Q-Learning

Рассмотрим Flow Matching в контексте Offline RL Q-Learning, обсудим трудности, которые могут возникнуть при наивном применении Flow Matching, и предложенное решение этой проблемы с помощью техники one-step guidance. Этот подход включает обучение отдельных one-step стратегий с использованием RL и потоковой стратегии с BC, что позволяет избежать сложных проблем, связанных с guiding итеративных генеративных моделей, таких как recursive backpropagation

Статья:
1. Flow Q-Learning

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club

Всем привет!

Сегодня встречи не будет

Всем привет!🔥

📆Сегодня (7 февраля) в 16:00
Дарья Гиталова расскажет про

Возможности повышения надежности ответов LLM: анализ неопределенности и способы её уменьшения

Рассмотрим исследование LLM в контексте следования инструкциям, обсудим методы разложения неопределенности, включая Input Clarification Ensembling, позволяющий уточнять вводные данные для уменьшения эпистемической неопределенности. Также обсудим как Random Walk Laplacian и графовая структура при построение направленной логики вывода модели могут помочь в задачах количественной оценки её неопределенности

Статьи:
1. Do LLMs Estimate Uncertainty Well In Instruction-Following?
2. Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling
3. LLM Uncertainty Quantification through Directional Entailment Graph and Claim Level Response Augmentation

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club