Сегодня мы рассказываем о системе мониторинга моделей ИИ HiveTrace на R-EVOlution Conf в Москве 💪

🛡 Что не так с безопасностью LLM?

Узнаем на ➡️ Reading Club #14
вместе с инженерами AI Security Lab!

23 апреля в 18:30 МСК 📄

Поговорим о том, насколько уязвимы языковые модели и как именно их защиту удаётся обойти — даже если это GPT-4. Присоединяйся!

Что разберём:

⭐️ Universal and Transferable Adversarial Attacks on Aligned Language Models — автоматическая генерация суффиксов, которые заставляют LLM нарушать встроенные ограничения.
Эксперт: Никита Беляевский — инженер Raft Security, участник AI Security Lab

⭐️ AutoDAN-Turbo: A Lifelong Agent for Strategy Self-Exploration to Jailbreak LLMs [статья будет представлена на ICLR 2025] — автономный агент, который сам обучается джейлбрейкам и улучшает стратегии обхода.
Эксперт: Тимур Низамов — инженер Raft Security, магистрант AI Talent Hub

✔️ ЗАРЕГИСТРИРОВАТЬСЯ

#ReadingClub — держим в курсе AI-уязвимостей и научных прорывов ✔️

#AITalentHub #ITMO #NapoleonIT

Lakera выпустила отчет за 2024 год о готовности разработчиков приложений с ИИ к обеспечению безопасности 🧑‍🎓

Интересные инсайты:

1⃣ Почти 90% организаций внедряют или исследуют GenAI, но только 5% уверены в своих мерах безопасности.

2⃣ Более 200 000 человек успешно прошли все уровни хакерской игры Gandalf, которая моделирует атаки на LLM. Это показало, насколько легко эксплуатируются уязвимости GenAI, несмотря на встроенные защитные механизмы.

3⃣ 58% организаций не принимают меры по безопасности ИИ, лишь 12% имеют выделенные команды.

4⃣ 91% организаций не сообщили об уязвимостях в своих GenAI-системах за последний год. Вероятнее всего, это говорит об отсутствии инструментов мониторинга и понимания угроз.

5⃣ Эксперты рекомендуют проводить AI Red Teaming не на этапе развертывания, а от ранних стадий разработки и выбора модели до этапа взаимодействия с пользователями. Иначе критические уязвимости могут остаться незамеченными — и быть использованы до внедрения защит.

Таким образом, разработчики приложений ИИ нуждаются в мониторинге и тестировании на протяжении всего жизненного цикла. Этими проблемами мы и занимаемся в @aisecuritylab

Тимур Низамов передает привет и приглашает на Merge в Иннополисе 25-26 апреля!

Чат-боты с генеративным ИИ — удобный инструмент. Но насколько они безопасны?

На Merge Тимур Низамов, инженер-исследователь в Raft Digital Solutions, расскажет, как хакеры могут взломать ваш чат-бот и что с этим делать.

В докладе:
🔹 Популярные уязвимости систем на базе LLM
🔹 Методы их выявления: PAIR, Crescendo, BoN, suffix
🔹 Open-source инструменты для автоматизации тестирования

Тимур также является автором LLAMATOR — Open-source фреймворка тестирования безопасности LLM.

Приходите, чтобы узнать, как защитить свой AI-сервис до того, как им воспользуются злоумышленники!

📅 25–26 апреля | Иннополис

🎟 Купить билет
🔗 Программа

Сейчас в Казани проходит Российский венчурный форум. Больше сотни разных стартапов презентуют свои наработки и привлекают инвестиции. На первый взгляд, около трети проектов так или иначе либо используют genAI, либо делают решения на LLM.

Мы с hivetrace.ru тоже участвуем — приходите на стенд E02 познакомиться, если вы на площадке.

Вчера на вебинаре AI Security Lab обсудили угрозы безопасности AI-приложений, подходы к тестированию и мониторингу GenAI 📈

Запись уже на YouTube: https://youtu.be/59nQI29wT3A

А презентация в комментариях 👇

Система мониторинга GenAI HiveTrace от AI Security Lab прошла в финал Venture Games на полях Российского венчурного форума в Казани 10-11 апреля ⚡️

🥁Барабанная дробь: встречайте следующих участников Venture Games в рамках РВФ

По результатам предыдущих двух онлайн-отборов на Venture Games едут:
➖GOSTИ, Тян Роман
➖Dental Synthesis, Дюрягин Василий
➖Ля Водоросля, Мордвинцев Дмитрий
➖SeatsFlow, Тузов Илья
➖Selvery, Пометун Андрей
➖HiveTrace, Кокуйкин Евгений
➖Med.me, Наследников Александр
➖Memo, Протопопова Мария
➖GREEN PILOT, Миронов Матвей
➖Фабрика Напитков, Сунагатуллин Эмиль

💥 Результаты предыдущих онлайн-отборов можно посмотреть тут

Регистрируйся на новый Reading Club!

🔘 9 апреля в 18:30 МСК

Обсудим сразу ➡️2️⃣ свежих исследования о том, как языковые модели справляются с документами со сложной структурой и как диффузионные модели могут переосмыслить принципы текстовой генерации.

Что разберём:

�� Problem Solved? Information Extraction Design Space for Layout-Rich Documents using LLMs — как эффективно применять LLM для извлечения информации из layout-rich документов (презентаций, форм, таблиц).
Эксперт: Милена Фейгинова — Senior AI Product Manager в InDrive, магистрантка AI Talent Hub

📄 Large Language Diffusion Models — новая диффузионная языковая модель, которая обучается с нуля и предлагает альтернативу традиционной авторегрессии.
Эксперт: Алина Бурыкина — NLP-инженер в MadDevs, магистрантка AI Talent Hub

🔗 ЗАРЕГИСТРИРОВАТЬСЯ

#ReadingClub — держим в курсе научных прорывов 💡

#AITalentHub #ITMO #NapoleonIT

В AI Talent Hub ИТМО стартовал курс "Безопасность ИИ" от нашей лаборатории 📟

В течение семестра студенты пытаются взломать и защитить AI-системы. Участник курса Алексей Кушнир поделился своим опытом взлома LLM-агентов на одной из арен.

Его интересные находки уже на Хабре: https://habr.com/ru/articles/895818/

Как измеряются детекторы и происходит отбор лучших решений 📊

Мы продолжаем рассматривать Robustness Test и сегодня поговорим о метриках. Для оценки качества работы моделей мы замеряем accuracy для каждого класса запросов: безопасных и вредоносных. Такой подход позволяет определить, насколько хорошо модель справляется с разными типами сценариев, и выявить, в каких случаях у нее возникают сложности.

Дополнительно мы отслеживаем количество ложных срабатываний, чтобы понимать, насколько модель склонна блокировать безобидные запросы (false positive) или, наоборот, пропускать вредоносные (false negative).

Модели можно разделить на скептические, когда много ложных срабатываний, и лояльные – частый пропуск опасных запросов. Выбор оптимального подхода зависит от приоритетов бизнеса: что важнее — свести к минимуму риск пропустить опасный запрос или постараться не блокировать обычные.

С помощью Robustness Test и политик системы мониторинга HiveTrace.ru удалось протестировать различные baseline-детекторы на базе генеративного ИИ 👇

Пришло время делиться знаниями👍

Эксперты из Raft расскажут о локальных LLM, этике в DevOps, создании чат-ботов и безопасности ИИ-решений. Ловите расписание конференций и готовьте вопросы!

📍DevOps Conf 2025 (Москва, 7–8 апреля)
👍Никита Венедиктов, Team Lead Research NLP
Внедрение больших языковых моделей локально: практический путь к высокой производительности и стабильности
👍София Филиппова, Backend&AI SDE
Код и совесть: этические риски применения LLM в DevOps, как их избежать и на что обращать внимание
👍Никита Грибанов, Data Scientist
Воркшоп «Чат-бот как панацея от канцелярских ответов DevOps»

📍Стачка (Ульяновск, 18–19 апреля)
👍Ирина Николаева, Chief Data Science
Локальные LLM: как с легкостью применять большие языковые модели в ежедневных задачах

📍Merge Conf (Иннополис, 25–26 апреля)
👍Тимур Низамов, AI Red Team Engineer
Предупреждён — вооружён: как хакеры могут взломать ваш чат-бот

📍Saint HighLoad++ 2025 (Санкт-Петербург, 23–24 июня)
👍Никита Беляевский, AI Red Team Engineer
Обход защиты LLM при помощи состязательных суффиксов


P.S. Если вы тоже планируете быть на конференциях — дайте знать, встретимся!

Почему полученная картина полная и заслуживает доверия 🤔

Мы продолжаем тему Robustness Test и хотим подчеркнуть важность учёта бизнес-специфики при оценке качества модели. У каждой компании своя логика диалога и собственные сценарии использования, поэтому мы применяем мультидоменный подход: тестируем модель на широком спектре данных из различных бизнес-доменов и типовых пользовательских сценариев.

Для проверки устойчивости мы аугментируем данные, подвергая различным изменениям:
📍 Перефразирование синонимами
📍 Изменение регистра
📍 Добавление случайных символов
📍 Имитация типичных ошибок пользователей
📍 Транслитерация
📍 Применение неправильной раскладки клавиатуры
И это не шутки! 😁

Однако новые типы угроз появляются постоянно, поэтому мы регулярно обновляем наш датасет, учитывая последние тенденции.

При внедрении ИИ и агентов проблеме безопасности уделяется мало внимания, к тому же нет общепринятого пайплайна оценки детекции угроз. Наша команда разработала собственный Robustness Test, про который расскажем в следующей серии постов.

Сбор данных для оценки безопасности AI-систем 💾

Начнем с самого ценного – данных. Мы их собираем в 3 ключевых этапа:

1️⃣ Открытые датасеты: мы опираемся на проверенные источники, такие как StrongReject и Lakera для получения примеров реальных атак, и доменные датасеты, которые позволяют покрыть специфику различных бизнес-полей.

2️⃣ Ручной сбор сценариев атак и безопасных запросов: мы дополняем датасеты, проводя red teaming и моделируя сценарии безопасных диалогов, которые охватывают как конкретные бизнес-домены, так и обычные запросы пользователей.

3️⃣ Синтетические данные: для расширения сценариев, мы используем генерацию новых атакующих и безопасных сценариев. По опыту GPT-4.5 показала лучшие результаты в создании новых реалистичных запросов.

Такой комплексный подход помогает собрать качественные данные и покрыть максимальный спектр возможных угроз.

❓ Делимся интересным проектом из программы Startup.Конвейера

Каждые две недели мы в банке проводим Startup.Конвейер, где в формате питчей стартапы презентуют свои решения представителям бизнес-юнитов ВТБ. Мы познакомили коллег с более чем 130 классными проектами, а также запустили пилоты с лучшими из них.

🚀 HiveTrace — решение для защиты генеративных ИИ-систем от актуальных репутационных и киберрисков.

➡️ Что умеет?
🔹 анализировать сообщения и непрерывно выявлять аномалии и ошибки в пользовательских взаимодействиях с LLM
🔹 определять и предотвращать промпт-атаки
🔹 блокировать до 90% токсичного контента
🔹 защищать RAG-приложения (Retrieval Augmented Generation) от утечек данных

Для кого?
🔹 небольшие ИИ-системы
🔹 корпоративная инфраструктура

🎯 Хотите представить свой проект? Расскажите о нём здесь.

О нашей системе мониторинга рассказал Акселератор ВТБ 🔥

На следующей неделе расскажем, какие подходы мы применяем для оценки пайплайна выявления угроз

📢 OWASP LLM TOP 10: главные риски ИИ-приложений

Топ-10 для приложений LLM 2025 отражает лучшее понимание существующих рисков и вносит важные обновления в то, как LLM используются в реальных приложениях сегодня.

Мы подготовили краткую адаптацию свежего списка OWASP LLM TOP 10 2025 на русском языке в виде статьи на Хабре, чтобы выделить главное.

Вышел официальный перевод OWASP Top 10 для LLM и генеративного ИИ 2025 на русский язык. Отдельное спасибо за проделанную работу: Анне Тищенко, Богдану Минко, Тимуру Низамову, Александру Буянтуеву!

Просьба к читателям: мы переводили названия разделов, ориентируясь на свой вкус. Если вы хотите предложить более удачные варианты, не стесняйтесь написать нам. Мы рассмотрим ваши предложения и предложим апдейт.

Внедряете решения с искусственным интеллектом в своём контуре? Или только собираетесь использовать ИИ в бизнес-процессах?

✅ Как хакерам удалось обмануть AI-агента на $50’000 и какие уязвимости есть у LLM-приложений
✅ Лучшие практики тестирования безопасности AI-систем, проверка чат-ботов на русском языке с помощью open-source инструмента Llamator
✅ Мониторинг AI-приложений: как HiveTrace обнаруживает атаки и генерацию токсичного контента

Расскажем и покажем на вебинаре Raft Security 8 апреля в 11:00, присоединяйтесь: https://aisecuritylab.timepad.ru/event/3267997/

Новый #ПроектНедели, разработанный в рамках совместной лаборатории AI Talent Hub х Raft — AI Security Lab 🪙

Hivertrace — это платформа для непрерывного мониторинга безопасности AI-систем.

▶️ Выявляет аномалии и ошибки в пользовательских взаимодействиях с LLM;
 
▶️ Выявляет атаки, нацеленные на изменение поведения модели, кражу чувствительной информации и системных инструкций;

▶️ Осуществляет очистку сообщений от персональных данных — и не только!

Подробнее о функционале и фичах проекта читай в карточках.

Попробовать HiveTrace:
➡️ Лендинг
➡️ Демо

✈️ Cледить за обновлениями: @aisecuritylab

🎤 Богдан Минко, ML Engineer HiveTrace 🔽

#ПроектНедели
#AITalentHub #ITMO #NapoleonIT

У нас часто спрашивают, удавалось ли кому-то взломать ИИ с целью наживы? Отвечаем: да, и этой историей на $50000 заинтересовался Илон Маск!

Смог ли LLAMATOR повторить взлом AI-агента, читайте на Хабре: https://habr.com/ru/companies/raft/articles/885048/

English on Medium: https://medium.com/@nizamovtimur/690d8326069d

Вышел новый гайд Agentic AI – Threats and Mitigations Guide (v1.0). Это первая попытка в рамках OWASP перечислить и ранжировать угрозы для AI-агентов. Здесь нет упора на научный AI Safety, документ скорее ориентирован на ИБ-специалистов и разработчиков, как и другие гайды OWASP. Он получился объёмным, с пересечениями с классическими практиками ИБ, местами сыроват — но решили не затягивать релиз в стремительно меняющейся среде.

Сейчас в рабочей группе собираем обратную связь от сообщества, чтобы проработать её в версии 1.1 (запланирована на весну). Фидбек уже дали коллеги из NIST, Mitre, Robust Intelligence и др. Если вы занимаетесь безопасностью и у вас в проде на подходе чейны ИИ-агентов, пишите в комментах или в личку — можем устроить разбор и вместе посмотреть на уязвимости и атаки на агентные системы.

Представляем новый проект недели, разработанный талантами в рамках AI Security Lab – совместной AI-лаборатории с компанией Raft.

🧑‍�� LLAMATOR – фреймворк, который выявляет уязвимости чат-ботов с точностью до 95%

В отличие от других решений, LLAMATOR не просто проверяет устойчивость к атакам единичными запросами, а ведет автоматизированные диалоги, подбирая и улучшая атакующую стратегию на основе ответов системы.

▶️ Freemium-модель:
исходный код➡️открыт,
а команда разработчиков
– Тимур, Никита и Роман,
могут провести комплексный аудит
безопасности AI-систем по запросу

▶️ Интеграция
с Web, REST API, Telegram, WhatsApp
и другими платформами

▶️ Точность выявления
галлюцинаций — до 85%
неэтичных ответов — до 95%

Как это работает и какие сложности пришлось преодолеть LLAMATOR’ам — читай в карточках!

�� Читать статью на С-News
✈️ Cледить за AI Security Lab

👤 На связи — Тимур Низамов 🔽
один из разработчиков атак LLAMATOR

#ПроектНедели
#AITalentHub #ITMO #NapoleonIT

DeepSeek'у на заметку: OWASP опубликовал Best Practices защиты GenAI-приложений и данных 🔐

Авторы, среди которых руководитель AI Security Lab Евгений Кокуйкин, собрали в одном месте рекомендации, как:
✅ Защитить чувствительную информацию
✅ Обеспечить целостность и надёжность данных
✅ Внедрить надёжные меры безопасности

В гайде рассказывается о новых вызовах перед классическим инфобезом из-за внедрения ИИ, обозреваются риски безопасности данных, разработки и развёртывания GenAI-приложений. Авторы устанавливают ключевые принципы безопасности GenAI-систем: минимизация и очистка данных, установка целесообразных ограничений, настройка уровней доступа и приватности, проверка и мониторинг входных и выходных данных, постоянное отслеживание инцидентов и проведение аудитов, четкое следование регуляторным и этическим нормам. Упоминаются мультиагентные системы, будущие тренды и вызовы AI Security.

В конце авторы призывают пролетариев экспертов всех стран соединяться и работать над безопасностью данных и моделей искусственного интеллекта.

В продолжение темы защиты LLM приглашаем всех на Reading Club AI Talent Hub 👇

Как защитить LLM от джейлбрейков?
Разберём свежее исследование Anthropic на Reading Club #9 с Владой Пухкало!

Поговорим о Constitutional Classifiers – методе, который усиливает защиту моделей, фильтруя не только ответы, но и сами запросы. Разработчики протестировали его на реальных атаках, и результаты впечатляют:

➡️Без ручной разметки
система обучается на синтетических данных, сгенерированных по языковым правилам.

➡️Фильтрация на входе
блокировка вредоносных запросов ещё до их обработки моделью.

➡️Жёсткое тестирование
405 участников пытались обойти защиту на хакатоне с призами до $15,000.

➡️Минимум ложных срабатываний [≤0.5%]
модель защищена, но не становится «пугливой».

💙 Эксперт: Влада Пухкало
– фаундер Data Secrets, главный редактор Telegram-канала @data_secrets, магистрант второго курса AI Talent Hub.

📄 Статья: Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming

▶️Когда: 12 февраля в 18:30

🔗 ЗАРЕГИСТРИРОВАТЬСЯ

Приходи – разберём новый рисёрч!

#ReadingClub #AITalentHub #ITMO #DataSecrets

Не прошло и одной недели, как вышел LLAMATOR 2.2.0 с адверсарными суффиксами, а вместе с ним и продолжение статьи о безопасности RAG-систем 🔥

Как защитить чат-бот от промпт-инъекций? Какие техники рекомендуют эксперты? Читайте на Хабре 👈

А какие вы используете методы защиты genAI-приложений?

Сегодня вышел релиз LLAMATOR 2.1.0 с двумя новыми атаками на LLM-системы: BON и Crescendo — и улучшением имеющихся.

Кстати, мы уже успели попробовать новую версию для проверки безопасности чат-ботов с DeepSeek и Mixtral. Кто победил, читайте на Хабре 🦾