И еще одно мероприятие

Ближайщие 7 дней будут плотные, это не последний анонс)

Друзья. Давно не виделись. Появился повод собраться и смоделировать угрозы на GenAI...😌

Приглашаю вас на воркшоп на PHDays 2025, 24 мая в 14:00.

Моделирование угроз для искуственного интеллекта.

С развитием генеративных моделей и ИИ, как мы с вами поняли из множества постов на канале - возрастает не только их функциональность, но и сложность🤠 потенциальных угроз.
ИИ-системы взаимодействуют с пользователями, принимают входные данные в виде запросов, адаптируются под контекст, а сейчас могут исследовать большое количество статьей, автоматически писать и запускать код, и быть полуавтономными.👻

В этом воркшопе участники погрузятся в практические подходы к моделированию угроз для генеративного ИИ, с особым вниманием к моделированию угроз для агентов — будь то пользователи, злоумышленники, внутренние сотрудники или сама модель в качестве активного элемента системы. Мы рассмотрим жизненный цикл генеративного ИИ — от сбора данных до эксплуатации — и исследуем типичные угрозы на каждом этапе.😮

Что от вас нужно ?🌿

Билет на PHDays

Регистрация на сайте мероприятия. Спешите, колличество мест ограничено.

https://phdays.com/ru/activities/?type=7&activity-id=115

Ноутбуки. Нужно будет ставить инструменты. Это будет воркшоп с практикой. Будем смотреть агентные системы. Материала по этой теме не так уж и много, а в рамках воркшопа заинтересованные могут не только познакомиться с инструментами, но и получить дозу позитивного живого общения, обмена опытом.

Вебинар «AI в Кибербезе & Кибербез в AI»

Ссылка: https://cisoclub.ru/ai-v-kiberbeze-amp-kiberbez-v-ai-naskolko-gluboko-ii-pronik-v-nas-ostavajas-pri-jetom-ujazvimoj-sistemoj/

В эту пятницу, 16.05.2025, в 11:00 по Москве, пройдет вебинар про #ml_для_иб и #иб_для_ml. На нем в двух соответствующих блоках обсудим эту тему со Николаем Арефьевым, Львом Палеем (@WMXWAS, #ПоИБэшечка), Анной Олейниковой и Алексеем Пешиком.

AI в ИБ
Сначала пройдемся по способам применения AI в SOC, прям в разбивке на жизненный цикл инцидента. Будем сопровождать разговор примерами из TI и не только. Поговорим о данных в кибербезе, какими они могут быть и как их собирать. Эти разные грани одной и того же технологического аспекта плавно и незаметно подведут нас к деталям применения LLM, устройства RAG и даже AI-агентов.

ИБ в AI
После чего перейдем к обратной стороне медали - безопасности столь многообещающих технологий. Компрометация ответа модели, утечка данных через модель, и специфичные агентские атаки - об этом расскажу я во втором блоке. И кроме самой сути угроз, не оставим без внимания и меры обеспечения безопасности AI-систем в SOC. Конечно же, не упуская из виду системность обсуждения.

Почему стоит участвовать?
Потому что тема очень передовая, развивается динамично и в ней много неисследованного. А еще потому что все мы практики в своей области, и недоверенные гадания на той или иной гуще производить не собираемся)
Приходите, будет возможность не только слушать, но и задавать вопросы.

AI в Кибербезе & Кибербез в AI. Насколько глубоко ИИ проник в нас, оставаясь при этом уязвимой системой?

В эту пятницу, 16.05.2025, в 11:00 по Москве, пройдет вебинар про #ml_для_иб и #иб_для_ml. На нем в двух соответствующих блоках обсудим эту тему со Николаем Арефьевым, Львом Палеем (@WMXWAS, #ПоИБэшечка), Анной Олейниковой и Алексеем Пешиком.

Ссылка: https://cisoclub.ru/ai-v-kiberbeze-amp-kiberbez-v-ai-naskolko-gluboko-ii-pronik-v-nas-ostavajas-pri-jetom-ujazvimoj-sistemoj/

AI в ИБ
Сначала пройдемся по способам применения AI в SOC, прям в разбивке на жизненный цикл инцидента. Будем сопровождать разговор примерами из TI и не только. Поговорим о данных в кибербезе, какими они могут быть и как их собирать. Эти разные грани одной и того же технологического аспекта плавно и незаметно подведут нас к деталям применения LLM, устройства RAG и даже AI-агентов.

ИБ в AI
После чего перейдем к обратной стороне медали - безопасности столь многообещающих технологий. Компрометация ответа модели, утечка данных через модель, и специфичные агентские атаки - об этом расскажу я во втором блоке. И кроме самой сути угроз, не оставим без внимания и меры обеспечения безопасности AI-систем в SOC. Конечно же, не упуская из виду системность обсуждения.

Почему стоит участвовать?
Потому что тема очень передовая, развивается динамично и в ней много неисследованного. А еще потому что все мы практики в своей области, и недоверенные гадания на той или иной гуще производить не собираемся)
Приходите, будет возможность не только слушать, но и задавать вопросы.

Поздравляю всех с Праздником Победы

Навсегда в наших сердцах подвиг наших предков, самоотверженность и воля защищать Отечество

Первая российская модель угроз AI
#иб_для_ml

У Сбера вышла модель угроз кибербезопасности AI на всех этапах жизненного цикла - от сбора данных до эксплуатации. По сути, первый фреймворк, аналогичный DASF, NIST AI RMF, и прочим, но российский. Это круто. И в конце приведено, что модель учитывает все актуальные материалы OWASP, MITRE, NIST и др.
Главное, чем мне нравится документ - своей структурой и полнотой.

Что в ней есть?
Перечень из 70 различных угроз, разбитых на 5 групп:
— Угрозы, связанные с данными
— Угрозы, связанные с инфраструктурой
— Угрозы, связанные с моделью
— Угрозы, связанные с приложениями
— Угрозы, связанные с AI-агентами
У каждой угрозы прописаны пояснение, последствие реализации, объект, на который нарушитель воздействует для реализации угрозы, виды моделей, подверженных угрозе (PredAI, то есть узкие ml-модели, и GenAI), а также лица, ответственные за митигацию угрозы. Последний пункт, думаю, является наиболее интересным с прикладной точки зрения. И еще нарушаемое свойство информации, но оно больше для базового понимания угрозы. Правда, примечательно, что для угроз галлюцинаций (M03) и вредоносных генераций (App12) используется четвертое свойство безопасности - достоверность.
Нет конкретных мер безопасности моделей, но, возможно, это не так страшно.

Как пользоваться моделью?
Первое, на что падает в документе взгляд - схема объектов защиты. Рассмотрен цикл разработки модели машинного обучения. При построении частной модели угроз для своей системы на этой схеме можно очертить поверхность атаки, оставив на ней только актуальные информационные объекты.
Далее - выписываем угрозы, разбитые по идентификаторам. Какие-то можно отсеять, если тот или иной объект защиты (то есть информация) не является слишком ценной.
После чего - можно перейти к поручению разработать меры защиты для ответственных за противодействие выписанным угрозам. Да, напрямую мер и требований нет, но можно предположить, что для каждой отдельной организации они будут свои. И мне очень нравится решение в качестве общего для всех знаменателя выделить именно ответственных за эти меры.
При этом не всегда эта мера, что будет следовать из названия владельца митигации, находится на том же этапе ЖЦ, что и угроза. Например, подавляющее большинство угроз для модели или AI-агентам относятся к эксплуатации. Но за противодействие ответственен разработчик модели, и я думаю, тут имеется в виду проведение состязательного дообучения и т. п.

AI-агенты
Что меня отдельно приятно порадовало - затронута безопасность AI-агентов. При чем на глубоком уровне - проработаны угрозы из-за исполнения действий, из-за мультиагентности, и угрозы для системы, которая эксплуатирует AI-агентов. Например, довольно необычный вектор атаки описывает угроза Ag05, при котором агент может использовать свои инструменты получения информации из интернета, чтобы загрузить вредоносное ПО. Есть даже упоминание каскадных атак в мультиагентных системах, для усиления какой-то исходной атаки-пэйлоада.

Итоговое впечатление
Документ большой. Но, благодаря большому охвату угроз и глубине их проработки, он является хорошим фундаментом для построения частной модели и угроз и, в итоге, системы безопасности для ИИ-моделей. Даже несмотря на то, что рекомендаций по конкретным мерам и инструментам в документе нет.
Возможно, какие-то отдельные моменты не учтены, например, атаки на память агентов, а возможно, их отнесли в другие угрозы, но главное - покрыли.