Сегодня стартовала двухдневная конференция ВОИС про интеллектуальную собственность и передовые технологии

23–24 апреля 2025 года в Женеве проходит одиннадцатая сессия ВОИС — WIPO Conversation on Intellectual Property and Frontier Technologies.

Обсуждаются все наши с вами любимые вопросы: исключения TDM (text and data mining), машиночитаемые opt-out, лицензирование, маркировка, AI Act и многое другое.

Кстати, недавно профессор Цянь Ван из Восточно-Китайского университета политических наук и права представил в своем докладе обзор текущего ландшафта регулирования в сфере ИС и ИИ. Доклад завершился игрой слов, которая запала мне в душу (это не точная цитата, а скорее её агрегированный смысл):

Найти единственно верное решение по исключениям TDM, которое одновременно устроило бы и авторов, и разработчиков ИИ, практически невозможно. Вопрос упирается в выбор направления: copyright или copyleft (на слайде в этот момент была фотография дорожной развилки).

Трансляция мероприятия — по ссылке
Программа — здесь

Кто виноват, когда система ИИ ошибается, и что с этим делать?

В блоге Нетологии на Хабре вышла небольшая статья про ответственность за вред, причинённый системами ИИ, для которой я дал комментарий 🤢.

Внутри — о том, кто виноват, если при функционировании системы ИИ был причинён вред, каким образом ответственность распределяется внутри цепочки поставок, а также как можно снизить риски некачественной работы ИИ-систем с технической стороны.

Ознакомиться можно по ссылке.

ИИ-ответственность внутри цепочки поставок систем ИИ: разбираем отчет Mozilla

Друзья, на прошлой неделе меня немного засосала работа, но вот я наконец-то выбрался к вам💻. Да и повод выдался более чем достойный: в начале месяца вышел классный отчёт от компании Mozilla — AI Liability Along the Value Chain.

Разберем основные идеи:

Авторы предлагают свою концепцию сочетания виновной и строгой ответственности:

По общему правилу на всех субъектов, вовлечённых в цепочку поставок систем ИИ, предлагается распространять правила о виновной ответственности. При этом в ряде случаев, если в отношения вовлечены сразу несколько субъектов (разные поставщики, эксплуатанты и поставщики компонентов), могут применяться правила солидарной ответственности — хотя авторы подчёркивают, что это зависит от конкретных обстоятельств.

Однако из этого правила предлагается несколько исключений:

Продуктовая ответственность — для поставщиков потребительских ИИ-продуктов, ориентированных на широкое использование непрофессиональной аудиторией. По сути, то, что уже реализовано в обновлённой PLD (про то, что это такое, писал тут).

Квази-строгая ответственность — для крупных участников рынка, обладающих значительным контролем над технологическими цепочками и влиянием на экономику. Это позволяет им воздействовать на других коммерческих субъектов внутри цепочки поставок систем ИИ. Авторы фактически предлагают ввести для них продуктовую ответственность, распространяющуюся даже за пределы классического деликтного права.

Строгая ответственность — для поставщиков ИИ-систем в наиболее опасных сферах, таких как критическая инфраструктура, безопасность, оборона.

Также авторы затрагивают сферу договорных отношений, особенно актуальную, когда правовое регулирование ещё находится в стадии разработки. В частности, отмечается: в B2B-сфере компании менее склонны уходить от ответственности, чем в B2C. Содержание договоров и политик, с одной стороны, напрямую влияет на исход судебных споров, а с другой — может быть оспорено, если противоречит закону или публичному порядку.

Кто-то ещё пользуется браузером Mozilla? У меня, например, он был до перехода год назад на Arc.

Опубликован отчёт AI Index Report за 2025 год от Stanford HAI

Друзья, принёс вам интересное чтиво на ночь. Сегодня вышел очередной отчёт AI Index Report от Stanford HAI (год пролетел незаметно). Отчёт получился гигантский, но нас традиционно интересует глава 6: Policy and Governance.

В этом году, в соответствии с политическим трендом, Россия вновь появилась в индексе — причём сразу на ведущих позициях по числу принятых законов в сфере ИИ за 2024 год. Качество этих инициатив, к сожалению, в индексе не оценивается (но мы с вами их оценили 🐱).

Пробежимся по основным выводам:

Во всем мире увеличивается количество упоминаний ИИ в законодательной повестке. В 2024 году в 75 ключевых странах упоминания ИИ в парламентских и законодательных обсуждениях выросли на 21,3 %, увеличившись с 1 557 в 2023 году до 1 889. С 2016 года общее количество таких упоминаний выросло более чем в девять раз.

Расширяется сеть международных институтов безопасности в сфере ИИ. Первые из них появились в ноябре 2023 года в США и Великобритании. Аналогичные или схожие организации в 2024 году были созданы в Японии, Франции, Германии, Италии, Сингапуре, Южной Корее, Австралии, Канаде и на уровне Европейского союза.

Штаты США становятся лидерами в законодательном регулировании ИИ на фоне медленного прогресса на федеральном уровне. В 2016 году был принят всего один закон на уровне штатов, касающийся ИИ; к 2023 году их количество выросло до 49. Только за последний год это число более чем удвоилось, достигнув 131. Хотя количество законопроектов об ИИ на федеральном уровне также увеличилось, фактически принятых актов остаётся немного.

Количество федеральных нормативных актов США, связанных с ИИ, стремительно растёт. В 2024 году было принято 59 нормативных актов по вопросам ИИ — более чем вдвое больше по сравнению с 25 в 2023 году. Эти акты исходили от 42 различных федеральных агентств, что также вдвое больше по сравнению с 21 агентством в предыдущем году.

Штаты США ужесточают регулирование дипфейков. До 2024 года только пять штатов — Калифорния, Мичиган, Вашингтон, Техас и Миннесота — приняли законы, регулирующие использование дипфейков в контексте выборов. В 2024 году аналогичные меры приняли ещё 15 штатов, включая Орегон, Нью-Мексико и Нью-Йорк. В целом к 2024 году регулирование дипфейков ввели уже 24 штата.

Правительства по всему миру инвестируют в инфраструктуру для развития ИИ. Канада объявила о пакете инвестиций в инфраструктуру ИИ на сумму 2,4 миллиарда долларов. Китай запустил фонд в размере 47,5 миллиарда долларов для стимулирования производства полупроводников. Франция выделила на развитие ИИ-инфраструктуры 109 миллиардов евро, Индия — 1,25 миллиарда долларов, а инициатива Project Transcendence в Саудовской Аравии предполагает инвестиции в объёме 100 миллиардов долларов.

CyberLaw School запускает курс по регулированию ИИ. Мои лекции там тоже будут — приходите послушать

Друзья, CyberLaw School запускает новый курс по регулированию ИИ. На нём можно будет узнать как об основах нормативного правового регулирования в этой сфере и его ключевых проблемах, так и о том, как системы ИИ безопасно использовать в деятельности юриста.

В рамках курса я расскажу про регулирование ИИ в России, ответственность за вред, причинённый ИИ, а также про управление данными и интеллектуальной собственностью.

Записаться на курс и узнать все подробности можно по ссылке.

Заметил, что скриншоты о содержании AIME не приложились — отправляю в догонку 🤩

В Великобритании разрабатывают опросник AI Management Essentials (AIME)

Британский Department for Science, Innovation and Technology (DSIT) в декабре выпустил опросник, который призван помочь малому и среднему бизнесу самостоятельно оценить зрелость своих систем менеджмента ИИ.

Опросник основан на ключевых положениях таких документов, как EU AI Act, стандарт ISO/IEC 42001 и NIST AI Risk Management Framework. Предполагается, что инструмент позволит организациям идентифицировать пробелы в существующих практиках и получить рекомендации по их устранению.

В настоящее время AIME проходит стадию публичного обсуждения. После завершения консультаций планируется публикация обновлённой версии с учётом собранных комментариев.

В Китае опубликованы «Меры по маркировке контента, созданного или синтезированного искусственным интеллектом». Китай тут идет в ногу с ЕС, поэтому интересно наблюдать, где их дорожки сходятся.

Основная задача создать фреймворк для регулирования маркировки генераций, направленный в первую очередь на всех интернет-услуг (платформы, приложения), предлагающих контент, созданный или измененный с помощью ИИ.

Предлагается использовать два типа маркировки: явную и скрытую.

1. Явная маркировка: видимые маркеры (текст, символы, графические элементы) в контенте или встроенные в интерфейс.

2. Скрытая маркировка: технические маркеры (метаданные, цифровые водяные знаки), встроенные в данные файла и несчитываемые пользователями.

Документ описывает каким образом должна выглядеть маркировка для разных видов контента, например: текст должен содержать маркеры в начале, конце или середине текста, либо встроены в интерфейс; а статичные изображения и видео должны содержать маркеры на ключевых кадрах или в интерфейсах воспроизведения. Скрытая маркировка должна включать атрибуты контента, название/идентификатор поставщика, ID контента.

Очень важно, что провайдеры сервиса должен обеспечить маркировку таким образом, чтобы она сохранялась в скачанных или скопированных файлах.

Также возлагаются обязанности на платформы, распространяющие контент (соцсети и прочие информационные посредники): они должны проверять метаданные на наличие скрытой маркировки. Если контент помечен как ИИ, обязательно сопровождение материала видимым предупреждением.

Если же скрытых меток нет, но пользователь при загрузке заявляет об ИИ, интерфейс платформы должен посетить такой контент, как «вероятно создан ИИ».

Если скрытых меток нет, но сервисы платформы обнаружили использование ИИ, то предлагают маркировать такой материал фразой «подозревается создание ИИ».

Магазины приложений будут обязаны требовать раскрытия использования ИИ сервисов в приложении, а также проверять соответствие маркировки у поставщиков ИИ сервисов.

Из интересных предложений: если пользователи ИИ сервисов запрашивают контент без меток, они должны подтвердить свою ответственность, а провайдеры сервисов обязаны хранить логи не менее 6 месяцев.

Пользователи обязаны маркировать ИИ контент при публикации: удаление, изменение, подделка или сокрытие меток запрещены, равно как и предоставление инструментов для обхода маркировки.

Меры по маркировке вступают в силу 1 сентября 2025.

Начался вебинар о будущем развитии законодательства ЕС об ответственности за вред, причиненный системами ИИ

Друзья, только что начался прямой эфир вебинара, на котором обсуждаются вопросы, связанные с будущим развитием законодательства ЕС об ответственности за вред, причиненный системами ИИ. Прежде всего, обсуждение касается особенностей применения Регламента ЕС об ИИ, а также множества вопросов, связанных с отказом от разработки Директивы об ответственности в сфере ИИ (AI Liability Directive, AILD) и дальнейшей гармонизацией подходов государств-членов.

Трансляцию и запись можно посмотреть здесь.

Спикеры:

Philipp Hacker – Professor of Law and Ethics of the Digital Society, European University Viadrina

Shu Li – Assistant Professor in Law and AI, Erasmus School of Law, Erasmus University Rotterdam

Beatrice Schütte – Postdoctoral Researcher, University of Helsinki and University of Lapland

Miriam Buiten – Professor of Law and Economics, University of St. Gallen

Mindy Duffourc – Assistant Professor of Private Law, Maastricht University

Jan De Bruyne – Professor of IT Law, KU Leuven, Head of KU Centre for IT & IP Law

Martin Ebers – Professor of IT Law, Tartu University, President of RAILS

Изучаем статистику и юзкейсы по использованию систем ИИ в России

Друзья, сегодня информация, которая не связана непосредственно с регулированием, но тоже на него влияет. На днях я наткнулся на документ, подготовленный Национальным центром развития искусственного интеллекта при Правительстве РФ (НЦРИИ) по итогам 2024 года. Он содержит результаты мониторинга внедрения решений в сфере ИИ в приоритетных отраслях экономики.

Мониторинг выполнен на основе анализа агрегированных баз данных и более 350 открытых источников информации. В ходе обзора проанализировано более 1000 сообщений информационных ресурсов о применении ИИ российскими организациями.

По результатам мониторинга отобрано 277 примеров внедрения ИИ в 16 приоритетных отраслях экономики.

Основные цифры:

- Промышленность лидирует среди отраслей по внедрению ИИ — 11,9 % кейсов.

- Второе место занимает торговля с долей 10,4 % внедрений.

- Основные используемые технологии — перспективные методы ИИ и распознавание и синтез речи (по 17,3 %).

- Подавляющее большинство проектов реализуется на федеральном уровне (70 %).

- Лидирующие разработчики ИИ-решений — университеты (34 %), «Яндекс» (22 %) и «Сбер» (19 %).

Также в документе можно ознакомиться со списком конкретных юзкейсов.

Однако необходимо помнить, что список очевидно не является полным: не учтены небольшие ИИ-проекты, а также те, которые сейчас находятся на этапе разработки или проектирования и ещё не были анонсированы публично.

Опубликован третий вариант текста Европейского Кодекса практик для ИИ общего назначения

Друзья, чудо свершилось: с опозданием в пару недель опубликован третий вариант Кодекса практик для ИИ общего назначения (General-Purpose AI Code of Practice).

Текст изменился структурно и, на первый взгляд, стал проще. Также появились конкретные формы документов. Но не будем делать скороспелых выводов — с подробным разбором, как обычно, вернусь позже.

Кроме того, теперь запущен отдельный сайт, где кодекс можно изучить в более интерактивной форме с комментариями.

Мои обзоры предыдущих версий документа можно найти тут и тут. Также там можно почитать, что это вообще за документ и для чего он нужен.

Что может быть лучше цветов и шампанского на 8 марта? Непредвзятые алгоритмы и равноправие

Друзья, поздравляю всех с праздником! Желаю вам вдохновения как у Фей-Фей Ли, а решимости – как у Сары Коннор (но без необходимости противостоять катастрофическим рискам) 🤩

Модели ИИ, безусловно, являются слепками общества со всеми его положительными и отрицательными чертами. При этом этот слепок не статичен: ИИ-системы не только отражают реальность, но и активно формируют ее, многократно усиливая эффекты за счет их целенаправленного использования — от автоматизации пропаганды до распространения дезинформации и разжигания агрессии. Более того, этот поток информации заполняет интернет, попадает в наборы данных и становится основой для последующих поколений ИИ-моделей. В результате негативные эффекты не просто сохраняются, а отдаются нарастающим эхом, создавая долгосрочные системные риски для общества.

Именно поэтому безопасность ИИ становится критически важной задачей, и ее неотъемлемым элементом является правовое регулирование. В последнее время мы много говорим о поиске баланса между развитием бизнеса и чрезмерными ограничениями, но эта дискуссия не должна приводить к обесцениванию необходимости правового регулирования как такового.

В качестве подарка делюсь небольшой подборкой исследований по вопросам равноправия и предвзятости в системах ИИ:

- Исследование, подготовленное по заказу Совета Европы, посвящено рискам ИИ, связанным с дискриминацией. Несмотря на то, что документ по современным меркам уже не новый (2023 год), он позволяет освежить знания о предвзятости ИИ и ознакомиться с объемным списком источников.

- Исследование под эгидой ЮНЕСКО, в котором анализируются специфические предвзятости больших языковых моделей в отношении женщин и девочек. Документ небольшой, но содержит много интересной информации. Например, о различиях в культурных и гендерных стереотипах, проявляющихся в результатах работы открытых ИИ-моделей в странах Глобального Юга и Севера.

- Свежий сборник статей The Cambridge Handbook of the Law, Ethics and Policy of Artificial Intelligence предлагает множество интересных публикаций на актуальные темы, включая вопросы этики и обеспечения равноправия.

Ищем себя на компасе отношения к ИИ

Друзья, в пятницу отвелкаю вас от серьезьезных тем 🤩. Наверняка многие в разные этапы жизни проходили знаменитый компас политических предпочтений, который снова стал популярным из-за текущего хайпа вокруг противостояния между правыми и левыми (никогда такого не было и вот опять).

Благодаря автору поста теперь у нас есть возможность проверить свое отношение к развитию искусственного интеллекта (с определенной долей иронии, конечно).

Нашли себя? Делитесь в комментариях!

Я заметил, что балансирую где-то между правым верхним и нижним левым квадратами.

Пояснения от автора:

Ось тряски-восторга: является ли ИИ потенциальным злом или добром.
Тряска (ИИ — опасная вещь, которая изменит жизнь людей к худшему) vs Восторг (ИИ — полезная вещь, которая изменит жизнь людей к лучшему).

Ось скептики-верующие: насколько ИИ с его текущей траекторией развития вообще способен поменять мир вокруг.
Скептики (ИИ сейчас никакой не интеллект, его развитие зашло в тупик) vs Верующие (ИИ изменит всё, технология развивается семимильными шагами).ется семимильными шагами).

Оргинал можно найти тут.

Сходил на подкаст про AI Governance. Делюсь с вами записью

Друзья, на днях я писал, что приму участие в прямом эфире про AI Governance на канале Privacy GDPR Russia.

Полную запись разговора можно найти по ссылке.

Если хотите продолжить дискуссию или задать вопросы, пишите в комментарии или в обратную связь🤩

Что люди думают про ИИ: изучаем данные опросов из разных стран

Исследование с примерно таким названием недавно было опубликовано на сайте Centre for the Governance of AI. Важно отметить, что авторы не проводили отдельного изучения общественного мнения, а агрегировали данные из уже существующих исследований.

Что интересного?

- Осведомлённость об ИИ растёт, особенно после массового распространения генеративных систем ИИ, но знания о технологии остаются поверхностными. Многие респонденты затрудняются объяснить, как именно работает ИИ, и не всегда правильно определяют, используется ли он в конкретных продуктах и услугах.

- В США и Великобритании чаще преобладает обеспокоенность по поводу последствий развития ИИ. Например, в США за последний год число тех, кто беспокоится о развитии ИИ, заметно выросло. При этом повышение осведомлённости не делает людей автоматически технооптимистами. Наоборот, по мере знакомства с технологиями отношение становится всё более поляризованным.

- Большинство американцев и британцев считают, что ИИ увеличит безработицу в целом, хотя меньшая часть респондентов беспокоится за своё собственное рабочее место.

- В США и Великобритании значительное большинство людей (65–71%) выступает за регулирование в сфере ИИ. Однако уровень доверия к потенциальным регуляторам низкий: всего около четверти респондентов доверяют правительству, а доверие к технологическим компаниям ещё ниже. Большинство людей не верит в способность индустрии к эффективному саморегулированию.

- Отношение к ИИ сильно варьируется в зависимости от страны. Например, в Китае и Индии примерно две трети респондентов позитивно воспринимают влияние ИИ, тогда как в США и Великобритании доля оптимистов заметно ниже.

- Уровень поддержки развития ИИ зависит от сферы его применения. Например, в США поддержка использования ИИ в медицинской диагностике значительно выше, чем в финансовых услугах. Серьёзную обеспокоенность вызывает применение ИИ в военных целях. Использование автономного вооружения воспринимается негативно большинством опрошенных.

В четверг участвую в подкасте, приходите обсудить будущее ИИ-регулирования и задать вопросы

Друзья, в этот четверг я приму участие в прямом эфире на канале моих друзей Privacy GDPR Russia.

Что обсудим?

Я поделюсь своим опытом работы в AI Governance, а также поразмышляем о том, каким будет будущее ИИ-регулирования в наши турбулентные времена и как оно повлияет на юристов и бизнес.

Буду рад дискуссии и вопросам, приходите!

Когда эфир?

6 марта в 18:00 по МСК.

Смотрим базу про LLM от Андрея Карпатого

Друзья, если кто-то ещё не видел, советую провести выходные с пользой. Исследователь Андрей Карпатый (ex-Tesla и OpenAI) продолжает делиться серией лекций, в которых простым языком рассказывает о внутреннем устройстве и сценариях работы с современными моделями ИИ.

Вчера у него вышла лекция, в которой он описывает, какие функции есть у наиболее популярных ИИ-продуктов и как ими эффективно пользоваться.

Если есть время, советую начать просмотр с предыдущей лекции, где Андрей на пальцах объясняет, как создаются и из чего состоят большие языковые модели.

В России решили пожить ещё пару лет без регулирования в сфере ИИ

Именно такие новости вчера появились по итогам презентации нацпроекта «Экономика данных».

Это хорошо или плохо?

Очень часто правовое регулирование напрасно ассоциируют с палками в колёса бизнеса. Однако такой палкой может быть только некачественное (или даже намеренно вредное) либо чрезмерное регулирование. В то же время отсутствие чётких и понятных правил, напротив, заставляет бизнес тратить больше денег на комплаенс и оценку рисков или вовсе выбирать иные юрисдикции.

Понятны ли сейчас правила в России?

К сожалению, нет. До сих пор полностью не решён вопрос с доступом к данным для бизнеса. Большинство принятых решений привели лишь к созданию государственной монополии на данные, при которой государственные органы могут сами решать, кому предоставлять доступ, а кому — нет. Отсутствует однозначное понимание того, каким образом могут охраняться модели ИИ, а также входные и выходные результаты их работы. Продолжаются бесконечные споры об особенностях применения норм гражданского права к случаям причинения вреда в результате функционирования систем ИИ.

Кроме того, никак, помимо общего законодательства, не регулируется применение систем ИИ в наиболее чувствительных областях — таких как образование, труд, финансовые услуги и т. д. Как мы недавно увидели на примере DeepSeek, граждане никак не защищены и от некачественной работы иностранных продуктов.

Однако наиболее важной проблемой, о которой я неоднократно писал ранее, является отсутствие каких-либо требований к разработке и применению систем ИИ со стороны государственных органов. По сути, сейчас все эти вопросы остаются полностью произвольными (подробнее писал об этом тут).

Нужно ли уже что-то делать бизнесу?

В отсутствие государственного регулирования и сформулированных органами власти лучших практик единственными мотиваторами могут быть конкурентные преимущества и деловая репутация. Иными словами, с одной стороны, важно избежать наступления негативных последствий (утечек данных, низкого качества работы моделей, юридических проблем), а с другой — сделать так, чтобы использование ваших систем ИИ было прозрачным и не отпугивало контрагентов из-за чрезмерных рисков.

Поэтому вне зависимости от регулирования крайне важно внутри организации постепенно выстраивать комплексную систему управления ИИ.

Что уже можно начать делать?

В мире сейчас набирает популярность стандарт ИСО/МЭК 42001, направленный на создание и поддержание системы ИИ-менеджмента внутри организации. К его плюсам можно отнести интеграцию с другими стандартами ИСО/МЭК (как связанными с ИИ, так и из смежных отраслей), а также его совместимость с региональным мягким и жёстким регулированием. Например, внедрение ИСО/МЭК 42001 может стать первым шагом в подготовке к соблюдению Регламента ЕС об ИИ, а в сочетании с NIST AI RMF и специализированными стандартами и законодательством — основой для выхода на американский рынок.

Например, этот стандарт уже используют Microsoft и их поставщики, а также Anthropic и некоторые европейские компании.

Отдельно хочу отметить, что стандарт ИСО/МЭК 42001, равно как и ряд других примыкающих к нему стандартов в сфере ИИ, с незначительными изменениями был утверждён Росстандартом и начал применяться с 1 января 2025 года.

Таким образом, можно не ждать решения своих проблем от государства, а начать самостоятельно выстраивать процессы так, чтобы обеспечить безопасность своих продуктов и иметь в дальнейшем более понятные перспективы для выхода на международные рынки.

Если у вас или вашего бизнеса есть вопросы, связанные с ИИ, буду рад помочь — обращайтесь за консультацией 👀

Скоро стартует второй поток курса по AI Governance от RPPA, на котором я буду преподавать

Друзья, в этом году я продолжаю преподавать на курсе AI Governance, который проводит Regional Privacy Professionals Association.

Зачем и кому он нужен?

Курс поможет за несколько месяцев подробно разобраться в ландшафте нормативного правового регулирования и научиться выстраивать комплаенс ИИ-продуктов.

Это будет полезно не только юристам, но и всем, кто вовлечён в выстраивание процессов вокруг систем ИИ, включая DPO, специалистов по комплаенсу, управлению рисками и информационной безопасностью, а также руководителей направлений, продуктовых и проектных менеджеров.

Чем, на мой взгляд, этот курс удачен?

- Все преподаватели — фанаты своего дела. Каждый из них отвечает за занятия в рамках своей экспертизы: технические основы преподаёт инженер, за оборот данных и IP отвечают профильные специалисты и т. д. Это даёт возможность получить ценные экспертные знания и ознакомиться с разными точками зрения.

- Курс ориентирован на практику. Он помогает освоить ключевые навыки для выстраивания системы управления ИИ в организации. Подробно рассматриваются такие её элементы, как работа с данными, интеллектуальная собственность, управление рисками и качеством, а также кибербезопасность. Кроме того, домашние задания основаны на разборе и обсуждении реальных кейсов, с которыми сталкиваются преподаватели.

Материал сбалансирован, поэтому изученные лучшие практики можно применять как в иностранных юрисдикциях, так и в России. Полученные знания также помогут в подготовке к международным сертификациям, например AIGP от IAPP.

Мой вклад в курс

В рамках курса я проведу занятия по регулированию в сфере разработки и применения систем и моделей ИИ в ЕС, США и КНР, а также приму участие в семинарах и других активностях 🐱 .

Когда стартует обучение?

Занятия во втором потоке начинаются уже через несколько недель. Более подробно с программой можно ознакомиться по ссылке.

Группа исследователей запустила индекс ИИ-агентов на базе MIT

В этом месяце группа исследователей из различных уважаемых институтов изучила информацию о 67 ИИ-агентах и сформировала для каждого из них карточки. Затем авторы создали AI Agent Index, в котором сравнили полученные данные по следующим критериям:

- компоненты системы ИИ (модели ИИ, использование различных методик и инструментов);

- сферы применения;

- используемые методы управления рисками (проведённые внутренние и внешние оценки моделей, использование бенчмарков, установление ограничений для пользователей, обучение персонала).

Что такое ИИ-агенты?

Единого научного определения пока нет.

Для начала стоит вспомнить классическое определение из учебника Стюарта Рассела и Питера Норвига:

Агент — это всё, что воспринимает окружающую среду с помощью сенсоров и воздействует на неё с помощью исполнительных механизмов.

IBM также предлагает достаточно простое определение:

ИИ-агент — это система или компьютерная программа, способная автономно выполнять задачи от имени пользователя или другой системы, самостоятельно разрабатывая рабочий процесс и используя доступные инструменты.

Авторы исследования не стали формулировать конкретное определение, а сфокусировались на выявлении ключевых признаков (взяты из статьи Chan et al. (2023)):

- система может выполнить поставленную перед ней задачу без точного описания того, как это сделать;

- действия системы могут влиять на окружающий мир практически без участия человека;

- система действует так, как будто преследует определённую цель;

- система способна к долгосрочному планированию: она решает проблемы, рассуждая о том, как подойти к их решению, и составляет поэтапный план их реализации.

Подробную пошаговую схему отнесения систем ИИ к агентам можно найти на скриншоте.

Что важно для нас?

Авторы отмечают, что разработчики, с одной стороны, открыты для предоставления общей информации о своих системах, но, с другой стороны, крайне неохотно раскрывают проведённые меры по управлению рисками.

Британский AI Safety Institute переформатируется в UK AI Security Institute

В качестве подарка на 14 февраля британский Department for Science, Innovation and Technology выпустил пресс-релиз о смене названия и приоритетов AI Safety Institute, переименовав его в UK AI Security Institute. Теперь основной акцент сделан на вопросах национальной безопасности и борьбе с преступным использованием ИИ.

Что за институт?

AI Safety Institute был создан осенью 2023 года вскоре после AI Safety Summit. Он сочетал в себе элементы стартапа (гибкость, быстрая адаптация) и исследовательской организации, выступая консультантом правительства.

Его задачи заключались в разработке методик, проведении внешних оценок моделей ИИ, а также в долгосрочных исследованиях в сфере AI Governance. В частности, в прошлом году институт совместно с U.S. AI Safety Institute провел предварительные оценки моделей OpenAI o1 и Anthropic Claude 3.5 Sonnet.

Что меняется?

Теперь институт сосредоточится на вопросах национальной безопасности. Основное внимание будет уделяться угрозам, связанным с использованием ИИ для: создания оружия, проведения кибератак, распространения запрещенного и сексуализированного контента и другой противоправной деятельности. Институт будет тесно сотрудничать с правоохранительными органами и военными структурами.

Однако в пресс-релизе прямо указано, что он больше не будет заниматься вопросами предвзятости, дискриминации и свободы слова🐱.

Эти изменения также отражают пересмотр роли института в проведении предварительных внешних оценок ИИ-моделей, которые вызывали раздражение у американских компаний. Теперь тестирование будет сосредоточено не на прозрачности и социально-этических аспектах, а на выявлении угроз национальной безопасности. Не исключено, что институт полностью откажется от независимых оценок, заменив их более тесным сотрудничеством с разработчиками и государственными структурами.

Таким образом, новое правительство Великобритании, с одной стороны, отказывается от AI Safety повестки прежнего правительства, а с другой — придерживается линии новой администрации США, смещая фокус с широких вопросов безопасности ИИ на вооружения, киберугрозы и защиту критической инфраструктуры.

Еврокомиссия прекратила работу над проектом Директивы об ответственности в сфере ИИ

Когда-нибудь появятся новости не про ЕС. Но не сегодня. Еврокомиссия отозвала проект Директивы об ответственности в сфере ИИ (AI Liability Directive, AILD). Подтверждение этому можно найти в Программе работы Комиссии на 2025 год.

Подробно о проекте директивы я писал здесь и здесь.

Что это значит?

Решение вызвало неоднозначную реакцию в сообществе: сторонники невмешательства государства в бизнес ликуют, а вот правозащитники и часть юридического сообщества — нет.

Проблема в том, что недавно был принят другой документ — Директива об ответственности за качество продукции (Product Liability Directive, PLD). Она упрощает для граждан подачу исков за счёт обязательного раскрытия информации со стороны экономического оператора (производителя, поставщика и т. п.) системы ИИ. Однако её сфера действия не безгранична. Например, она не охватывает вопросы дискриминации, прав человека, конфиденциальности и интеллектуальной собственности. В результате в этих областях на уровне ЕС законодательство отсутствует, а значит, в каждой из 27 стран-членов будут применяться свои нормативные положения. Поэтому в каком-то смысле AILD была бы даже выгодна для бизнеса, так как позволила бы выработать общие подходы на уровне всего ЕС.

Некоторые издания связывают это внезапное решение с усилившейся риторикой США в пользу дерегуляции отрасли (про это я как-нибудь напишу отдельно) и смещением фокуса мировой дискуссии после недавнего AI Action Summit. На саммите обсуждение регулирования и рисков было сведено к минимуму, а США и Великобритания и вовсе отказались подписывать и без того практически ни к чему не обязывающую декларацию.

На мой взгляд, истина где-то посередине.

- ЕС изначально сделал ставку на ex-ante подход, а не ex-post. То есть предполагалось, что ключевая роль в защите прав человека будет отведена требованиям к операторам систем и моделей ИИ ещё до их выхода на рынок на основе риск-ориентированного подхода. Поэтому сейчас все усилия направлены на то, чтобы сделать применение Регламента ЕС об ИИ максимально адекватным и не тормозящим инновации.

- В качестве механизма ex-post была принята уже упомянутая PLD, которая распространяет внедоговорную ответственность на всё ПО, включая ИИ.

- Текущая версия AILD остаётся сырой и не обладает непротиворечивой концепцией.

Таким образом, вероятно, было принято решение подождать несколько лет, пока Регламент ЕС об ИИ и PLD начнут действовать и возникнет какое-то понимание последствий. К этому времени, возможно, в странах-членах ЕС уже сложатся лучшие практики, которые затем можно будет гармонизировать. А пока это решение можно подать и в политическом ключе: ЕС тоже занимается дерегуляцией и выделяет на развитие ИИ 200 миллиардов евро🤩.

Кстати, мой большой разбор Product Liability Directive, PLD можно почитать тут.

Опубликован проект шаблона Европейского AI Office для описания контента, использованного для обучения моделей ИИ общего назначения

Как и обещал в предыдущем посте, отдельно рассказываю о шаблоне, который будет использоваться для описания контента, содержащегося в наборах данных, на которых были обучены модели ИИ общего назначения.

Что это вообще значит?

Часть 1 статьи 53 Регламента ЕС об ИИ содержит следующее положение:

1. Поставщики моделей ИИ общего назначения должны:

(d) подготовить и разместить в открытом доступе подробное описание (sufficiently detailed summary) контента, использованного для обучения модели ИИ общего назначения, в соответствии с шаблоном, предоставленным AI Office.

Сейчас мы имеем дело с проектом этого шаблона.

Кратко о его структуре (детали можно посмотреть на скриншотах):

- общая информация о поставщике, модели и наборе данных: указывается наименование и адрес поставщика или его представителя, название модели, общий объём набора данных и модальности.

- детализированная информация о всех используемых типах данных: включает описание общедоступных и частных наборов данных, данных, собранных в интернете, синтетических данных, а также данных, полученных с согласия физических лиц и т.д.

- отдельные аспекты обработки данных: включает информацию о мерах, принятых поставщиком для соблюдения авторских прав и удаления противоправного контента.

Пока это проект шаблона, направленный стейкхолдерам для получения обратной связи. В дальнейшем он, как и весь Кодекс практик для ИИ общего назначения, будет дорабатываться и должен быть утверждён Еврокомиссией. По плану это должно произойти в ближайшие полгода, поскольку Глава V (Модели ИИ общего назначения) Регламента ЕС об ИИ вступает в силу 2 августа 2025 года.

Что происходит с Европейским Кодексом практик для ИИ общего назначения?

В декабре Европейский AI Office опубликовал вторую версию проекта Кодекса практик для ИИ общего назначения (General-Purpose AI Code of Practice). О том, что это за документ, я писал здесь и здесь. Также ранее я делал подробный разбор первой версии документа в четырёх частях: 1, 2, 3, 4.

Что появилось нового во второй версии?

Общий текст документа стал более детализированным и значительно увеличился в объёме: с 36 до 66 страниц.

Структура документа также претерпела изменения: теперь он состоит из преамбулы и двух основных частей. Последние включают обязательства (commitments), которые содержат KPI.

Часть II. Обязательства поставщиков моделей ИИ общего назначения
(соответствуют статьям 53 и 54 Регламента ЕС об ИИ)

Требования о прозрачности были доработаны главным образом в части уточнения того, какая именно документация должна быть представлена поставщиками моделей ИИ AI Office, другим компетентным органам, а также последующим поставщикам (downstream providers).

В раздел об авторских правах добавлены исключения для малого бизнеса (SMEs). Также уточнены требования по необходимости соблюдения машиночитаемых отказов при майнинге данных. Во внутренней политике защиты авторских прав (copyright policy) должен содержаться перечень используемых краулеров с описанием их предназначения.

В январе AI Office опубликовал примерный шаблон описания контента, содержащегося в обучающем наборе данных. Это описание должно быть опубликовано в соответствии со статьёй 53 Регламента ЕС об ИИ (об этом сделаю отдельный пост).

Часть III. Обязательства поставщиков моделей ИИ общего назначения, представляющих системные риски
(соответствуют статье 55 Регламента ЕС об ИИ)

В разделе о системных рисках обновлён перечень потенциальных рисков, опасных характеристик и возможностей моделей ИИ.

Добавлен пример содержания Safety and Security Framework, а также уточнены требования к Safety and Security Model Report.

В целом изменилось множество деталей. Если кратко обобщить, то в тексте появилось больше исключений для малого и среднего бизнеса, а подход к описанию рисков, требованиям к технической документации и риск-менеджменту стал более согласованным с международными практиками и признанными фреймворками.

Что дальше?

В ближайшие дни будет опубликован третий вариант текста, который будет значительно приближен к финальной версии документа. Мы его также подробно разберём. В марте продолжатся обсуждения новой редакции, по итогам которых состоится пленарное заседание. Как член рабочих групп я приму в них участие и обязательно сообщу, если появятся важные новости🍊.

Сегодня стартуют основные мероприятия на AI Action Summit

10-11 февраля в Париже будет проходить одно из центральных мероприятий в сфере ИИ в этом году — AI Action Summit. Площадок очень много, можно выбрать на вкус и цвет.

Что и где смотреть?

Пленарное заседание начнется 10 февраля в 10:00 по CET (очень скоро). Ссылка на трансляцию тут.

Полную программу мероприятия можно найти тут.

Также в рамках саммита проходят параллельные дополнительные площадки (полный список тут). Обратите внимание, что на них нужна отдельная регистрация.

В дни саммита также проходят культурные мероприятия, включая выставки и инсталляции (отдельный перечень тут).

Если кто-то будет смотреть (или находится там), делитесь интересностями в комментариях 😌.

Интервью Ильи Стребулаева о венчурных инвестициях в ИИ и меняющемся мире под воздействием технологий

Пост для тех, кто устал от правовой тематики 🤩. Вчера решил немного отдохнуть и посмотрел стрим у Елизаветы Осетинской с участием профессора Стэнфорда Ильи Стребулаева. Кстати, у него недавно вышла книга The Venture Mindset. Последнюю я ещё не успел прочитать. Если кто-то уже ознакомился, пишите свои мысли в комментариях.

Кратко изложу несколько интересных идей. Не все из них являются новыми, но не будет лишним ещё раз поразмыслить:

- В ближайшем будущем возникнет огромное количество моделей и систем ИИ в различных отраслях (работы будет много). Однако внутри каждой отдельной отрасли возникнет олигополия, которая будет крайне недолговечной из-за постоянного появления на рынке новых игроков. Более того, по оценке спикера, уже сейчас есть около десятка компаний, которые имеют все шансы в скором времени стать триллионными и заменить привычные нам бренды.

- Распределение прибыли внутри цепочки поставки ИИ-продуктов между держателями моделей и фактическими эксплуатантами будет неоднородным и сильно зависеть от конкретной отрасли.

- Качественная инфраструктура, включая сбалансированное регулирование, важнее огромного количества денег. Хорошие инновации невозможно построить, бездумно заливая сектор лёгкими деньгами.

- ИИ не сократит рабочие места, а изменит структуру занятости. Появятся новые профессии, будет нормой постоянно повышать квалификацию и менять специализацию несколько раз в течение жизни, вне зависимости от возраста. С удивлением узнал, что в Стэнфорде уже есть программа при Distinguished Careers Institute (DCI), позволяющая людям в 60+ лет, уже добившимся всего, вернуться на студенческую скамью для освоения новой профессии. Однако конкуренция будет только расти. Поэтому Илья советует каждому уже сегодня задать себе вопрос: как я могу использовать ИИ, чтобы стать наиболее эффективным?

Беркли радует нас новыми документами по риск-менеджменту

Наступили выходные, а значит, самое время освежить свои знания по ИИ-рискам и риск-менеджменту 🤩. Благо Center for Long-Term Cybersecurity (CLTC) в UC Berkeley опубликовал несколько интересных документов:

1) Рекомендации по определению пороговых значений недопустимых рисков (Intolerable Risk Threshold Recommendations for AI).

Авторы определяют недопустимые риски следующим образом: риски, связанные с причинением значительного вреда общественной безопасности и правам человека, усилением неравенства, экономическими потерями или нежелательным изменением ценностей и общественных норм. Эти риски могут возникнуть в результате преднамеренного недобросовестного использования, сбоев в работе систем, непредвиденных последствий цепочки взаимосвязанных событий, а также каскадных, вторичных или одновременных отказов в работе передовых моделей.

Основные выводы из документа:

- пороговые значения должны быть установлены с достаточным запасом прочности, чтобы учитывать неопределённости, влияющие на достижение целей;

- оценка возможностей технологий двойного назначения должна проводиться с использованием бенчмарков, методов «красной команды» и других передовых практик;

- сравнение с соответствующими базовыми сценариями позволяет определить, является ли увеличение риска «минимальным» или «существенным»;

- анализ вероятности и последствий рисков должен включать определение типов возможного ущерба и моделирование его тяжести;

- количественные методы оценки рисков следует дополнять качественным анализом их последствий;

- сопоставление вероятности возникновения неприемлемых исходов с потенциальной степенью их тяжести помогает выявить уровни риска, требующие управления;

- установление пороговых значений должно происходить через обсуждение с заинтересованными сторонами, а их соблюдение — обеспечиваться проактивным подходом к безопасности;

2) Профиль стандартов управления рисками для ИИ общего назначения и фундаментальных моделей (AI Risk-Management Standards Profile for General-Purpose AI (GPAI) and Foundation Models).

По сути, этот документ адаптирует положения NIST AI Risk Management Framework и ISO/IEC 23894, делая акцент на специфику, с которой сталкиваются разработчики моделей ИИ общего назначения и фундаментальных моделей.

Еврокомиссия издала рекомендации по определениям и запрещённым ИИ-практикам, а также поделилась обобщением практики по обеспечению ИИ-грамотности в организациях

Друзья, в последнее время было много новостей из ЕС, поэтому решил объединить их в один пост. Недавно я писал о том, что со 2 февраля начали действовать главы I и II Регламента ЕС об ИИ. В связи с этим Еврокомиссия опубликовала ряд рекомендаций, которые разъясняют положения акта:

1. Проект рекомендации по определению систем ИИ. В документе содержится описание признаков системы ИИ, а также связанной с ними терминологии. Этот документ поможет лучше понимать, какие системы подпадают под предмет правового регулирования.

2. Проект рекомендации по запрещённым ИИ-практикам. Аналогично предыдущему документу, эта рекомендация разъясняет терминологию и уточняет, какие именно практики считаются запрещёнными в соответствии с Регламентом ЕС об ИИ. Кстати, на днях уже были поданы несколько коллективных исков о нарушении законодательства ЕС и стран-членов против компаний X и TikTok. В частности, последняя обвиняется в нарушении Регламента ЕС в части использования запрещённых подсознательных, манипулятивных или обманных методов.

3. Репозиторий обмена опытом по ИИ-грамотности. Документ собрал лучшие практики по обеспечению ИИ-грамотности в организациях, входящих в ИИ-Пакт (о том, что это такое, я писал тут). Документ регулярно обновляется, последние изменения были внесены 31.01.2025. А уже 20 февраля Европейский AI Office проведёт вебинар по ИИ-грамотности.

В Европарламенте состоялись публичные слушания относительно доработки проекта Директивы об ответственности в сфере ИИ

В прошлую пятницу в Комитете по правовым вопросам (JURI) Европарламента состоялись публичные слушания относительно результатов проведенной ранее оценки воздействия, выполненной по запросу комитета относительно проекта Директивы об ответственности в сфере ИИ (AI Liability Directive, AILD).

Подробно о результатах данной оценки я писал в посте здесь. Рекомендую его изучить сначала, чтобы лучше понять, о чем я пишу здесь.

Кто выступал?

Филипп Хакер, European University Viadrina (автор оценки воздействия, представил результаты);

Себастьяно Тоффалетти, Digital SME Alliance, Secretary General;

Анна Бучта, Head of Unit "Policy and Consultation", European Data Protection Supervisor (EDPS);

+ в дискуссии поучаствовали члены комитета и Еврокомиссии.

Что обсуждали?

Кратко резюмирую основные моменты дискуссии:

- Нужна ли вообще эта директива? По большей части все участники согласились, что она необходима по нескольким причинам:

1. позволит гармонизировать подходы к установлению ответственности за вред, причиненный системами ИИ, и процессуальные правила сразу во всех странах-членах ЕС, вместо того чтобы иметь 27 различных подходов. Это поможет бизнесу и гражданам сэкономить на юристах (юристы против🤩) и технических специалистах в ходе судебных разбирательств;

2. упростит для граждан возможность обращаться в суд за счет необходимости обязательного раскрытия информации со стороны разработчика / эксплуатанта системы ИИ (аналогично принятой ранее Директиве об ответственности за качество продукции (Product Liability Directive, PLD) (мой большой обзор на нее доступен здесь);

3. сможет использоваться в случаях, которые не подпадают под PLD: дискриминация, права человека, нарушения в области конфиденциальности и интеллектуальной собственности.

Однако было высказано предложение о том, что возможно, стоит подождать несколько лет, пока технологическое развитие не выйдет на плато, и государства-члены выработают собственные практики, лучшие из которых затем можно будет гармонизировать на уровне ЕС.

- На кого должна распространяться директива?

1. однозначно поддержана позиция о необходимости включения в нее поставщиков моделей ИИ общего назначения, так как они ранее отсутствовали в тексте проекта директивы. Это произошло потому, что текст проекта Директивы был представлен Еврокомиссией ранее, чем был принят окончательный вариант Регламента ЕС об ИИ, в котором появилась соответствующая глава;

2. неоднозначно оценивается необходимость распространения положений директивы только на поставщиков систем ИИ повышенного риска, как определено в Регламенте ЕС об ИИ. Это связано с тем, что положения об ответственности, очевидно, должны касаться более широкого круга систем ИИ, чем предусмотрено Регламентом. Для этого, например, в тексте оценки воздействия было предложено ввести новую групп систем ИИ — системы ИИ, оказывающие значительное воздействие (high-impact AI systems).

Также до 17 марта можно участвовать в общественных консультациях, если для вас имеет значение содержание будущего документа.

Вышел пятичасовой подкаст про ИИ у Лекса Фридмана

Есть свободные 5 часов в понедельник? 🤩 Тогда можно посмотреть новый выпуск подкаста Лекса Фридмана, посвящённый ИИ. Я пока не успел ознакомиться, но уже знаю, чем буду заниматься перед сном.

В гостях:

Дилан Патель — основатель SemiAnalysis, исследовательской и аналитической компании, специализирующейся на полупроводниках и аппаратном обеспечении ИИ.

Натан Ламберт — научный сотрудник Института ИИ Аллена (AI2) и автор блога Interconnects.

Регламент ЕС об ИИ: сегодня начали действовать главы I и II

Друзья, не хотел портить настроение в воскресенье, но так решили европейские законодатели 🤩. Напоминаю, что с сегодняшнего дня начинают действовать главы I и II Регламента ЕС об ИИ.

Что это за главы?

Глава I состоит из четырёх статей: предмет регулирования, сфера применения, определения и грамотность в сфере ИИ.

Последняя предполагает, что поставщики (providers) и эксплуататоры (deployers) систем ИИ должны предпринимать меры для обеспечения необходимого уровня знаний сотрудников.

Глава II перечисляет 8 запрещённых ИИ-практик (приложил скриншот с кратким описанием этих практик).

Несмотря на то, что глава XII, предусматривающая отдельные штрафы за создание подобных систем ИИ, начнёт действовать только со 2 августа 2025 года, это не отменяет того факта, что теперь такая деятельность является противоправной.

Полный таймлайн начала действия отдельных положений акта я ранее расписал в посте тут.

Опубликован список "100 Brilliant Women in AI Ethics 2025"

Список из 100 наиболее выдающихся женщин в ИИ-этике публикуется с 2018 года небольшой НКО Women in AI Ethics. Важно отметить, что в списке отсутствует какое-либо ранжирование — все имена указаны в алфавитном порядке. Также он включает представительниц разных специальностей, включая AI Governance. В этом году было номинировано более 800 человек.
Буквально несколько примеров финалисток этого года:

- Александра Рив Гивенс — глава аналитического центра Center for Democracy & Technology.

- Мариетье Шааке — научный сотрудник Stanford HAI. Сейчас руководит одной из рабочих групп по подготовке Кодекса практик для ИИ общего назначения. Также она недавно опубликовала книгу The Tech Coup: How to Save Democracy from Silicon Valley (лежит у меня в списке на прочтение).

- Кристина Монтгомери — Vice President и Chief Privacy & Trust Officer в IBM.

Если кто-то знает еще интересные детали про участниц списка, делитесь в комментариях!

Опубликован международный отчет о безопасности продвинутого ИИ

Сегодня был опубликован отчет The International Scientific Report on the Safety of Advanced AI, подготовленный при участии 100 экспертов из 33 стран (многих из них мы с вами уже знаем) и при поддержке ООН, ОЭСР и ЕС. Главным редактором выступил Йошуа Бенжио. Подготовка документа началась после Bletchley Park AI Safety Summit и заняла более года. Официальная презентация отчета состоится на AI Action Summit, который пройдет в Париже 10–11 февраля.

Отчет получился довольно объемным (почти 300 страниц), но пугаться не стоит — он хорошо структурирован и понятен.

О чем отчет?

Документ включает несколько ключевых разделов:

- описание возможностей ИИ общего назначения;

- анализ основных рисков, связанных с его разработкой и применением (вредоносное использование, неисправности, системные риски, потенциальное влияние открытого ИИ);

- технические подходы к управлению рисками — самый важный раздел, в котором обобщены текущие методики и рассмотрено их соответствие законодательным требованиям.

Почему важно изучить?

Сфера AI Safety сейчас находится в стадии формирования, поэтому такие исследования, направленные на унификацию терминологии и методик, могут в дальнейшем стать основой для разработки нормативных актов и технических стандартов на международном и национальном уровнях.

Например, Йошуа Бенжио возглавляет рабочую группу Technical Risk Mitigation for Systemic Risk, которая занимается подготовкой Европейского кодекса практик для ИИ общего назначения (GPAI Code of Practice). Кроме него, в число авторов отчета входят и другие эксперты, участвующие в разработке международных стандартов. Даже при беглом прочтении отчета уже замечаю много до боли знакомых фрагментов.

Бонус для любителей академической литературы: в конце отчета приведен список из 1000+ источников 🤩.