Читала интересный текст ИИ-разработчицы о методах работы со стереотипами в обучении моделей -
1,
2. Это известная проблема и в генерации изображений (результатом генерации красивого мужчины нередко будет девушка), и в переводах (если герой детектив и курит, это будет он, если хирург, это будет он, и так далее, герой может менять пол в зависимости от контекста постоянно), и в HR-моделях, занижающих рейтинг, и так далее. ИИ очень наглядно цементирует все возможные предрассудки и делает их частью системы, т.к. его задача предсказывать высоковероятное, - и выбор, сделанный на основе предрассудков, это высоковероятно. Так вот оказывается, исправлять это довольно дорого (дополнительные затраты, дополнительное время).
Например, датасет дополнительно обогащается примерами с нужным содержанием (нужно найти, организовать, разметить, обучить). Можно переставить вес примерам, которые встречаются в датасете реже. Можно продублировать один пример другим таким же, поставив туда нужные параметры, - например, "Он детектив", "Она детектив", чтобы убрать перекос. Это увеличивает датасет. Можно усложнить модель, штрафуя за неверный контент, а также отфильтровать объективный мусор еще до обучения (дополнительные затраты на фильтрацию данных). Можно корректировать вывод дополнительной логикой уже после обучения, убирая ожидаемый перекос и балансируя его, но простой поводок на сложной генерационной системе не очень эффективен. Все это требует приличных трудозатрат.
Как человек, которому часто говорят внедрить it-решение за 3 месяца, я точно знаю, что очень немногие компании хотят себе это позволить. Ты фактически должен переписать массив данных, переделать реальность на нечто более справедливое. Предрассудки в алгоритмах опасны, потому что в реальности есть рандом - хорошее настроение рекрутера, его личные воззрения, его опыт, етс. Когда предрассудки вписаны в алгоритм, повлиять на него не получится. Это буквально несправедливость by design. Но на большинстве решений будут экономить, в них будет перекос, люди будут страдать, не имея возможности обратиться за помощью ("система так сделала") - как, например, при проблемах с ИИ-фильтрами резюме. Ну, Клинг уже об этом забавную
книжку написал.