Меняем лицо без Lora, добавляем существующие объекты
Немного скучной теории
Замечали, когда генерируешь на больших разрешениях, объекты или лица начинают повторяться (по терминологии Хруста, «даблёбл»)? Самые сообразительные поняли, что это не баг, а фича, и начали использовать эту особенность для улучшения консистентности.
Первый раз увидел такой подход 2 года назад в
Rave. Чтобы стилизовать видео с меньшим кипением, кадры объединяли по 9 штук и отправляли в img2img. Затем разрезали и собирали в секвенцию.
Если это работает, почему бы не взять свою картинку, расширить область генерации и на основе своей картинки «попросить» модель сгенерировать что-то новое? И это прям ВАУ, какой необычный подход. Именно это сделал @SeniorPioner, натренировав свою «deep fake» лору (которую я потерял 🙁).
Чуть позже такой подход начали использовать чаще. Например, в ic lora (если захотите, поговорим позже) или ace++ (о котором пост).
На основе ACE++
собрал схему переноса лиц и объектов в генерацию или на существующие фоточки. Внутри workflow есть заметки откуда брать модели и удобный переключатель (на скрине) между 4 режимами (перенос лица в генерацию, лица в фото, предмета в генерацию, предмета в фото). При помощи промпта можно внести как минимальные изменения, так и кардинальные.
Угощайтесь.
P.S. Если тема переносов интересна, ставим 🔥. Напишу еще кое что.
#faceswap