Обзор References в Runway Gen-4 на канале 🙂

Показываю, как использовать референсные изображения для создания единой истории, и что выходит на практике.

™️ Смотреть YouTube

📺 Смотреть Rutube


AI VISIONS | блог про нейросети

Runway Gen-4 References - свежий тест

Помните, я писала, что в Gen-4 можно будет использовать одно изображение и создать из него целое видео, сохранив все детали и стиль?
Так вот, функция сейчас открыта для тех, кто регался на их конкурс.

Конечно, я затестила и сделала небольшое видео:
↪️ сначала сгенерила картинку в Midjourney
↪️ залила её в Runway как reference
↪️ в промпте задала другие ракурсы и новые обстоятельства → получила кадры → сразу отправила их в анимацию

В итоге модель неплохо держит лицо героини, освещение, стиль.
Минусы пока классические: дальние планы мыльные, анатомия гуляет, но для простых сцен уже ок.
Похоже, глобальный доступ не за горами 🍑

Если нужен мини-обзор, дайте знать 😍
Покажу, как пользоваться, как совмещать несколько рефов и применять стили прямо внутри Runway.

AI VISIONS | блог про нейросети

Ребята, напоминалка 🙌

До конца недели ещё собираю ваши ответы в анкете
Если не заполнили, гоу ⬇️

💓анкета
💓анкета
💓анкета

И огромное спасибо всем, кто уже прошёл, я прочитала каждый ответ, вы очень помогаете 🤗


☝️ анимацию делала в Higgsfield, motion - ROBO ARM

Higgsfield - та самая видеомодель с кучей киношных движений камеры

Честно говоря, когда нейросеть только появилась несколько недель назад, любви не случилось. но вернувшись, произошла симпатия 💞
поэтому решила собрать небольшой ролик, собрав несколько motion-пресетов💓

Что нравится:
• пресетов много, и не только базовые, достаточно динамичных движений камеры (360 orbit, dolly zoom out, eyes in, fpv drone), а также различных эффектов (взрывы, растворение, левитация)
• автоматическое улучшение промпта
• можно скрестить до двух движений сразу и ползунком подстроить их вес

Создатели говорят: хотим дать креаторам «настоящий язык кино», а не статичные ai-сцены.
Поэтому за разнообразием движений камеры и динамикой в ai-видео идем в Higgsfield ❤️

Кто уже пробовал, какие пресеты зашли? Делитесь в нашем чате 🩷

AI VISIONS | блог про нейросети

С праздником, друзья! 🌺
Наконец, наступает время, когда природа просыпается и всё вокруг начинает расцветать. Для меня весна это про возвращение к жизни после зимы (кто из Питера, меня поймёт 🫠)

Сегодня хочу немного рассказать про создание плавных переходов в ai видео, тк у многих возникают вопросы

При создании видео я редко обхожусь без ключевых кадров (когда мы загружаем два кадра и между ними строится переход).
Да, можно делать эффектные трансформации, но у них много применений, например, собрать единую историю, будто всё снято одним кадром.

Сейчас это можно реализовать в нескольких нейросетях:

1️⃣В Pika (режим Pikaframes) можно загрузить до 5 кадров, задать длительность переходов и собрать из них последовательную историю.
Лучше всего работает, если кадры логически связаны между собой.

2️⃣В Luma и Kling можно использовать два ключевых кадра, а на монтаже склеивать каждую анимацию (как в моём видео)
По созданию морфинга в Luma у меня есть видеоурок, но выбирайте уже новую модель Ray 2.

3️⃣В Runway Gen-3 можно загрузить до 3 кадров и также построить переходы между ними.

4️⃣А в Runway Gen-4 появилась функция использования последнего кадра, благодаря которой можно создать бесшовное видео, где сцены перетекают одна в другую.

📌Чтобы всё работало, важно делать акцент в промпте именно на самом переходе, особенно если изображения по композиции сильно отличаются.

☝️ Вот, например, в новом ролике The Dor Brothers — Popstar созданы такие переходы. Плюс они использовали Sora Image и прошлись по трендам, зацените ☺️

💬 Задавай вопросы, делись успехами в нашем чате

AI VISIONS | блог про нейросети

С праздником, друзья! 🌺
Наконец наступает время, когда природа просыпается и всё вокруг начинает расцветать. Для меня весна это про возвращение к жизни после зимы (кто из Питера, меня поймёт 🫠)

Сегодня хочу немного рассказать про создание плавных переходов в ai видео, тк у многих возникают вопросы

При создании видео я редко обхожусь без ключевых кадров (когда мы загружаем два кадра и между ними строится переход).
Да, можно делать эффектные трансформации, но у них много применений, например, собрать единую историю, будто всё снято одним кадром.

Сейчас это можно реализовать в нескольких нейросетях:

1️⃣В Pika (режим Pikaframes) можно загрузить до 5 кадров, задать длительность переходов и собрать из них последовательную сцену.
Лучше всего работает, если кадры логически связаны между собой.

2️⃣В Luma и Kling можно использовать два ключевых кадра, а на монтаже склеивать каждую анимацию (как в моём видео)
По созданию морфинга в Luma у меня есть видеоурок, но выбирайте уже новую модель Ray 2.

3️⃣В Runway Gen-3 можно загрузить до 3 кадров и также построить переходы между ними.

4️⃣А в Runway Gen-4 появилась функция использования последнего кадра, благодаря которой можно создать бесшовное видео, где сцены перетекают одна в другую.

📌Чтобы всё работало, важно делать акцент в промпте именно на самом переходе, особенно если изображения по композиции сильно отличаются.

☝️ Вот, например, в новом ролике The Dor Brothers — Popstar созданы такие переходы. Плюс они использовали Sora Image и прошлись по трендам, зацените ☺️

Новое видео на канале ❣️

В этом ролике разбираю структуру промптов для видео, редактирование с Multi-elements и немного про новые возможности Kolors 2.0.

™️ Смотреть YouTube

📺 Смотреть Rutube


AI VISIONS | блог про нейросети

🕺 Kling 2.0 с нами
не скрою, эта видеомодель моя любимая (и, думаю, не только моя)
вчера потестила обновлённую версию и делюсь первыми впечатлениями

🌟Следование промпту стало лучше
Теперь мы можем создавать более детальные промпты.
В видеопримерах вы увидите, что я описывала несколько действий как объекта, так и фона и доп.персонажей, а также движения камеры, и модель сохраняла последовательность на протяжении всей анимации

🌟 Больше динамики
Теперь во время движений меньше деформаций, как это было ранее, замедленное движение тоже ушло, и всё стало реалистичнее, анимация кинематографичнее

Пока генерация в 720p,
нет ползунка креативности,
нет двух фреймов,
5 секунд = 100 кредитов 🤡

🌟Новый инструмент Multi-elements (в версии 1.6)
Можно добавлять (до 2х), удалять и заменять объекты прямо в загруженном видео.
Работает лучше, чем в Pika:
- сохраняет консистентность добавленных персонажей, но лучше прописывать детали объекта в промпте

🟠Чтобы воспользоваться этим интрументом, на загруженном видео нажмите "edit" и выделите область, которую нужно отредактировать, далее опишите его в промпте.

🌟Генерация изображений в КOLORS 2.0 тоже улучшилась:
-- можно редактировать изображения, меняя детали или расширяя границы;
-- изменить стиль, сохранив композицию

Если хотите полный видеообзор на Kling 2.0 и все новые инструменты, ставьте реакции, расскажу о тонкостях и как составлять промпты, чтобы видеомодель вас понимала💃

💬 Задавай вопросы, делись успехами в нашем чате

AI VISIONS | блог про нейросети

Ребята, всем привет 💓

Последнее время контента от меня было меньше, хотя новинок вышло куча. Дело в том, что всё чаще ко мне стали обращаться с вопросами об обучении, и я задумалась над тем, чтобы запустить для вас полезный продукт. Но очень хочу сделать его максимально точным и без воды, чтобы он реально решал ваши задачи 🤍

Это мой первый личный продукт, и мне важно, чтобы он был максимально актуальным: нейронки постоянно обновляются, а запрос на создание видео растёт. Я хочу помочь вам освоить и понять, как создаются видео в нейросетях.

Я сама проходила не одно обучение и, к сожалению, не всегда получала то, что искала. Поэтому прошу вас ответить на вопросы в анкете, чтобы получше вас узнать и сделать информацию реально полезной и при этом ёмкой по времени.

Буду очень благодарна за ваши ответы! 💗

💓анкета
💓анкета
💓анкета

Небольшой пост про стилизацию видео в Krea AI 🫠

Поменять стиль видео мы уже пробовали в Runway, там я записывала разбор, где использовали первый кадр как референс.

В Krea нам не нужно идти в сторонние нейронки:
здесь загружаем 5-секундное видео, выбираем один из готовых стилей и описываем его в промпте, нейросеть наложит стиль на весь ролик.

Слева вы увидите кнопки ControlNets - это то, что помогает Krea понять, что именно нужно сохранить при стилизации:

❣️Depth (глубина) — сохраняет движение в пространстве (чаще я выбирала именно его)
❣️Edges (контуры) — подходит для крупных планов, и если на видео говорят
❣️Pose (поза) — отслеживает движения людей

Чтобы сохранить композицию, иногда я прописывала описание того, что происходит в кадре, помимо описания стиля 🔄

Чтобы получить хороший результат, регулируйте вес видео и стиля. Чем выше значение у видео, тем лучше сохраняется персонаж и вся сцена при стилизации 👍

💬 Задавай вопросы, делись успехами в нашем чате

AI VISIONS | блог про нейросети

MJ v7

вчера нагенерила портреты по давнему промпту, новая модель ощущается иначе: глубже, реалистичнее, свет, текстуры, всё по-другому.
да, руки всё ещё страдают, не везде ровно, но пока альфа.

я люблю миджорни.
и мне интересно, что будет дальше

Готовила для вас пост про новый новый инструмент Krea video Restyle, но тут релизнули Midjourney V7 🫠

Что нам завезли:

💓 Персонализация здесь уже включена по умолчанию
Чтобы начать работать с новой версией, натренируйте персонализацию, нужно отобрать 200 картинок (но её так же можно потом включить/отключить)
❣️Модель стала умнее
Лучше понимает промпты, улучшились текстуры, в целом объекты теперь выглядят гораздо точнее и аккуратнее.
💓 Draft Mode (режим черновика)
Можно писать промпты голосом (на русском), говорить, что заменить или добавить, и модель сама перепишет промпт и запустит генерацию.
Скорость — в 10 раз выше, а стоимость — в 2 раза дешевле
Но качество ниже, зато идеально, чтобы накидать идеи и потестить.
❣️Два режима — Turbo и Relax
Turbo — дороже.
💓Апскейл, дорисовка и ретекстуринг пока ещё работают на V6 — обещают обновить позже. Moodboards и sref уже в V7.
❣️Обновления будут выходить раз в неделю или две в ближайшие 2 месяца.
Самое ожидаемое — референсы для персонажей и объектов на базе V7.

Я уже потестила draft mode, на самом деле очень удобно для быстрой работы и поиска нужного варианта.

💬 Если уже пробовали — делитесь в нашем чате 🤩

AI VISIONS | блог про нейросети

🆕 Runway представили новую модель Gen-4 🆕

Теперь можно создавать сцены, где персонажи, объекты и локации сохраняются одинаковыми даже в разных эпизодах.
Всё смотрится цельно: стиль, настроение и детали остаются на месте, как одна последовательная история.

Что нового и полезного:

🟠Можно использовать референсы — загружаете фото персонажа/объекта и фона, добавляете текстовое описание, и модель собирает изображение, которое потом можно анимировать с сохранением стиля и всех деталей

🟤 Модель стала лучше понимать промпты (в посте прикрепила видео с пояснением, как их формулировать)

🟠 Видео стало выглядеть ещё более кинематографично, визуальные эффекты стали еще лучше, а движения объектов выглядят более естественно.

🟤 Можно сделать сразу несколько ракурсов — например, вид сверху, сбоку, крупный план и т.д.
При этом персонаж и сцена остаются такими же, без изменений (в посте есть пример с мужчиной)

🟠Наконец-то добавили разные форматы кадра: 1:1, 3:4, 4:3, 9:16, 16:9, 21:9

〰️ На данный момент Gen-4 поддерживает только работу с изображениями, без text-to-video и ключевых кадров.

Модель доступна платным подписчикам, каждая функция будет открываться постепенно.
Ждём, тестируем 🤤

Последние обновления Kling 1.6 🙃

Платформа полностью обновилась — новый дизайн, обновлённые инструменты и новые функции:

💓 AI Sound
На панели инструментов слева выбираем AI Sound → вводим промпт, описывающий звук (например: отдалённый рёв грозы).
Нейросеть предложит 4 варианта — выбираете тот, что больше всего нравится.
❣️Можно также добавить звук к уже сгенерированной анимации, и нейросеть сама подберёт промпт под видео.

🟢В пост прикрепила очень классный мульт, который они создали для демонстрации этой функции.

💓 Elements (подробнее в этом посте)
Генерация стала немного быстрее, точнее, улучшилось понимание промптов и качество изображений.

💓 Extend
Теперь доступен в Kling 1.6 — функция, которая расширяет анимацию на +5 секунд. Просто дописываете, что должно происходить дальше, и готово.

💓 End Frame (последний кадр)
Я уже писала об этой функции в Runway, но теперь она появилась и в Kling 1.6. Здесь работает мягче и точнее, поэтому рекомендую 🫶

💓 Effects
Добавили новые эффекты, например, DizzyDizzy — эффект полного оборота объекта на 360°

Похоже, эта неделя вся под знаком апдейтов:
Krea обновилась, Runway выкатили Gen-4, и совсем скоро нас ждёт Midjourney V7 🫠

💬 Задавай вопросы, делись успехами в нашем чате

AI VISIONS | блог про нейросети