Как подготовиться к GEN 48 — конкурсу фильмов, созданных за 48 часов

Во-первых, зарегистрируйтесь заранее, конкурс будет 26-28 апреля. Всем участникам дают по 300 тыс. бесплатных кредитов. Даже если не будете участвовать, можете 2 дня генерить в GEN-4 что захотите

Вот их гайд по промптингу, который поможет понять, как модель понимает слова и как управлять генерациями

Изучите все работы победителей прошлых конкурсов.
Если коротко, то всегда выделялась идея и смысл, а не форма. Важно оставить у зрителя послевкусие

Подумайте о стиле заранее — например, создайте стилевой мудборд в Midjourney. Можно продумать арки персонажей и основные сюжетные повороты. Правила конкурса всегда были такими, что тема свободная, но есть 3 элемента, которые должны присутствовать в истории

Ну, про базу киноязыка, наверное, не нужно расписывать — это априори важно знать, если хотите рассказывать истории с помощью нейросетей. Тут я могу дать часть лекции по основам кинопроизводства из нашего образовательного проекта АЙ ВИДЕО, с базой по типам кадров, движениям камеры и типам освещения

Если есть настрой поучаствовать — эта подготовка может дать преимущество

Как подготовиться к GEN 48 — конкурсу фильмов, созданных за 48 часов

Во-первых, зарегистрируйтесь заранее, конкурс будет 26-28 апреля. Всем участникам дают по 300 тыс. бесплатных кредитов. Даже если не будете участвовать, можете 2 дня генерить в GEN-4 что захотите

Вот их гайд по промптингу, который поможет понять, как модель понимает слова и как управлять генерациями

Изучите все работы победителей прошлых конкурсов.
Если коротко, то всегда выделялась идея и смысл, а не форма. Важно оставить у зрителя послевкусие

Подумайте о стиле заранее — например, создайте стилевой мудборд в Midjourney. Можно продумать арки персонажей и основные сюжетные повороты. Правила конкурса всегда были такими, что тема свободная, но есть 3 элемента, которые должны присутствовать в истории — их озвучат в момент старта

Ну, про базу киноязыка, наверное, не нужно расписывать — это априори важно знать, если хотите рассказывать истории с помощью нейросетей. Тут я могу дать часть лекции по основам кинопроизводства из нашего образовательного проекта АЙ ВИДЕО, с базой по типам кадров, движениям камеры и типам освещения

Если есть настрой поучаствовать — эта подготовка может дать преимущество

Создаю раскадровки с помощью Sora Image

ChatGPT хорошо понимает, что именно я от него хочу на этапе пре-продакшна, при накидывании первичной раскадровки, но как бы он не был хорош, без Midjourney не обойтись, когда речь идёт о финальных кадрах для проекта в нужном стиле, которые идут дальше, на этап продакшн-моушен

Поэтому идеальная связка на данный момент — это раскадровка в Sora/ChatGPT и финальная генерация в MJ

А вот промпт для генерации раскадровки в ChatGPT:
Сцена раскадровки: (Название сцены или номер)
Количество кадров: (X)
Опишите каждый кадр:
Кадр 1: (Действие), (персонажи), (тип кадра), (ракурс камеры), (настроение), (освещение), (дополнительные заметки)
Стиль: Карандашный набросок
Цветовая палитра: Чёрно-белая
Формат: (Соотношение сторон)
Контекст сцены: (Краткое повествование)

Позже ещё расскажу, как в ChatGPT делать последовательность одного пространства с изменением ракурсов, опять же, как промежуточный этап

Количество ИИ-видеостудий растет

Это отчет FBRC исследует влияние ИИ на индустрию медиа и развлечений. Они поговорили с семью ИИ-студиями и вот основные выводы:

Истории остаются в центре внимания
— Несмотря на технические достижения, ключевым остаётся умение рассказывать истории
— ИИ помогает, но не заменяет традиционный процесс создания контента

Рост количества ИИ-студий
— 65 из 98 студий появились после 2022 года
— Большинство из них небольшие и самофинансируемые (70% имеют команды до 5 человек)

Размытость границы между ИИ-нативными и традиционными студиями
— Некоторые студии используют AI как вспомогательный инструмент, другие строят производство вокруг него

ИИ меняет процесс создания контента
— Генеративные ИИ-методы позволяют создавать контент без традиционной съёмки
— Новые методы производства снижают зависимость от физических съёмок

ИИ-студии сосредотачиваются на промежуточных технологиях
— Используют смесь open-source (ComfyUI) и закрытых моделей (Sora, Runway)
— Разрабатывают уникальные модели и датасеты для повышения конкурентоспособности

Изменение состава команд и востребованных навыков
— ИИ-продакшен требует как традиционных, так и технических навыков
— Компании привлекают узких специалистов (например, AI-художников, инженеров по ML, аниматоров)

Экономические модели всё ещё формируются
— ИИ снижает расходы на продакшен, делая среднебюджетные фильмы более рентабельными
— Некоторые студии ищут альтернативные модели монетизации за пределами Голливуда (например, контент для соцсетей)

Основной фокус остаётся на рассказе историй, а ИИ – это лишь инструмент для их реализации

Пора учиться рассказывать истории

Самый эффективный способ стать заметнее в генерации видео — использовать уже существующих персонажей, события, факты и т. д.

Если в случае с этим постом про стиль студии Гибли это скорее паразитирование, то Павел Жигарев, автор видео про Гагарина, сделал именно авторскую интерпретацию события

Я спросил у него, почему он решил сделать видео про Гагарина:
Решил сделать видео, потому что думаю, что на сегодняшний день технологии позволяют ярко это показать. У нас есть только документальные чёрно-белые кадры плохого качества. А сейчас это можно сделать в современном стиле — например, как Интерстеллар, только с Юрой Гагариным.
Ты отдаёшь какую-то дань тому, на чём или на ком вырос, и используешь это как форму самовыражения.
И если ты привязываешься к известным личностям, ты взаимодействуешь с их аудиторией.
Вероятность того, что какие-нибудь фан-клубы репостнут это видео, очень высокая.

То же самое можно сказать и про рекламные спеки — то есть несуществующую рекламу бренда, которая тоже может быть отличным демо вашего подхода и навыков

Важно постепенно подмешивать в портфолио оригинальные проекты со своей идеей и концепцией — и воспринимать этот метод как временный, просто для привлечения внимания

«Использовать текущий кадр»

Нравится, как получаются длинные, непрерывные видео в Gen-4. Начиная с одного изображения и «гуляя в сознании нейросети», можно строить интересные сюжеты

Это делается с помощью опции «Use current frame» (не путать с «Extend» — его пока нет в Gen-4). В режиме «Use current frame» можно выбирать любой кадр из видео, то есть необязательно, чтобы это был именно последний

Дальше можно управлять происходящим с помощью промпта, тем более, что Gen-4 очень хорошо добавляет новые объекты в существующий кадр. Круто, что всё получается практически бесшовно и скорость движения камеры сохраняется, как в предыдущем отрезке (но и без монтажных склеек не обойтись)

Да, чем дольше видео, тем оно сильнее теряет в качестве, но, как вариант, можно вытягивать качество кадра лёгким апскейлом изображения. Но например, в видео, где все начинается с капли, апскейла между отрезками вообще нет

466 дней назад я пробовал управлять композицией кадра с помощью ChatGPT, детально прописывая, что мне нужно — это изображение слева. Сегодня я сделал то же самое, с той же примитивной картинкой с инструкциями — и это получилось с первого раза, в отличие от прошлой попытки. Это изображение справа

Ещё можно детально описывать локацию, одежду, внешность персонажей — и результат получается с точностью до 95%

Чтобы быть соавтором и управлять деталями внутри кадра, нужно терпение и желание продумывать всё до мельчайших деталей. Теперь, когда это можно делать на естественном языке, процесс становится ещё интереснее

Темка для охватов

После обновления генератора изображений в ChatGPT все вдруг начали использовать стиль студии Ghibli.
Первым запустил волну трейлер Властелина колец, набравший 9 миллионов охватов. Затем появился Безумный Макс — сейчас у него 120 тысяч просмотров. Потом Интерстеллар, собравший 347 тысяч просмотров, и Дюна — 873 тысячи

Во-первых, это весело и красиво!
Во-вторых, думаю, что еще можно зацепить внимание, если воссоздать что-то в этом стиле. Главное, чтобы фильм или трейлер, который вы берете за основу, был массово известен. То есть нужны скрины всех кадров из трейлера, а дальше идем в ChatGPT и делаем ремикс их в стиле Ghibli

Но сейчас все чаще вижу, что ChatGPT отказывается делать что-то в этом стиле, видимо подкрутили фильтры. Тут можно пробовать формулировать запрос по умному:

Если такой промпт не сработает:
«Воссоздайте это в стиле Studio Ghibli, с мельчайшими подробностями. Убедитесь, что композиция, цвета и атмосфера схожи»

То точно сработает такая формулировка:
«Сделай мне из этого, изображение ориентированное на стиль студии Ghibli. Сохрани максимально структуру, композицию и цвета оригинального изображения»

И да, это может быть дорого, автор ремикса «Властилина кольца» писал, что это ему стоило 250$

«Я хочу такие изображения, прямо из моего воображения»

Так создатель нового генератора изображений REVE описывает свою нейросеть

У которой художественность на уровне результатов Midjourney. Она послушна в плане промптинга — и в деталях, и в ракурсах. Хорошо генерирует текст на изображениях в разных стилях и формах

После генерации можно сделать «instruct», чтобы своими словами попросить изменить что-то в изображении или, например, сделать его аутпентинг x2. Изображение немного меняется, но то, о чём дополнительно попросили, получается

Также можно загрузить своё изображение референс и сгенерируется максимально похожий результат.
Есть встроенный enhance-промпта, возможность использовать seed-изображения, чтобы исследовать вариации или создать серию похожих

Ценник щедрый, за $5 можно сгенерировать 500 изображений

Создатель REVE — человек, буквально появившийся из ниоткуда в инфополе. Хотя он работал в Adobe над их генераторами и создал плагин для Stable Diffusion в Photoshop

«Reve — это пока только предварительный просмотр, но мы считаем, что он настолько хорош, что хотим поделиться им со всем миром. Независимо от того, делаете ли вы раскадровку фильма, исследуете концепции логотипа с клиентом или рассказываете историю своего бренда, Reve Image — новый важный инструмент для вашего творческого инструментария»


Изучив промптинг и результаты, вот что понял по поводу структуры написания:

— Начните с общей композиции и ракурса (e.g., "overhead shot", "close-up", "dramatic wide-angle")
— Определите основной объект (человек, предмет, еда, животное)
— Опишите окружение и детали (цвета, текстуры, дополнительные элементы)
— Добавьте стиль и атмосферу (moody, cinematic, retro, documentary)
— Укажите освещение (soft diffused light, neon glow, high contrast)
— Добавьте финальные эффекты (film grain, blur, vignette)

Шаблон:
A [композиция] of [основной объект], featuring [окружение и детали]. The scene is set in [стиль и атмосфера], with [освещение]. The color palette is [цвета]. The image has [стиль], emphasizing [дополнительные эстетические элементы]

Киноиндустрия признала ИИ

На стриминге Amazon Prime идет сериал «Дом Давида», и в нем из 850 VFX-сцен первого сезона 73 сделаны нейросетью

«Это новый набор кистей, которые, оказавшись в руках художника, позволяют делать вещи, которые раньше были невозможны»

Если еще полтора года назад для кинематографистов тема ИИ была табу, то сейчас почти каждая киностудия внедряет генеративные технологии на разных этапах процесса

Директор Disney недавно тоже признался, что они уже используют эту технологию — «ИИ может быть самой мощной технологией, которую видела наша компания»

Самая важная, на мой взгляд, мысль или сигнал здесь в том, что это — легитимация ИИ как инструмента творчества и производства. Инструмента, который доступен всем и применим в домашних условиях

Всегда круто, когда режиссер имеет свой стиль – смотришь и сразу понимаешь, кто снял. В ИИ-кино уже появляются такие авторы, у которых есть свой почерк, чьи работы я всегда смотрю с удовольствием

Один из лучших примеров – The Dor Brothers. Они выпустили 2 серии своего шоу «Passage 12», которое создают с помощью нейросети VEO2. Это смесь кинематографичности, атмосферы и узнаваемого сторителлинга. И концепция, кстати похожа на фильм «Микки 17», который скоро должен выйти

Феномен этих ребят из Берлина в том, что они завирусились благодаря провокационному видео с участием известных лиц и глав государств. Чем и обратили на себя внимание. И за несколько месяцев на YouTube и X они собрали 75 млн просмотров. И это длинные (1–5 минут) горизонтальные видео, полностью созданные нейросетями

Калибровка и Нужен ваш совет!
Пожалуйста, посмотрите этот канал
И подскажите, что можно было бы добавить, чтобы повысить качество контента, разнообразить его, сделать блог более интересным?

Подарю пиццу тому, кто даст наиболее эффективный совет! Доставим в любую точку мира ее.

Опыт 500 часов, потраченных на нейросеть VEO 2

Henry Daubrez, автор видео, создавший мультфильм KITSUNE про одиночество лисы, поделился своей шпаргалкой по работе с VEO 2:

1/ ChatGPT как коллега по работе над проектами.
Это не просто «написать промпт» — это поиск нужной длины и структуры подсказки в рамках диалога. Слишком короткая подсказка не работает как нужно, слишком длинная — теряется информация. Идеальная длина подсказки — 200–250 слов.

При работе над проектом важно делиться с чатом успешными подсказками для их дальнейшего использования, а также неудачными — чтобы ChatGPT смог понять, что работает при генерации видео, а что нет.

2/ Структура важна.
То, что стоит в начале подсказки, приоритетнее и имеет больший вес, чем то, что в конце. Лучше начинать с описания эстетики, времени суток, цветов, настроения, а затем переходить к камере, объекту, действию и другим деталям.

При работе над проектом и ключевыми кадрами важно сохранять структуру для последовательности. Можно использовать следующую схему:
— Subject: главный объект видео
— Context: окружение и обстановка
— Action: что происходит в сцене
— Style: визуальная эстетика
— Camera Motion: движение камеры (опционально)
— Composition: композиция кадра (опционально)
— Ambiance: настроение и освещение (опционально)

3/ Описывать только то, что будет в кадре.
Если вы используете полное описание персонажа (его уникальные черты, одежду, стрижку и т. д.), но вам нужен только крупный план, описывайте лишь детали, входящие в этот крупный план. В противном случае нейросеть просто проигнорирует часть подсказки, и крупного плана не получится.

4/ Запаситесь терпением.
Иногда изменение одного слова в подсказке может полностью изменить результат.
Через количество попыток постарайтесь выявить, какие именно слова вызывают изменения.

5/ Управляйте цветом.
Когда режиссируете кадры, описывайте цвета и упоминайте оттенки. Это помогает достичь большей согласованности и скрыть различия персонажа в разных сценах.

6/ Естественные движения, но...
VEO отлично справляется с естественными движениями, но не стоит быть слишком амбициозными:
— множественные движения камеры не сработают,
— полные обороты вокруг объекта на 360 градусов не сработают,
— хаотичные движения камеры не сработают.

@whatisitsergey

Реально ли это лучшее, что сейчас есть на рынке видеогена?

Я про видео нейросеть VEO 2, которая наконец-то появилась в доступе

Пока не понимаю решения дать доступ к инструменту, через сторонние сервисы. Но понимаю, что это реально во многом лучшая сейчас модель и по реалистичной физике, освещении, весу, движениям. Качество уже хорошее, а если еще полернуть новым апскейлом от Topaz Starlight до 4K, будет 0 сомнений, что это синтетика, а не реальная съемка

Заметил, что с управлением движением камеры есть проблемы, через раз слушается. Промпт пишется по стандартной киношной структуре. Движение камеры нужно вписывать естественно в описание сцены, чтобы оно органично передавало динамику:

Где (среда, атмосфера, погода)
Кто и что делает (персонажи, действия)
Как снимается (ракурсы, движение камеры)
Свет, цвета, настроение
Доп. детали (туман, дождь, отражения, стиль)

Как вариант можно, что-то попридумывать в VeoGPTs

Что касается генерации из изображений, то тут при генерации бывает, как в Sora, кадр может перескочить на другой ракурс или позу и поменять контекст, то есть используя изображение, как референс контекста, а не как начальный кадр. У меня такое случается, когда VEO 2 не понимает промпт и что вы от нее хотите. Результат очень хорош, когда все получается, но тот же Kling не сильно уступает при генерации из изображений

Нашел, где можно поиграться с VEO 2 и сравнил ценники:
36 евро за 45 генераций по 5 секунд
https://www.freepik.com/pikaso/ai-video-generator

2,5 доллара за 1 генерацию в 5 секунд или 4 доллара за 1 генерацию в 8 секунд
https://fal.ai/models/fal-ai/veo2
https://fal.ai/models/fal-ai/veo2/image-to-video — да тут уже есть I2V и оно работает (перестал работать)

23 евро за 86 генераций по 8 секунд (не актуально)
https://poe.com/Veo-2.0

1,25$ за 1 генерацию в 5 секунд
https://nim.video — у этих есть преимущество, что есть встроенный апскейл видео в 2-4х раз, который действительно норм работает

Пару месяцев и остальные модели подтянутся по уровню

Так хорошо, что не верится

Ну, во-первых, это крутая сцена из второго сезона сериала «Разделение», которую, кстати, как говорят создатели сериала, снимали пять месяцев (именно эту сцену — в оригинале она длиннее, около минуты он там бегает) и собирали из 10 разных частей, потому что там сложные приемы съемки

Но мысль о другом. Автор примеров на видео дообучил опенсорс модель для генерации видео Hunyuan Video на актёре Киану Ривзе и с помощью video-to-video заменил оригинального актёра из сцены сериала на Киану.
Большинство людей не заметят мелкие проблемы с волосами при резких поворотах головы, но это выглядит очень бодро, особенно когда ИИ ловит тонкие движения в выражении лица актёра

Сейчас до удивления легко создавать видео, в которых актёры делают или говорят то, чего на самом деле никогда не делали, или взять отрывок из фильма и заменить лицо актёра на чьё-то другое

Дообучение видеомодели называется LoRA — с его помощью можно обучать собственные стили, персонажей, движения и эффекты. И для видеомодели Hunyuan таких LoRA становится всё больше (в основном их выкладывают на Civitai). Это похоже на то, как когда-то появился Stable Diffusion 1.5, и начали появляться обученные модели разных стилей для создания изображений. Сейчас то же самое происходит с китайской видеомоделью Hunyuan

Если у вас мощный комп, то саму нейросеть можно развернуть у себя с помощью Pinokio или потестить здесь.
Кто хочет разобраться — вот инструкция, как обучить свою LoRA для Hunyuan в сервисе Replicate

Made with Google VideoFX/Veo 2

Собрал, на мой взгляд, хорошие работы от создателей с ранним доступом (Passage 12 от The Dor Brothers — мой фаворит, с точки зрения повествования)

Когда речь заходит о реалистичной физике, освещении, весе, движении, видно, насколько они опережают другие видеогенераторы

Тот же Kling, конечно, далеко не отстает и остается лучшей видеомоделью для меня. А вышедший на днях Luma Ray2 (именно image-to-video) дает очень близкие результаты к VEO 2

Google хитро придумали: вместо классического image-to-video они сделали text-to-image-to-video. То есть с помощью встроенной в процесс Imagen 3 сначала генерируется изображение, которое можно предварительно увидеть, а потом из него создается видео

Из примеров работ видно, что последовательность довольно хорошая (ну если прям в мелкие детали не вдаваться). Есть еще одна хитрость, касающаяся контроля результата: с помощью их же инструмента Whisk можно загрузить референс объекта (персонажа), сцены и стиля, контролируемо сгенерировать изображение, взять получившийся промпт и использовать его в VEO 2 в процессе генерации text-to-image-to-video. В итоге изображение получается практически один в один

Пока версия на сайте недоступна для всех (можно только whitelist заполнить), они добавили лайтовую версию VEO 2 в приложение YouTube. Лайтовую — потому что качество ниже, только вертикальный формат и с вотермаркой

А вообще, пора бы уже понять, что дело не только в инструментах, качество которых уже достаточно для многих задумок, но и в человеке, который ими пользуется

Credit: The Dor Brothers, Dave Clark, Ruairi Robinson, Jason Zada, Daniel Barak, Kavan the kid, László Gaál, Henry Daubrez

Заставляя невозможное выглядеть реальным

Несколько месяцев назад появился термин GVFX (генеративные визуальные эффекты), придуманный Runway. Тогда «эффекты» создавались из изображения, то есть из реального видео вырезался нужный кадр, и на его основе генерировался какой-нибудь эффект

Сейчас же Pika сразу встраивает в видео что угодно или кого угодно, используя референс-изображение. Они назвали это Pikadditions

Не хочу даже представлять, сколько времени заняли бы такие VFX-съёмки при классическом производстве: трекинг 3D-камеры, оценка освещения, работа с окклюзией, создание активов, анимация, композитинг и т. д. Понятно, что при генерации качество заметно ухудшается, надо дополнительно потом апскелом проходить. Да и генерировать можно всего 5 секунд, если что-то придумывать длинное, то выкручиваться монтажом и сменой ракурса. Еще я пробовал записывать себя говорящим и добавлять что-то на фон, но в результате липсинк куда-то пропадал

Что нужно:
Видео на 5 секунд, изображение-референс, промпт (пример их стандартного промпта):
«Добавьте это в моё видео. Основываясь на текущих действиях в оригинальном видео, придумайте естественный и привлекательный способ размещения объекта»

«Add this to my video. Based on the current actions in the original video, come up with a natural and engaging way to fit the object into the video»

Вообще, мне не нравятся эти «пикавцы» — слишком убогое у них управление компанией. Но технические штуки они придумывают быстро (или, если точнее, внедряют разные сторонние разработки)

Уже доступно на сайте и на бесплатном тарифе дают попробовать погенерить (но с ватермаркой, она убирается только на про тарифе — за это их и хейтят все)

Скорость от VideoFX by Google

Очень нравится как модель Veo 2 справляется с динамичными сценами

Текст ту имедж ту видео
Многокамерная съемка


Понимание окружающей среды и динамическое моделирование физики просто поражает. От понимания земли с моделированием пыли и грязи до луж с динамикой воды - просто потрясающе.

У меня нет доступа, я пишу всем в Твиттере у кого есть доступ и кто выкладывает видео, спрашиваю чем это отличается от текст ту видео клинг или минимак.

Если что любой современный текст ту видео может выдавать очень хорошие результаты, но когда мы говорим о имедж ту видео то тут все сразу становится на свои места и показывает какая модель на что способна.