Оказывается вы тоже можете оживить такие работы

Спустя 5 минут OSINT, я узнал что картинки — переработки через фотошоп LINK

А вот анимация — это любая видео модель, которая поддерживает картинки на вход. Потому держите мое продолжения мема.

Оживил в Kling.ai 1.6

У ваших детей мало травмирующих воспоминаний? Самое время добавить ещё парочку, оживив их рисунки 😅

Пост для классического постпродакшена.
Ребята из KeenTools показали удобный хинт для трека камеры через GeoTracker и любой 3D генератор. Или как у них через ComfyUI/

Как многие вчера догадались — да, мы тестировали новый Kling 2.0 💥, который я гоняю уже где-то неделю в рамках партнёрской программы.

Что могу сказать? Он очень хорош: понимание промта, количество движения, последовательность — отлично.

😑 Первое видео — тест img-to-video из случайных кадров (включая ваши генерации и, конечно же, Уилла Смита с пастой).

😳 Второе, более интересное — новый режим Multi-Elements (на версии 1.6), который подрезали у Pika, но сделали гораздо лучше. Загружаете видео, референс, пишете что-то вроде "замени/удали/добавь [объект] из футажа 1 на [объект 2]" — и готово.

В целом, что нового:

1. Модель KLING 2.0 с улучшенными базовыми возможностями
Пока что только базовые режимы Text to Video и Image to Video, 720p, без дополнительных контролов (но, возможно, скоро подъедет другая версия 2.0).

2. Multi-Elements (v1.6)
Добавление, замена, удаление объектов в видеосцене — удобно, гибко, быстро.

3. Motion Control (v1.6)
Кастомная анимация персонажей на изображении по промту или референсу.

4. KOLORS 2.0 — обновлённая генерация изображений
Большие улучшения по сравнению с версией 1.5 — по качеству, цвету, деталям.

5. Restyle (KOLORS 2.0)
Смена стилистики изображения — работает чисто и разнообразно.

6. Редактирование изображений
Новые функции Inpaint и Expand для креативного редактирования.

Деревня дураков, но это аниме опенинг.

Самый сложный из этой серии. Миджорни был не в состоянии справиться со стилизацией уникального дизайна персонажей, поэтому для датасета (ну и для ряда кадров) использовал новый ChatGPT 4o. Плюс вагон фотошопа, море черрипикинга, работы по ключевым кадрам и прочих радостей.

Пайплайн: ChatGPT 4o + Flux + Photoshop + Luma Ray 2 / Kling 1.6 / Gen-4 + Suno + CapCut.

Версия для ютуба, если кому надо.

Рефактор канала #1
Это полностью административный пост, он больше про личный опыт и личные вещи.

📕 Философия Канала: Зачем этот канал был создан?

— Документировать: Делиться интересными, на мой взгляд, новостями, технологиями и вещами. В открытом виде, то есть лично-публичная библиотека идей и постов.

— Творить и Тестировать: Погружаться в творческие процессы, пробовать новое, создавать дизайны и продукты. Канал — это моя открытая мастерская и лаборатория. Не удивляйтесь странным постам или моим запискам самому себе в будущее.

— Делиться Процессом: Рассказывать не только о результатах, но и о пути к ним, включая исследования, ошибки и находки.

🍕 Сейчас у меня в активной фазе два проекта, в которых я во всю использую Gemini Deep Search (Недавно стал доступен 2.5 PRO):

— Бетонные вазы: Продолжаю эксперименты с пропорциями и материалами внутри смеси.
— Переработанная бумага из чеков: Этот проект оказался с подвохом! И кажется в 2020 году, когда я его начинал я чуть-чуть подпортил свое здоровье по незнанию.

📕 Чеки: Неожиданная Токсичность и Глубокий Ресерч 🧾

— Проблема: Оказалось, что привычные нам термо-чеки (те, что печатают без чернил, за счет нагрева бумаги) довольно токсичны. Они содержат бисфенол А (BPA) или его аналоги (BPS), которые вредны не только при печати, но и при контакте с кожей. А при нагревании (например, если на них попадет горячая вода при попытке переработки) токсичность может возрастать. Это стало важным открытием, так как напрямую влияет на безопасность проекта по переработке.

— Процесс исследования: Чтобы разобраться, пришлось копнуть глубже. LINK
• Использовал Gemini Deep Search для поиска и анализа информации.
• Собирал все находки в Google Docs – это очень удобно, так как все ссылки под рукой, можно быстро перепроверить источники.
• Изучал не только текстовые статьи, но и YouTube-каналы. Визуальная информация часто дополняет текст, показывая нюансы, которые легко упустить.

— Результат (пока промежуточный): Узнал, что, например, чеки из Lidl (по их заявлениям и маркировке FSC) не должны содержать фенолы. Конечно, это при условии, что мы доверяем информации от производителя и сертификации. Но это уже дает больше спокойствия и направление для дальнейшей работы. Подробное исследование тут: LINK

💬 Комментарии и Новые Формы Общения
Вы могли заметить, что комментарии под постами теперь закрыты. Почему?

— Фокус: Хочется сделать общение более сфокусированным и продуктивным.
— Спам: Это намного дешевле, чем использовать ботов, которые не всегда могут поймать спам.
— Знакомства: Вам будет легче найти людей по интересам.
— Новые форматы: Вместо открытых комментариев я ввожу:
• Творческий закрытый чат: Пространство для более тесного общения, совместного творчества, обмена идеями и демонстрации процессов тем, кому это действительно интересно.
• Основной чат на стрим-канале остается открытым для всех.


☺️ Хотите присоединиться к творческому чату? Я сделал для этого лютую форму, что остановит многих, но останутся лишь действительно заинтересованные: LINK

В следующем посте про рефактор канале, дата выхода пока неизвестна, я расскажу про монетизацию канала(АРТ-товар в Нови-Саде за донат) и про планы по контенту

Вы когда-нибудь хотели стать лучшей версией себя?

Превращение в собачек и кошечек, это, конечно, здорово и все такое... Но это как-то плоско и попсово, не находите? Что если пойти дальше и представить как человек бы выглядел в виде... предмета ИКЕА? Или, может в виде... панельки?

Я разогнал разные нетипычные превращения и вот что получилось :) Промты закину в комментарии

ИКЕА:
Create a photorealistic IKEA-style product inspired by the appearance and personality of the person in the photo. The item can be any typical IKEA product — furniture, kitchenware, lighting, tools, or home accessories — but it should subtly reflect the person's most distinctive facial features, hairstyle, body shape, or personal aura through its shape, textures, colors, or design elements. The result should look like a real IKEA catalog photo: clean Scandinavian design, soft natural lighting, light background, and a product name in IKEA’s naming style. Make sure the object looks like it could be bought in a real IKEA store

ПЛАНЕТА:
Transform the human in the reference photo into a non-anthropomorphic planet in space. The result must show only a celestial planet — no human body parts, no face, no limbs, and absolutely no anthropomorphic shapes. However, the planet must fully preserve the pose, mood, emotional tone, personality, and energy of the original photo. Keep the lighting, composition, and vibe similar to the reference image. The planet should be a symbolic, cosmic reflection of the person’s inner world — but entirely as a planet, floating in space

Wan + Mago

Для рестайла любимых клипов! Начинаем с небольших видео в качестве ресерча.

Оригинальный клип:
Mr Oizo - M Seq

Если вам надоел псевдо Гибли стайл в ChatGPT

🐱 Держите WAN генерации обучены на настоящем Гибли Студио работах!

От автора в дискорд сообществе Banodoco — seruva19

📕 Лора + Огромная инструкция, как обучалось и как генерить! — LINK

И вот уже 4 ресерч стрим прошел:
КОНТЕНТ
— Комиксы в ChatGPT и в Gemini, первая картинка мой скетч и затем лучший вариант от ChatGPT и лучший как по мне вариант от Gemini
— Жопки Мопсов в Recrfat.ai

— И TinyGlade скриншот моих построек превращаем в живое постсоветское пространство. По плану летом будет целый стрим по TinyGlade

ПЛАН
— Если все удачно будет, то завтра сделаю 10 минут нарезки на канал

А пока, вот запись стрима:
https://www.twitch.tv/videos/2424419273

Сегодня хороший стрим!

Что узнали:
— Gemini самый быстрый (6-8 секунд) на генерацию и самый всратый по стилизации. Бывает Policy банит генерации

— Grok, быстрый тоже, по контенту не сильно держит оригинальную картинку, но хорошо передает стиль. Policy не трогает генерации

— ChatGPT, самый медленный (в среднем 2 минуты на генерацию), лучше всего переносит стиль и контент картинки, но постоянно падает, то из-за ошибок, то из-за Content Policy. Самый не стабильный с точки зрения инфраструктуры. Еще и путает соотношение сторон часто, в сравнение с другими моделями, у которых такой проблемы нет.


— По видео через кадры. Пока печаль...

Стиль:
Convert image to Monkey D. Luffy style.

Спасибо всем! Может завтра успею нарезать это все и закинуть лучшие моменты сюда!
Запись стрима: https://www.twitch.tv/videos/2418252869

OpenAI своим новым генератором сломали интернет. В Твиттере невозможно находиться, потому что каждый пост — это Ghibli версия чего-то (бедный Миядзаки). Но среди тонны кеков нашел этот трейлер Lord of the Rings. По словам автора сделан за 9 часов и 250$ кредитсов в Kling. Сами кадры трейлера, их 102 штук, разумеется, рестайл в новом ChatGPT.

Самое удивительное в этом — отсутствие привычных ограничений OpenAI (на стиль, персонажей). Есть у меня ощущение, что скоро лавочку прикроют, как это было в свое время с Dalle-3.

AGI = All Ghibli Images

Я трогаю траву, потому так мало постов на канале.

Сегодня личный контент:
— Делал большой рефактор питания, бюджетов, не без помощи ChatGPT.
— Собрал 5-6 стабильных рецептов для готовки себе. Тоже ChatGPT + весы кухонные для идеальных граммовки и тесты, тесты, тесты. Но просить LLM не говорить щепотку соли, это конечно проблема. У всех пальцы разные, почему просто нельзя в граммах написать?

— Вернулся в акробатику. Тут ChatGPT конечно не помог, хорошо есть свой опыт и куча каналов с обучением на ютьюбе.
— Сделал по 20 минут в день(при хорошей погоде) тренировок на скейте.
— Сформировал себе зарядки и планы тренировок на день. Что в целом за месяц дало невероятные результаты, как похудения, так и формы.
— Делаю рефактор этого канала, канала для стримов, ютьюб канала и патреона.
— На неделе напишу про то, как стал делать бетонные вазы, как подбирал цемент, пропорции, узнал много нового.

В общем мне иногда нужно побыть человеком, который любит жизнь и учится новым навыкам. А нейронные модели чуть попозже.

Как правильно задавать технические вопросы (и почему это важно для общения с LLM)

Одновременно я столкнулся с двумя вещами в последний месяц: Странные вопросы и замечательные текст с этого сайта про умные вопросы.

Прежде чем задавать технический вопрос по почте, в группе, на форуме или мне в канале, стоит предпринять несколько важных шагов:

— Попробуйте найти ответ, изучив архивы форума или рассылки.

— Используйте поисковые системы (например, Google или Deep Search в разных моделях).

— Обратитесь к официальной документации.

— Проверьте раздел часто задаваемых вопросов (FAQ).

— Попробуйте решить проблему самостоятельно, путём анализа или экспериментов.

— Спросите совета у более опытных коллег или друзей.

— Изучи исходный код или ноды детально, перед вопросом.

Когда будете задавать вопрос, важно показать, что вы уже предприняли усилия для поиска ответа. Это сразу продемонстрирует уважение к чужому времени и покажет, что вы не «ленивая губка», пытающаяся просто вытянуть информацию. Ещё лучше указать, чему вы уже научились в процессе поиска.

Используйте конкретные приёмы поиска. Например, вставляйте точный текст ошибки в Google. Даже если это не приведёт вас сразу к решению, упоминание о том, что вы уже сделали поиск, поможет другим понять, какие методы не сработали, и направит людей с аналогичными проблемами к вашему обсуждению.

Не торопитесь. Сложные проблемы редко решаются за пару минут поиска. Подумайте внимательно, сформулируйте точный вопрос, подготовьтесь. Опытные пользователи сразу увидят, насколько глубоко вы изучили проблему и будут охотнее помогать.

Осторожно подходите к формулировке вопроса. Неправильно заданный вопрос, основанный на неверных предположениях, часто приводит к бесполезным или буквальным ответам, которые никак не помогают решить вашу реальную проблему.

Не думайте, что вам обязаны ответить. Помощь в открытых сообществах — это не платная услуга. Ответ нужно заслужить интересным, осмысленным и хорошо проработанным вопросом. Подчеркните готовность активно участвовать в процессе решения проблемы. «Подскажите, в каком направлении копать?» или «Чего не хватает в моём примере?» — такие вопросы намного чаще получают полезные ответы, чем просьбы типа «напишите мне точную последовательность шагов».

📕 Почему это важно для общения с LLM?

LLM (большие языковые модели) тоже работают лучше, когда запрос составлен чётко и продуманно. Чем яснее и подробнее сформулирован ваш вопрос, тем точнее будет ответ нейросети. Подход «сначала подумай, потом спроси» отлично подходит и для взаимодействия с искусственным интеллектом. Вы сэкономите время и получите более качественные и полезные ответы.

Правильно заданный вопрос — это уже половина решения проблемы. Не пренебрегайте этим шагом, и общение как с людьми, так и с LLM будет приносить гораздо больше пользы.

Вчера прочитал, что мульт Flow собрал $36 миллионов при затраченных $3.7!
В популярности, конечно же, сыграл аспект того, что мульт получил Оскара.

Но важно, что сама история и подача сработали за счет свежего подхода. При этом никто не говорил, что там крутые спецэффекты, графика, рендер или что-то подобное. Ребята сами признавались, что в Blender и создании мультов были новичками.

Все это дает новое дыхание независимой анимации. И тут мы разобрались, что инструменты не так уж и важны для успеха. Поэтому ИИ с его ускорением процесса производства — не помеха, но и не буст, но точно причина понижения порога входа. История и возможность экспериментировать — вот что будет решать.

Большинству в целом было без разницы, что анимация во Flow была странной, мягко говоря, или что шерсть выглядела неестественно, ну и много чего еще. Поэтому какие-то косяки AI, если правильно обернуть их в стиль и держать под надзором хорошего арт-директора, вообще не будут восприниматься как недостаток.

Так что будем ждать смелых и дерзких!

Обработка видео и 3D моделей в Runway

Тестировала пайплайн обработки 3D видео с помощью Runway. В обработку обычных футажей решила не лезть, с ним мне более-менее все ясно, да и думаю многие достоинства и недостатки обработки фигур будут такими же. Пайплайн с классным использованием Клода я пока не брала (спасибо каналу @CGIT_Vines), мне тридэшные футажи подготовил коллега.

Вообще я концентрируюсь на обработке видео и поэтому возможность управления с помощью 3D, созданных в LLM на будущее мне очень улыбается.

Кратко:
⁃ 3D видео вытащенное из Blender
⁃ Обработанный в Krea первый кадр из видео
⁃ Текстовый промпт, обработка первого кадра и настройки в Runway (там их немного)

Плюсы:
⚠️Жирный хрон, можно сделать одной кнопочкой больше 5 секунд
⚠️Мало кнопочек
💿Выглядит эстетично, никакого моргания
⚠️Работает быстро, много видео в очереди

Минусы:
🪩Мало кнопочек — мало управления
✨Малый контроль сюжета даже с обработанным кадром и промптом
🪩Для обработки нужен обработанный первый кадр, а не просто картинка, это занимает время
🪩Никаких фантастических приколов вне промпта — это вам не Deforum
📺Свойственны те же артефакты, что и нынешней версии Runway — мыло, появляющиеся и исчезающие предметы и люди

Итого: полезная штука, использовать и экспериментировать хочется. Перспективно полезно и в арте, и в рекламе, и в кино, но мне хочется больше спонтанности.

Дальнобойщики, но это аниме опенинг.

Ёкарный пайплайн: Midjourney + Claude + Flux + Photoshop + Luma Ray 2 + Suno + Сapcut.

Трек: кавер на Високосный год - Тихий огонёк.

Спасибо всем кто репостит и упоминает, мотивирует продолжать!

Версия для ютуба.

Andrew Price затестил текущие модели для генерации 3D. Тест не идеальный, так как некоторые игроки не представлены на тестах. Но, тем не менее, это дает представление о текущем положении дел.

Главное — помнить, что где-то использовались PRO-версии генераторов, которые, как я подозреваю, просто наваливают больше геометрии, и точность вырастает именно из-за этого. Стоит ли пользоваться или переживать — решать вам.

Поле Чудес, но это аниме опенинг ✨

Продолжаю экспериментировать с Luma Ray 2.

Пайплайн: Midjourney + Flux + Luma Ray 2 + Suno.

Версия для ютуба, если кому нужно.

Офигенный workflow от аниматора Cuco

Это как раз идеальный пример, как художник может использовать AI для упрощения процессов не особо теряя в качестве.

-- Тут обучение Лоры на своих артах, особенно когда их мало.

-- Создание всего окружения в своём стиле + создание простых сцен. Я делал что-то похожее здесь.

-- Создание простых анимаций использую только линии и затем Lineart на своей Лоре чтобы сделать финальную картинку.

-- Далее AnimateDiff с Lineart ControlNet для сцен + Лора. И вот уже у нас офигенные слои, которые можно будем потом композить.

Автор: LINK

Чуть потестил Wan2 с большим контекстным окном

📕 Плюсы:
— Можно генерить столько кадров, сколько хочется

🐈‍⬛ Минусы:
— На сложных сценах видны склейки между переходами в контекстном окне
— Не добавить Лору, как можно в оригинальных пайплайнах WAN от ComfyUI

☺️ Держите котят-поваров, которые пекут в разных локациях булочки и тортики.

Разные пайплайны от Kijai по Wan: LINK

📕 В общем жду ControlNet под Wan и возможность использовать картинку как style reference при vid2vid и забираю WAN как основную модель для всех своих видео арт проектов.

Контекстное окно для Wan подъехало

Теперь можно генерировать ролики любой длины, вот что пишет основатель Banodoco:
Kijai реализовал подход для сдвига контентного окна с Wan 14B, который показывает действительно хорошие результаты — если не обращать внимание на красную панду, пытающуюся оседлать маленького бегемота
🐱 Причем многие из этих наработок взяты из AnimateDiff, кажется Wan становится преемником AnimateDiff в опенсоурс буквально на глазах. Ждем ControlNetы и это будет новый расцвет видео опенсоурса над closed сообществом.

🐈‍⬛ Я уже сейчас не успеваю все потестить. Но обещаю адаптированные бенчи на следующей неделе, в комменты покидаю небольшие результаты с Text2Video 14b модельки.

☺️ А еще и Лору очень хочется натренировать уже.

Flow о котором я делал репост ранее — вчера выиграл Оскар, как лучший анимационный фильм.

🐱 Что самое интересное, весь фильм был сделан в рендер движке Eevee
С Eevee знаком каждый, кто начинал создавать что-то в Blender, его скорость всегда меня радовала, особенно когда у вас небольшой объем памяти на GPU или CPU.

📕 Для тех кто хочет углубиться — вот здесь огромная лекция на конфе по Blender о создании фильма
Еще понравился вот такой комментарий:
Что?? Всего 20 аниматоров сделали весь фильм всего за 6 месяцев? Половина из них не знала Blender заранее, а другая половина были джунами? Это ДЕЙСТВИТЕЛЬНО впечатляет!

☺️ Это наверное первый полный анимационный фильм, который был сделан в Blender и забрал номинацию Оскара. Мне особенно это приятно, когда инструмент признается как профессиональный.
Сейчас часто делаю болванки vid2vid для видео моделей через Blender.

И чуть еще Wan 14b image2Video и СтопМоушн анимация

📕 Тут автор поделился некоторыми параметрами:
Я тестировал Wan2.1 14B 720p и пытался понять, в каких областях предыдущие модели с открытым исходным кодом для видео не справлялись, и мне пришла в голову техника покадровой анимации. Для инференса я использовал 30 шагов семплирования, CFG 6 и Flow Shift 5, чтобы получить эти результаты, и был крайне впечатлен! Думаю, что большое значение имеет тот факт, что частота кадров видео составляет 16, в отличие от Hunyuan, где она равна 24. С нетерпением жду возможности протестировать это дальше, и обязательно поделюсь еще более хорошими результатами.
LINK

🐈‍⬛ Ну чтож, жаль у меня на все выходные уже есть дела. Но нужно собрать интересный бенчмарк для теста Image To Video, то есть картинок + промптов.

Покидайте идеи сложные в комменты для бенча. Не просто портретных фоток девушек, которых завались в датасете, а именно сложные концепты.

Вот неплохое сравнение Wan 14b и платных аналогов ImageToVideo

Правда без промптов и дополнительной инфы

Link

Сделал небольшой бенчмарк по Wan опенсоурсному генератору.
UPD: Делал тесты на младшей модели, потому будет продолжение с 14B моделью.

В этот раз всего 3$ потратил на множество тестов. В данном случае использовался только textToVideo чекпоинтом чтобы проверить разницу с Veo2

📕 Взял уже знакомые промпты (полные промпты в комментариях):
1. Коллажная анимация в стиле Граффити
2. 3D рендер мистического существа с Оленем наездником в доспехах, на заднем плане много планет и звезд
3. Сцена в кафе, где один из героев проливает чашку кофе
4. Сцена, где персонаж делает двойное сальто на батутах

☺️ Все тесты делались на L40s:
— 720x480 ~10 минут на батч из 4 видео 81 кадр
— 1280x768 по ~12 минут на одно видео 81 кадр

🐈‍⬛ При 1280, сразу плывет вся сцена...

📕 Выводы
Конечно я потратил всего 3$ на тесты, но Wan, как и многий видео опенсоурс обучался на небольших видео, например, Wan максимально на 720px видео. Потому ждать супер качество не нужно. Но возможно его небольшой размер сыграет в плюс для дообучении. Hunyuan Video Model - в этом плане намного мощнее, хоть и потребует больше ресурсов на генерацию.

☕️ Ipynb для тестов на Runpod, и вся доп инфа здесь: LINK

И в целом в ComfyUI теперь есть поддержка WAN.

Опенсоурсный Wan вышел и я в наглую потырил примеры видео из разных мест

Не зря недавно промпт бенчмарки сделал для Veo2, сравню скоро по тем же промптам.

📕 Kijai уже запилил ноды для ComfyUI

Давайте попробуем мой небольшой bench сравнение с o3-mini-high и Claude 3.7(без подписки)

📕 Входные данные:
— У нас есть картинка из Instagram от IdFlood креатив кодера.
— Я хочу как можно быстрее и качественней воссоздать её имея небольшой опыт в p5js и python
— У меня есть всего 1 час для этой задачи. Включая ожидания кода, сравнение и рефактор.
— Для скорости проверки кода я взял python и colab для быстрых тестов.

☺️ Процесс:
— Промпт у нас один и тот же: картинка + небольшое описание.
— Обе модели генерировали код с минимальным количеством багов, при этом у Claude больше визуальной красоты, а у o3-mini-high больше приятной документации и описания параметров, которые я могу менять для улучшения визуала.
— Визуальный анализ результата и я подаю новый промпт для рефактора кода.

📕 Результат (Картинка 2 и Картинка 3):
— У меня было больше попыток в o3-mini-high (7 итераций), чем в 3.7 Sonnet (3 итерации). Потому финальный результат будет после завершения еще 4 итераций в 3.7 Sonnet. Ждите вторую часть
— o3-mini-high дает больше информации и идей, при этом 3.7 Sonnet сразу учитывает мое желание, чтобы результат был без plot информации, дает интереснее цветовую схему и геометрию.
— Обе модели проигнорировали сильное желание создать Flow effect(эффект потока) в линиях генерации. Для этого я скорее всего пойду к экспертам, чтобы понять какие два вида шума мне нужно скрестить, чтобы получить эффект реки.

🐱 Выводы:
— Обе модели не дали мне финальный результат, но улучшили мое понимание что мне нужно делать, например в Blender для того чтобы повторить эффект. (Какую именно логику использовать для написания геометрических нод с нуля, как использовать расстояние и шум для создания flow эффекта, как в оригинале, эффекта реки или потока)

— Стало понятнее, что новые модели все ближе собирают данные к нашему времени, поэтому мы получаем более актуальную информацию, больше актуального кода. Но беда таких моделях прекрасно показывает проблему людей, которые хотят использовать такие модели для ресерча находясь на краю науки. Пример с Плазма канала, где он пытался найти информацию для ресерча, а ChatGPT закинул ему его же ролик.

🐈‍⬛ Отдельный вывод:
Так уж случилось, что для меня самый сильный benchmark на супер интеллигентность модели это спросить написать скрипт по Python API по Геометрическим Нодам для 4.2 версии Blender. И пока все результаты всех доступных моделей постоянно с ошибками.

— Claude 3.7 так же плох с Python API по Геометрическим нодами. Так как в интернете очень мало информации по Python API для Геометрических нод, а официальная документация пока такого уровня, что мне сложно её понять. Как и любой модели. Я конечно могу сесть и расписать это все, разобраться, сделать юзерфрендли, запостить в инет, а потом это соберется как датка для новой модели и модель наконец-то разберется в сложной документации. (Или все же это оказался человек? Который разобрался и поделился?)

📕 Вся информация:
Делюсь чатами, к сожалению, OpenAI не дает делиться чатами с картинками в отличие от Claude, потому вот приятный вид claude 3.7 Sonnet:
LINK
И pastebin OpenAI o3-mini-high:
LINK

📕 Colab со всеми тестами:
— Вы можете легко перепроверить все результаты. Или подсказать мне как же улучшить этот код, чтобы получить более идеальный вариант под референс.
https://colab.research.google.com/drive/1jt3LQNwJmtE7cl6jlRPKohnpMyGNl1vH?usp=sharing

Похож результат в итоге хоть чуть на референс? И как вам бенчмарк такой?

Тут Денис пробовал Veo 2

🐈‍⬛ Я живу в бедной Сербии, да и сам не богат. Потому я так же попробовал Veo 2 от Google DeepMind и поделаюсь вам ссылкой где пробовать дешевле:
На Fal.AI — 5 секунд стоят 1.25$ + 0.25$ за каждую следующую. (А зачем мне 8 секунд для тестов? Когда по 5 все можно понять)

А теперь переходим к тестам. Для промптинга я взял статью от гугла про Veo 2 и заметил в их примерах стиль T5XXL(спасибо FLUX), не долгая думая этот вариант для промптов и возьмем.

Для тестов я создал себе бенчмарк из таких сцен:

1. Коллажная анимация в стиле Граффити
Интересно как Veo 2 работает с нестандартной анимацией и коллажами

2. 3D рендер мистического существа с Оленем наездником в доспехах, на заднем плане много планет и звезд
Это отсылка к этой работе

3. Сцена в кафе, где один из героев проливает чашку кофе
Я видел как все радовались физике в Veo 2, давайть проверим сцену, которую можно легко снять в реальности, то есть супер простая задача для продакшана

4. Сцена, где персонаж делает двойное сальто на батутах
А вот эта сцена хоть и не простая, но достаточно важная для боевиков, где нужно подчеркнуть, что наш персонаж изи делает сальто отстреливаясь от всех. Ну и конечно же сила трансформеров в Veo 2, позволит перенести это двойное сальто потом на других персонажей, верно? Что может пойти не так?

Промпты целиком в комментариях

☺️ Наверное из всего что получилось, мне больше всего понравилась коллажная анимация. Возможно если сильнее доработать промпт и, например, задача сделать заставку для youtube канала или перебивку, или заставку для сторис из поездки, этот бакс выглядит неплохой тратой.

😐 Про сальто — это будет проблемой для всех text2video моделей. Из двух попыток, каждая ужасна. И так будет очень часто из-за проблем с даткой и архитектурой видеомоделей. А у меня в том же ютьюбе, столько видео про андеграунд соревнования на батутах. Но видимо эти данные не брались в обучение (что наверное хорошо) или не размечались вовсе. А сцену, которую я скину в комменты интересно когда сможет получится в видеомоделях, например, с миньоном персонажем?

Финал
💰 В моем случае тесты стоили 11.25$ (Столько же в моем бюджете стоит купить еды на два дня для двух человек в Lidl)
Для создания анимационного арта я пожалуй выберу Blender.

Когда смотришь как работает твой сложный код в реальном продукте полностью написанный Нейросетью

Original

Андрюха, у нас Улица разбитых фонарей, но это аниме.

Результат моего теста Luma Ray 2.

Пару недель назад посмотрел мульт Flow — это тот, который про кота и потоп.

Неожиданное и запоминающееся открытие года. Основная его фишка в том, что он вообще без слов, что особенно удобно, когда ищешь в чужой стране, что посмотреть, хотя бы на английском.

Фишечка именно в отсутствии диалогов. Мозг и нейронная активность при таком просмотре активируют не только зрительную кору, но и области, которые связаны с визуальным восприятием и обработкой эмоций.

В мульте, наверное, есть только один момент, который позволяет выдохнуть, всё остальное время находишься в напряжении.

Что интересно, режиссёр Gints Zilbalodis писал сценарий 5,5 лет, пока инвесторы искали финансирование, а закончили они его за пару дней до отправки на Каннский фестиваль. После этого мульт получил Золотой глобус и сейчас номинирован на Оскар как лучший анимационный фильм.

Кроме очевидных отсылок к дружбе и взаимовыручке, лично для себя увидел пару моментов, связанных с миграцией, кластеризацией обществ, разделением на «свой-чужой», оставлением своего дома и вообще всего, к чему привязан.
Обратите внимание на покидание дома лемуром.

Мульт сделан в Blender, поэтому отдельно было забавно наблюдать в начале на фигурках котиков модификатор Decimate с воксельным режимом упрощения. 😀

Валентинки через Glif

Теперь каждый глиф стоит по-разному, но на старте вам дают 30 кредитов бесплатно и так же они ежедневно пополняются. А я подготовил для вас Глифы для Валентинок!

💰 В среднем 1 генерация в моих глифах тратит ~8 кредитов
💰 Оригинальный Glif — ~5 кредитов

Готовые глифы для Валентинок:
► Оригинальный Glif — откуда я взял идею, генерирует картинку + милый текст через Sonnet. Из минусов — вотермарка.

► Мой вариант. 2:3 размерность (1200x1600px) — Идеален для печати!
НО! Есть особенность сделал его с разделением промпта для Clip L и T5XXL.
Мне помогает вот этот промпт для любой LLM: Create prompts based on text for Clip L and T5XXL. Text: [Ваше описание или картинка]
Если не хочется заморачиваться с промптами для Clip L и T5XXL, просто вставьте одинаковый текст в оба поля.

► Вариант с возможностью референс картинки. Добавил Redux туда.

► HF Lora — для тех кто хочет локально погенерить

— Я распечатал эти открытки на акварельной бумаге, и они выглядят как настоящая пастель!

Pika labs конечно что-то невероятное сейчас делает в видео моделях

Кто-нибудь уже пробовал? Интересно сколько разрешение на выходе, как много кадров можно сделать.

Link

👍 Так как набралось больше 10 звездочек собрал для вас Glif с Redux. Жаль у Glif нет возможности использовать PULID FLUX, а жаль как раз вышла недавно вторая версия. Напомню, PULID FLUX -- качественное переносит лица на генерации.

📕 Ещё собрал вам поиграться на разных LLM для описания промпта, можете потестить разницу тоже:

— GPT4o (Самый быстрый, но есть цензура)
LINK

— На Deepseek R1 (Работает на уровне 4o)
LINK

— Gemini 2.0 Flash (Часто падает, видимо большие лимиты по API у Glif)
LINK

— LAMA 3.3 70B (Хуже всего работает по визуалу)
LINK

— И экстра глиф, куда можно закидывать сразу два изображения на стиль и мешать стили.
LINK

📕 Сила картинки ~0.6 - 1 для хорошей генерации.
Из-за того что промпт усложнил и использую Redux, иногда генерируется просто персонажи, без упаковок. Эту проблему чуть решила Лора.

В целом не зря вспомнил про Glif, на нем всегда приятно бесплатно собирать что-то в связке ComfyUI + LLM и сразу показывать в свет. Потому что даже на Gradio такое собрать займет 1-2 дня и 10-20$ на бэкенд сервер за день.

Спасибо за звезды и реакции в прошлом посте, приятно!