Апдейтнулся сервис Higgsfield AI, который специализируется на контроле движений, камеры, персонажей и т.д.
Очень хороший ход, выделяющий их на фоне тонны просто генераторов. Посмотрите на сайте, там реально много примеров. Один из пресетов с ударом в челюсть стрельнул и, вероятно, теперь пару дней будет повсюду.

На бесплатном тарифе есть ежедневные 12 кредитов. За генерацию тратится, кажется, около 4–5. В целом цены вполне демократичные.

Hunyuan 3D в версии 2.5, кажется, достиг реально очень высокого качества распознавания деталей и плотности сетки. Боюсь, что это будет доступно в какой-нибудь алтимэйт-версии подписки. И, кажется, авториг еще завезут.

Видео вырезано из презентации, которая буквально пару минут как закончилась. Никакой дополнительной информации пока нет.

Huggingface Tencent пока пустой. Как будут апдейты — напишу. Вы тоже тегните, если появится. Очень хочется протестировать.

Нужно действительно иметь талант, чтобы так удовлетворять потребности фанатов!

Иногда нужно и братюням помочь. Я, когда заводил канал, думал, что когда-нибудь сделаю доброе дело)

Талантливым разработчикам и одному близкому руководителю нужна помощь в поддержке проекта. Помочь вы сможете, добавив игру в вишлист, если она вам понравилась.

Я присутствовал на старте проекта и могу сказать, что ребята действительно увлечены тем, что делают. Уровню графония могут завидовать практически все отечественные проекты. Если можете распространить, тоже поможете этим.

Добавить в вишлист можно тут.

Пост для классического постпродакшена.
Ребята из KeenTools показали удобный хинт для трека камеры через GeoTracker и любой 3D генератор. Или как у них через ComfyUI/

На соревнованиях в Пекине показали нескольким моделям роботов, как люди в будущем будут от них убегать.
Датасет пополнился новыми данными.

После на сцену начали выпускать совсем уже блаженные модели: модель с ДЦП, модель бабки. Среди них засветился и малыш-антихрист.

Показали новый трейлер "28 лет спустя", лучшей франшизы про зомби, по моему мнению, и такого же мощного саундтрека, режиссер тот же Дэнни Боил. Релиз в кинотеартах 20 июня!

Отличный иллюстративный пример того, что может решать вчера анонсированная модель o3. Перевернутая вверх ногами, нарисованная от руки диаграмма среди кучи цветного хлама. С одним лишь только запросом: "Solve".

Как же всё-таки непросто, но интересно жить в эпоху сдвига парадигм. Сообщение в будущее нормисам из 2050 г.

Все что нужно знать о мнениях в интернете 🤡

У гугла начали появляться странные вакансии – ищут ресечера на «Пост-АИ» фазу мира

То есть, ученого, который начнет изучать влияние АИ на общество, машинное сознание и траектории к достижению «Сверх Искусственного Интеллекта»

Кажется уже все верят, что АИ скоро

Feel the AGI moment

Хочу поделиться с вами видосами, на которые за этот день наткнулся с тестирования новой версии Kling 2.0. и Gen-4. Меня поразило больше не то, какие там появились новые инструменты, хотя "новыми" их сложно назвать — в том или ином виде они уже были у конкурентов. А то, насколько хорошо генерации научились держать картинку.

На некоторых примерах присутствуют артефакты, как на видео с "геймплеем" или крысой. Но компенсируется это в первом случае длиной и плавностью генерации, а во втором — практически отсутствием эффекта слоумоушена. До этого все генераторы этим грешили.

Кажется, всё меньше мы будем играть в рулетку при генерации и всё чаще получать действительно нужный нам результат.

Технологические компании нас убеждают в неприкосновенности данных и что все лица, интеллектуальные права защищены. Этих людей не существует!

Там временем мы:

@CGIT_Vines

Честно, я немного разочарован презентацией. Т.е. она крутая, но то, что показали — соглашусь с некоторыми из вас в комментах — выглядит скучно именно по геймплею. Как будто там нет чего-нибудь цепляющего.

А ещё, учитывая, что я в принципе не люблю экстракшены, у меня упали последние надежды. Если только они после альфы ещё не покажут чего-то экстра. Особенно на фоне Хэлдайверс с эвентами и общим трешем, происходящим там.
Но на релизе я всё равно дам им шанс, просто авансом за прошлые заслуги.


Пока писал пост, в конце презентации показали синематик, который прям вообще топ. По стилю очень напомнило серию The Witness из LDR. И по нему непонятно, то ли они сразу хотят делать сериал, как Arcane, то ли показали там другие режимы, типа escape. Кажется, был намёк на кастомизацию персонажей.
Но точно можно сказать — что камера, режиссура, арт — это просто на высоте! Миелго шарит!

YT

Upd. Все, это был последний пост по марафону, выдохнуть можно)

Линк на YT, если не хотите качать. Показали и рассказали про геймплей. Пока сложно сказать на сколько круто это будет играться, будут ли другие карты, какие дополнительные режимы и задания будут внутри зоны, кроме самого экстракшена.

Ну и сам трейлер.

Через минутку покажут геймплей Marathon

Стрим на твиче.
https://m.twitch.tv/marathonthegame?desktop-redirect=true

Возможно, уже слышали, что Американская академия кинематографических искусств и наук приняла решение ввести новую номинацию — за "достижения в области постановки трюков" к 2028 году.

А параллельно Walt Disney Imagineering показывает робота, который специально обучен делать трюки на съемках Человека-паука. Вряд ли это как-то связано 🤡

Люди в 2038: "А помните, что люди раньше рисковали своей жизнью, чтобы развлечь других людей в кинотеатрах? Прыгали с небоскрёбов, цеплялись за борт взлетающего самолёта, перепрыгивали летящий вертолёт на BMX... Человечество всё же дикий был вид!"

Черт, ну тут я не устоял, я просто фанат деревни дураков 😧

Деревня дураков, но это аниме опенинг.

Самый сложный из этой серии. Миджорни был не в состоянии справиться со стилизацией уникального дизайна персонажей, поэтому для датасета (ну и для ряда кадров) использовал новый ChatGPT 4o. Плюс вагон фотошопа, море черрипикинга, работы по ключевым кадрам и прочих радостей.

Пайплайн: ChatGPT 4o + Flux + Photoshop + Luma Ray 2 / Kling 1.6 / Gen-4 + Suno + CapCut.

Версия для ютуба, если кому надо.

Интересный тест откопал у вот этого чувачка.
Говорит, что не пользовался MCP даже, а просто написал огромный системный промпт с математической основой для Claude. Промптом, конечно же, никто не поделился.

Видео кажется ускорено раз в 10. Увеличенная сложность моделей сразу бросается в глаза, особенно если сравнивать с прошлыми тестами через MCP.

Главная музыкальная тема Minecraft была добавлена в Национальный реестр звукозаписей Библиотеки Конгресса ввиду её культурной, исторической и эстетической значимости. Даже без этого, не признавать культурное влияние игры сделанной одним человеком, значит действовать по стратегии страуса.

Честно, мимо меня прошла вся история с кубами, потому что я родился немного раньше и не попал в число фанатов. Я даже пробовал в разные года заходить и играть, но у меня не пошло.

А на прошлых выходных я сходил на фильм и не могу сказать, что причислю себя к числу тех, кто поставил на Rotten Tomatoes или IMDb низкие оценки. Он для вас будет просто "ровным" фильмом, если вы не фанат. Если вы знаете лор и мемы — то вам зайдёт. Ну или, если у вас есть малой(ая), которые точно фанатеют — то советую.

А трек услышал первый раз, и он прям приятный. Жду говна в реакциях😂

Студия, за которой стоят шутеры Payday 1 & 2, GTFO, показала тизер документального реалити-сериала Do The Game о создании их новой игры Den of Wolves. Игра похожа на Payday, но в сеттинге киберпанка.

Хоть сериал и продвигает игру, как реклама он напрямую не воспринимается.
Если окажется ещё и интересным, то почему бы и не посмотреть. По крайней мере с первым заходом желание посмотреть не отбили — и это хорошо.

Страница сериала
Видео тизера на YT
Игра в Steam

Супербыстрая моделька txt2img SanaSprint. И на этом преимущества заканчиваются.

Пользуйтесь если нет других альтернатив и нужно быстро накидать прототип или протестировать промпт. Про нее впервые писали месяц назад, а сейчас выложили 2 версии на 0.6B и 1.6B. Максимальное разрешение 1024.

Демка тут
Описание тут

Я периодически, когда выходит новая генеративная модель или обновляется какая либо из текущих диффузионных, иду пробовать может ли она пройти мои заготовленные тесты.

Один из таких генерация тайлов, это наверное самое простое, потом тримы чуть сложнее и самое сложное - атласы деталей, например sci-fi, всякие болты, лючки, технологические углубления и т.д.

Я даже тренировал свои датасеты, и все равно артефактов настолько много, что использовать в продакшене а иногда и личных работах результаты нельзя, пока.

Причём задача невероятно простая для компаний которые этим занимаются, тот же адоб или Nvidia, который имеет зоопарк софта для производства 3D и смежных продуктов.

Материалы настолько предсказуемая и сегментируемая штука, что как только у компаний возникнет задача они ее решат.

А пока люди развлекаются в той же Krea делать свои датасеты с тримами и атласами сомнительного качества. Плагин для Blender использовался Dream UV.

Я, наверное, ни за одной игрой со времён анонса третьего Ведьмака так не следил, как за Marathon. Bungie и без того — моя любимая компания, а шутеры, которые она выпускает, всегда находятся на высоком уровне. Oni — вообще моя любовь детства.

В твиттере, как положено хорошему игровому маркетингу, последнюю неделю тизерили кусочки информации: то выкладывали какие-то зашифрованные изображения, то звали на закрытые плейлисты блогеров, то делали рассылки некоторым инфлюенсерам. И вот вчера показали анимационный ролик с убитым раннером и котиком.

Я уже писал про визуальный стиль игры, который после выхода будет скопирован практически повсеместно. Он настолько будет запоминающимся, что в какой-то момент начнёт бесить — просто от того, что будет везде. Но это не делает его плохим или вторичным. Кстати, то что в ролике не отражает степень реализма визуала в игре, просто стилизация. Я надеюсь

Остаётся надеяться, что сама игра будет достойной.
Показ самой игры запланирован на 12 апреля. 🐛

Youtube

Генерить картинки диффузией конечно интересно, но как насчет генерации диффузионными моделями зданий в майнкрафте?

Есть один персонаж в ру-ютубе, работающий в геймдеве (но не факт), обозлённый на систему рекрутмента за то, что тестовые задания — плохой способ понять, подходит кандидат под открытую позицию или нет.

Звучат тейки в стиле: каждое тестовое должно быть оплачено, вне зависимости от того, сделал ты его хорошо или плохо (я, кстати, оплачивал бы при успешном прохождении); непонятно, по каким критериям оценивают тестовые и что оценивают их в зависимости от текущей погоды за окном.

Для решения проблемы отбора кандидатов он предлагает подписаться на его телегу или что-то ещё, где условием вступления является то, что кандидат присылает тестовое задание, которое ему выдала любая студия. И вот внутри они там варятся, делают тестовые на пятёрки — и потом, видимо, попадают в студии. Что происходит дальше с такими кандидатами, представить несложно.
Также он предлагает помочь (бесплатно?) сделать тестовое так, чтобы точно приняли на работу.

В описании к видео, в котором несколько тысяч просмотров, — восторженные отзывы о том, какая это крутая идея.

У меня к вам вопрос по этому поводу: как вам идея, какие подводные? 😮‍💨

P.S. За ссылки или любые упоминания про него буду банить. 😘

Решили с ребятами обменяться хорошими каналами по теме ИИ и Геймдева. Кто-то уже прошел по ссылкам из других каналов, так что я приветствую всех новоприбывших! Остальные го знакомиться с соседями, кого-то увы уже знаете, кого-то еще нет 😘

@progamedev - самый первый и самый крупный геймдев канал в телеграме. Полезные материалы, статьи и новости индустрии. Ведёт его основатель студии perelesoq Артём Коблов.

@indiespotlight - Ребята отбирают и освещают малоизвестные, но качественные инди-проекты. На канале можно найти мемы по независимой разработке, инди-дайджесты, а также видеоинтервью с отечественными разработчиками.

@vskobelev - канал разработчика игр с более чем 11 годами опыта. Василий пишет про левел-дизайн, нарративный дизайн и гейм-дизайн, разбирая его на популярных современных проектах.

@gamedevjob - тут вакансии и резюме тружеников игровой индустрии из РФ и не только.

@olya_tashit - канал про виртуальные миры/VR/AR/ИИ и зачем нам это все в жизни и бизнесе. Бонусом - дикие истории в духе "черного зеркала"!

@neohota - канал про русскую эстетику во всех сферах: от геймдева и нейрогенеративной графики до мебели, одежды, книг и брендинга.

@JimmyNeiron - канал посвящен творчеству Евгения Мацкевича (пикчера, автора комиксов и AI-блогера), который активно использует нейросети для переосмысление поп-культуры и создания смешных картинок.

@notboring_tech - автор больше пяти лет собирает в канале лучшие нейросети для работы, рутины и даже разработки игр! А новости из мира технологий там появляются раньше всех.

@strangedalle - канал Александра Доброкотова о нейросетях в креативных проектах. Здесь — разборы, идеи, кейсы и советы по использованию ИИ в искусстве, рекламе, дизайне и сторителлинге. Для тех, кто хочет не просто пробовать нейросети, а создавать с их помощью что-то по-настоящему своё.

Я, конечно, понимаю, что сейчас все побежали за трендом в редактирование изображений, как в анонсе Krea. Но!

Это совершенно ублюдский способ редактирования визуальной составляющей. Зачем мне писать текст, если я могу просто перетащить изображение на нужное место? Это можно скорректировать уже сейчас — просто спрячьте от меня промпт, пусть он сам себе там текстом пишет, что и куда я поместил.

Конечно, иногда проще описать словами, что ты хочешь видеть — как Годзилла делает бэкфлип. Но простые вещи должны оставаться простыми. Технология выйдет на плато рано или поздно, и тогда придётся всё равно искать добавленную стоимость. А она как раз будет — в том числе — и в удобстве.

Мета анонсировала систему синтеза эмоций для генеративного видео MoCha.
Типа киношное качество уже достижимо, а вот нарратив толкать без управления эмоциями — явный пробел. Его и заполняют.

Не шутка, потому что не смешно!

Сайт проекта
Демки пока нету(

Не на все тесты хватает рук, поэтому вот вам чужие. Создаём покадровый spreadsheet FX'ов с плавной анимацией.

Промпты строятся по одному и тому же сценарию. Этот сделан для волшебника, кастующего фаербол, но вы в скобках меняйте на то, что вам нужно. Описывать стоит довольно детально:

"Create a detailed pixel art frame animation for a game, where the final image is divided into multiple sub-images, each serving as a continuous animation keyframe. Design the sequence to depict [a wizard casting a spell: begin with intricate hand motions, then show the wizard conjuring a vibrant fireball, and finally capture the moment of casting the fireball.] Ensure the keyframes transition smoothly and continuously, and include as many frames as possible to achieve a high level of fluidity and detail in the animation."

Результат волшебника кину в комменты)

Утренние тесты подписки ChatGPT на предмет получения разных карт из одной фототекстуры. Первым делом нужно было получить delight исходного изображения - мы же в PBR хотим 🤡

Допустим, с третьего раза я получил нужный промпт, который дал хоть какой-то приемлемый результат — не пересвеченный и не убитый в хлам:

Убери из этого изображения теневые участки так, чтобы верёвки на изображении были освещены равномерно, без теневых участков, как это обычно делают, создавая текстуру albedo для текстур scan-like. Можешь посмотреть, как выглядят текстуры на сайте Megascans. Так, чтобы не получилось очень пересвеченное изображение. Давай не будем делать исходное изображение ярче, чем оно уже есть — корректируй только теневые участки, приводя их к средним значениям света на изображении, и не меняй составляющую saturation.

Дальше сам GPT предложил мне создать normal, roughness карты — "окей, давай". И вот тут, конечно, насмотренность есть у модели, но понять нюансы карт — это пока ещё остаётся за человеческим мозгом. Нормали получились очень интенсивными, с лишними деталями, рафнесс для верёвки не пригоден совсем, хотя направление в целом более правильное. Ну и в плане понимания, даже мозгом, — в разы легче, если мы говорим про конверсию с фотографии.

По итогу delight получить ещё можно, другие карты пока не годятся.

Карты кину в комменты.

Чет решил постримить сегодня. Классическая инвира (Blender, Ureal, Painter, вот это все), без ИИ почти 🦸
Если тебе скучно и одиноко, звони в 17:00 по МСК 🥰

https://www.youtube.com/live/63lE55vGu70?si=10Nb7oeEVB9eUsyJ

3. Ну и последнее — это мой личный топчик. В модель Rodin Gen2 добавили возможность понимание и сегментацию модели на отдельные части.

Это просто охренеть какая крутая фича. Я в прошлых постах писал, что как раз не хватает подобной сегментации — причём не важно, 2D или 3D генерация. Обычно генераторы выдают цельный меш, с которым очень неудобно работать. Осталось добавить возможность регенерации этих отдельных частей, а не всего меша.

В общем, прелесть, а не новость.
Релиз— в июне 2025. 😍

2. Tripo пока только показали две апдейтнутые open source модели — TripoSG и TripoSF.

SG, как я понимаю, ничем не отличается от img2mesh.

SF создана для работы с более сложной геометрией, в том числе с подобием параметрической. К сожалению, демок пока нет, но то, что это опенсорс, не заставит себя долго ждать. Лайк им за это!

Upd. Пока писал дропнули на хагинфейс.

SG тут
SF тут

Git для SF

Чтобы вас не мучать, я напишу три новости на одну тему. За последние пару дней появились апдейты по 3D-генераторам. Последняя новость, на мой взгляд, будет самой топовой.

1. Hi3DGen релизнулась на Hugging Space с довольно неплохим качеством генерации. Добились они этого за счёт дополнительного прохода по генерации нормалей, которые участвуют в более точном определении поверхностей.

И если прошлый тест был на, условно, hardsurface-объектах, то мне хотелось посмотреть, как консистентность будет работать, во-первых, с ракурсами, во-вторых — с органическими, биомными объектами.

Часто просто понять по концептам реальных живых художников очень сложно, как один ракурс перетекает в другой — мозг можно сломать. А тут попадание примерно 70 %, что неплохо для 2025 года.

Осталось оплатить ещё подписку для Tripo с мультиракурсами и попробовать, как у него мозг свернётся в трубочку при генерации.

Давайте я скину в комменты полноформатную картинку, и у кого есть подписка — сможете попробовать, если захотите.

Генераторы изображений не идеальны, даже последний — после вчерашнего анонса от OpenAI.

Пришлось опять оплатить $20 за подписку ради этого поста. Пайплайны сами себя не протестируют, хоть они ещё и не готовы, но нам нужно быть готовыми, когда всё уже будет продакшен-реди.

Создание модульных конструкторов — дело геморройное, а ускорить процесс очень хочется. Тут, конечно, нет никакого разговора о точности и метриках «по сетке», чтобы стыковалось хорошо, но для концептов — очень даже подойдёт. Я сделал это за 5 нот шагов, но в целом можно и быстрее. Хотелось посмотреть, как он работает со стилями. Оказалось — вполне неплохо, хоть тест и не полноценный.

По итогу мы имеем поассетную раскладочку, которую вы сами понимаете, в какой 3D-генератор можно засунуть и получить за один проход сразу несколько затекстуренных мешей. Только при таком подходе не забывайте, что выделенный генератором поликаунт распределяется равномерно между всеми частями. Так что если вам нужны более хайпольные меши — кидайте на генерацию по частям.

@CGIT_Vines

Я настойчиво продолжу вызывать у вас чувство эмпатии к роботам.
20 часов беспрерывной работы и даже железяка не выдерживает напряжения 😂

Кажется, ребята из CSM (Common Sense Machines) начинают понимать, как работает PBR.

Выкатили апдейт на свой генератор моделей и текстур, который на практике всё ещё далеко не дотягивает до верха рейтинга, где Hunyuan и Tripo.

Но зато текстурки теперь хоть как-то релайтнуты, и с ними можно продолжать работать в Painter.

Наткнулся на интересный проект: PiT. Суть: даём модельке на вход пару визуальных кусочков — например, прическу, крыло и лапу, — а она достраивает из этого полноценного персонажа или предмет. Без текста, без описаний, только визуальные фрагменты.

Вместо того чтобы объяснять словами, как ты это видишь, — просто показываешь, а модель понимает контекст и домысливает недостающее. Работает на улучшенном пространстве IP-Adapter+, а сверху можно накинуть LoRA, чтобы менять стили, фоны и сцену.
Примеры, подробности и демки тут.
Исходников пока нет, но скоро обещают выкатить

Обожаю Азимова, он поднимал вопросы, которые вдохновляли ученых, исследователей, режиссёров и целые поколения.

Из этой идеи, я так понимаю, получился роман, а потом и фильм «Двухсотлетний человек». А затем — и философские рассуждения майора Кусанаги на лодке после дайвинга в ночном мегаполисе. Там она неожиданно для себя принимает решение слиться с ИИ.

Я оставил английский звук, потому что так звучит атмосфернее. Ру перевод закину в комменты.

Вчера прочитал, что мульт Flow собрал $36 миллионов при затраченных $3.7!
В популярности, конечно же, сыграл аспект того, что мульт получил Оскара.

Но важно, что сама история и подача сработали за счет свежего подхода. При этом никто не говорил, что там крутые спецэффекты, графика, рендер или что-то подобное. Ребята сами признавались, что в Blender и создании мультов были новичками.

Все это дает новое дыхание независимой анимации. И тут мы разобрались, что инструменты не так уж и важны для успеха. Поэтому ИИ с его ускорением процесса производства — не помеха, но и не буст, но точно причина понижения порога входа. История и возможность экспериментировать — вот что будет решать.

Большинству в целом было без разницы, что анимация во Flow была странной, мягко говоря, или что шерсть выглядела неестественно, ну и много чего еще. Поэтому какие-то косяки AI, если правильно обернуть их в стиль и держать под надзором хорошего арт-директора, вообще не будут восприниматься как недостаток.

Так что будем ждать смелых и дерзких!

Все потому что на вайбе нужно быть!

Пощу осторожно, потому что я со своей паранойей уже никому не доверяю.

Чувак собрал GUI для общения с Gemini. На вход дает модель с готовой UV-разверткой и просит перерисовать текстуры. Давайте разбираться.

Так как нет абсолютно никаких подробностей — ни пайплайна, ни гита — имаджинируем.

Как Gemini видит входящую информацию? Если он видит развертку в 2D-виде, я уверен, что он ни черта не понимает, что к нему пришло и как с этим работать. 3D-представления или плоский кадр объекта более привычны для диффузионных моделей.

Вероятно, эта надстройка может делать снимки объекта с разных ракурсов и отдавать на регенерацию, как это сделано в Multiview Hunyuan 2. Дальше включаются алгоритмы генерации 3D-модели, и в финале с этой модели происходит репрожект на входящую модель с UV-разверткой.

Честно говоря, это тупой и бессмысленный метод, но ничего лучше я не придумал, поэтому склоняюсь к тому, что видео — возможно просто концепт.

Я уверен, что в канале есть люди с более системным мышлением, которые могут предложить варианты получше. Пишите в комменты ваши мысли.

А вот и анонс!
Сегодня в 19:15 по МСК делаем стрим с одним из наших менторов Сережей Мизинцевым.
Напомню, что говорить будем про Hardsurface в геймдеве и про то, как знания по смежным дисциплинам помогают в развитии художника. Залетайте, задавайте вопросы.

https://www.youtube.com/live/8eHEhvoSnpg?si=_ymzpUNobIaKY0x8

Kling тут выпустил новый эффект DizzyDizzy, или Microwave эффект, короче кручение на тамбнейле.
Удобно в теории, если надо достать дополнительные ракурсы, но есть нюанс.

Тестировал на своей любимой палатке, остальное в видео. Есть ощущение, что мне напиздели, понимаешь, напиздюнькали, наебали, сечёшь блять, мне наврали нахуй, мне сказали неправду.

Спалили мозги пацаненку!

Обработка видео и 3D моделей в Runway

Тестировала пайплайн обработки 3D видео с помощью Runway. В обработку обычных футажей решила не лезть, с ним мне более-менее все ясно, да и думаю многие достоинства и недостатки обработки фигур будут такими же. Пайплайн с классным использованием Клода я пока не брала (спасибо каналу @CGIT_Vines), мне тридэшные футажи подготовил коллега.

Вообще я концентрируюсь на обработке видео и поэтому возможность управления с помощью 3D, созданных в LLM на будущее мне очень улыбается.

Кратко:
⁃ 3D видео вытащенное из Blender
⁃ Обработанный в Krea первый кадр из видео
⁃ Текстовый промпт, обработка первого кадра и настройки в Runway (там их немного)

Плюсы:
⚠️Жирный хрон, можно сделать одной кнопочкой больше 5 секунд
⚠️Мало кнопочек
💿Выглядит эстетично, никакого моргания
⚠️Работает быстро, много видео в очереди

Минусы:
🪩Мало кнопочек — мало управления
✨Малый контроль сюжета даже с обработанным кадром и промптом
🪩Для обработки нужен обработанный первый кадр, а не просто картинка, это занимает время
🪩Никаких фантастических приколов вне промпта — это вам не Deforum
📺Свойственны те же артефакты, что и нынешней версии Runway — мыло, появляющиеся и исчезающие предметы и люди

Итого: полезная штука, использовать и экспериментировать хочется. Перспективно полезно и в арте, и в рекламе, и в кино, но мне хочется больше спонтанности.

Andrew Price затестил текущие модели для генерации 3D. Тест не идеальный, так как некоторые игроки не представлены на тестах. Но, тем не менее, это дает представление о текущем положении дел.

Главное — помнить, что где-то использовались PRO-версии генераторов, которые, как я подозреваю, просто наваливают больше геометрии, и точность вырастает именно из-за этого. Стоит ли пользоваться или переживать — решать вам.

Tencent апдейтнули Hunyuan3D и предложили сразу две модели: полнофункциональную и урезанную 2mini. В тестах на видео, как обычно, суперпростые модели, поэтому и артефактов почти нет.

Я пытался загрузить свою тестовую модель, на которой тестирую генераторы, но демка на Hugging Face ушла в цикл, по всей видимости, и сожрала все доступные кредиты. Так что я бы вас попросил, по возможности, сделать тесты и кинуть в сравнении с Tripo или подобными генераторами.

Обе модели доступны для тестов.
Hunyuan3D-2mini
Hunyuan3D-2mv

Отдельное спасибо за multiframe generation.
Hunyuan3D-2mv

Требования для версии mini：
shape generation：less than 5 GB
shape + texture genereation: less than 18 GB

Кажется, в гонке 3D-генераторов намечается свержение Tripo какой-то небольшой группой китайских ребят с работой Hi3DGen. И что самое крутое он должен быть Open source!

Единственное, по чему сейчас можно судить, — это их же сравнительное видео, на котором геометрия выглядит и правда точнее, чем у Tripo, особенно в тех частях, которые не охвачены ракурсами изображения.

Как они сами пишут, достигается это за счёт использования метода видео-диффузии, который дорендеривает недостающие ракурсы и, якобы, более консистентен.

В видео мы не видели примера с текстурами, но в пэйпере написано hi-resolution textures, что может намекать, что они, как минимум, будут высокого разрешения 🤡. Ну и на этом спасибо.

Демо нет пока.
Git
Paper

Иногда то, что создано для одних условий, не очень-то хорошо играется при других. Хоть и смотрится прикольно.

Интересно, что при такой адаптации стало видно, как оптимизировали рендеринг убирая лишние пиксели на облаках.

Сделано через 3D NES-эмулятор для Quest 3. Там довольно большая подборка игр: Super Mario Bros, Duck Tales, Mega Man, Contra, Metroid, The Legend of Zelda series, Final Fantasy, Duck Hunt, Dragon Warrior, Batman, Castlevania, Battle Kid, Micro Mages.

Что за сатанинская рекурсия?
2025г. Моделинг выходит на новый уровень. Дальше, что,
create screenshot in substance painter of textured monkey head?

В общем я потестил Geminy 2.0 Flash Experimental.

Что могу вынести из полезного для тридешечки. Подходит лучше всего для несложных объектов. Я взял у Ben Bolton его драфт концепт пушки см. на картинке. Попросил промптом
"create 3d model from this sketch"
Получил сначала side view, потом попросил сгенерировать остальные виды. Если у вас платная версия Tripo, то вы можете использовать её для генерации сразу нескольких видов. Только Gemini, конечно же, косячит с консистентностью, но, честно признаться, я думал, что будет хуже.

Я также делал разные вариации: с перекраской волос у персонажа — получилось плохо, просил добавлять детали к разным архитектурным элементам — получилось плохо, просил создать 3D-рендер персонажа — получилось плохо.

Этот вездесущий пример с Морганом Фрименом удачный, потому что в датасете, видимо, много исходников от персонажников, которые обожают скульптить Фримена. Потому что он такой морщинистый и фактурный чувак. В целом заметил, что Gemini справляется лучше с более популярными вещами, что неудивительно.

Тут важно еще сказать, что когда вы пишите
create 3d model of... что-нибудь
это конечно же никакая не 3D модель, это просто перенос стиля. Tripo так же сгалюцинировал создав обойму ближе к дулу автомата, он художник, он так видит.

@CGIT_Vines

Сори, вот файлик)

Возможно, я сейчас запутаю всех ещё больше, но я вернусь к теме вайбкодинга.

Я не программист вообще. В общих чертах понимаю какие-то структуры со времён школы, ну и имею какое-то подобие системного мышления — на этом всё. В дефолте я художник, сейчас правда оперирую командами художников и процессами.

И хотел бы написать для художников: если вам не 8 лет, то, скорее всего, вам нужно заставлять себя быть на стыке программирования и художки. Если вам это некомфортно и вы забиваете, скорее всего, в какой-то момент на смену придут молодые, более «гибкие» и уже с нативным пониманием того, как настраивать под себя агентов и выполнять работу в 20 раз быстрее. Так всегда бывает, и это хорошо.

Мне сегодня с утра понадобился функционал по подсвечиванию вертексов, которые находятся друг в друге, но при этом не сшиты. Стандартные средства Blender для этого не подходят, и я, буквально с белоснежной улыбкой, длинными выгоревшими волосами на сёрфе, через GPT сделал себе скрипт. Правда, внёс пару корректировок — и решил свою проблему. Возможно все же в блендере есть это и я пропустил просто, напишите в комменты.

Такого говна на скрипт-сторах будет появляться тоннами. Не бойтесь писать и автоматизировать свою работу — это ваше конкурентное преимущество. У меня таких плагинов уже несколько штук написано под разные задачи.

А скрипт я отдам бесплатно. Он не оформлен «по модному» (можете сами дописать под себя). Видосик записал, чтобы было понятно, зачем он вообще. Вдруг кому-то будет полезно.

ВОООООТ🤪

А еще можно скормить Gemini Flash 2.0 какую-то картинку – и попросить сделать играбельного 3d персонажа из нее, и она сделает – что ускоряет создание концепции персонажа (потому что оно неплохо креативит), ну и можно даже покадрово поиграть или кнопки понажимать

Пара советов:

1. Вот промпт которым можно повторить, вставляем его сюда и выбираем Gemini Flash 2 Exp:
Take attached base64 image object and make a MMORPG 3d game character from it as a new image, make this original object as a playable character

IMPORTANT: a new character should be made out of the original attached base64 image object
IMPORTANT: created character should follow the main object idea and represent the same domain
IMPORTANT: new character should have a style close to the base64 image object

IMPORTANT: BEFORE CREATING AN IMAGE DESCRIBE THE SOURCE OBJECT IN PRECISE DETAILS, AND HOW YOU CAN MAKE IT PLAYABLE


2. Сложные объекты модель не сразу помещает в 3D миры, но вы можете ей сказать что она ошиблась и она исправится

3. Температуру лучше держать ~0.3

4. Это очень залипательно оказалось 😮

С моей стороны было бы слишком жестоко оставить предыдущий пост без объяснений, т.к. я вижу, что довольно много людей не уловили мой искромётный юмор. 🏃

Этот пост — отсылка к мемным постам про вайбкодинг и тому, что практически всё можно создать, ничего не понимая и не зная в программировании, чисто на чиле. Для суперпростых задач это действительно может быть так, но в большинстве своём ИИ-системы не способны создавать сложные структуры. Пока.

Как этот пост, который как раз был про создание Elden Ring, и который тоже не все поняли в твитере. Проще говоря, я просто слепил два видео: одно от Computer Use, Anthropic, второе — это просто чей-то Speed Level Design в UE.

Но также не забывайте, что в какой-то год этот пост перестанет быть шуткой. ИИ пока не может создавать уровни такого качества.

🚨🚨🚨 Невероятное! Чтобы собрать игровое окружение в Unreal, теперь можно воспользоваться полностью автоматическими средствами. Я потратил на вайб-кодинг 1 день, не написал ни строчки, 0 исправлений! И вот почему.

Мой пайплайн:
1. Build draft 3D Renders in Claude 37.
2. Make final meshes in Tripo3D-no artist edition.
3. Auto alignment props in UE by Dickpic.
4. Break for Pokakat'.
5. Upload in Runway Restyle.
6. Remesh in Excel.
7. Generate.

Не хочется отставать от трендов 🦸

Вот что нужно для нормального френдли UI.

Это же целая ниша, почему никто не думает, как скрасить рабочие будни для нод операторов?
Ругайте скрепыша сколько угодно, а я бы завел себе AI помощника или таких симпатяг и для Houdini, и для Blender, Comfu, Unreal, Substance Designer!

Эту прелесть для Python Editor можно взять тут

@CGIT_Vines

Когда очень хочется получить финансирование, но в комментарии тебе скидывают то, как реально работает твой продукт 🤡

Софт для создания AI анимации называется Uthana.
@CGIT_Vines

Мне написали, что у нас отвалился 👍, по всей видимости надо накормить Дурова бустами. Не подумайте, я приличный человек, документы потерял, чисто на проезд не хватает до Сыктывкара! Вот сюда, дай бог тебе здоровья! 🙏

И конечно, спасибо всем кто уже держит бусты на канале, вы в моем 🥰

Пару дней уже маячит этот пост, хочет всё же, чтобы я его вам показал.

По сути, ещё один способ рендерить генеративно для какой-нибудь рекламки или клипов. Меня тут сам процесс возмутил.

1. Build 3D Renders in Claude 3.7.
2. Program camera movements.
3. Screen record render.
4. Upload video to Runway Gen-3.
5. Extract 1st frame.
6. Magnific Struct. Ref. 1st frame.
7. Upload in Runway Restyle.
8. Generate.

Прям вот самый первый пункт! Из меня вырывается старый дед с render.ru: "Вы что, и моделить за меня будете?!" Вот в наше время...

На самом деле, насрать, как создаётся, если оно отвечает задачам. У меня скорее вопрос: как долго будут ждать производители софта для моделирования, чтобы встроить подобный генеративный функционал себе? Или они будут рассчитывать на создателей плагинов, как всегда делал Autodesk? 🗡

Мы уже видели это для CAD-систем, Blender тоже не отстаёт, но это всё плагины. Со стороны компаний тоже хочется поддержки, бриджей, чтобы не приходилось танцевать с бубном.

Hyper3D — генеративный рендеринг для Blender хотят показать в ближайшее время. Пока только открыли вейтлист.

Никаких подробностей — ни на чем это будет считаться, ни как настраиваться — нет. Но все очень ждут, возможно, даже на GDC.

А у меня вопрос: кто сейчас чем пользуется, чтобы 3D-болванки в генеративные IMG переводить, при условии, что нет возможности пользоваться Comfu?

Просто для понимания, как на самом деле выглядят игры, написанные через свежий китайский ManusAI.

Насколько же людям насрать на фактчекинг. Даже официальный аккаунт Three.js написал: "Not bad!"
В общем, тип забайтил примерно 8k людей на то, что он создал no-code игру с курсором и Claude. 😂

По сути, это просто вырезанный кусок из Elden Ring.

Люблю вытаскивать интересные наработки из сообщества GLSL. Ребята быстро подсуетились и написали кодом сгорание кусков Starship в атмосфере ☄️

Ниже код, на случай если кто-то захочет запустить. Как вариант можете попробовать в среде Fiddle.
Выглядеть это будет примерно так, если прогнать через Claude. Подписал видео, на случай, если кто-то будет путать)
vec2 p=(FC.xy-r*.5)/r.y/.1,v;for(float i,l;i<50.;o+=(cos(sin(i)*vec4(1,2,3,0))+1.)/1e3*exp(3.*sin(i+i*(t+p.x/16.)*.1))*(1./(l=length(max(p,p*vec2((3.+snoise2D(v=p+vec2(5.*t+.1*t*i,i)))*.02,1))))+pow(1.+snoise2D(4.*v+l),-2.)/l/l/l/1e3+3./length(p)))p+=cos(++i*i+t/5e1+p.x*.02+i*vec2(11,9))*2.;o=tanh(o);

Тем временем исследователи из University of Massachusetts Amherst и University of Michigan научили робопса кататься на скейте.

Хотя, конечно, главная цель была не в трюках ради лайков. Они решили одну из ключевых задач в робототехнике — научили робота самому понимать, когда и как переключаться между разными режимами движения. Без заранее прописанных сценариев, разметки траекторий и прочих нудных штук.

Например, в случае со скейтом — когда именно надо балансировать, когда отталкиваться лапами, а когда просто держать равновесие, пока доска катится. Это всё называется гибридной динамикой, когда у робота есть плавные движения, и резкие переключения между ними.

Для этого исследователи придумали подход DHAL — Discrete-time Hybrid Automata Learning. По сути, это такая обучающая схема на основе обучения с подкреплением, которая позволяет роботу самому находить моменты смены режимов и корректно на них реагировать.

Проверили всё это на симуляциях и на реальном робопсе, который теперь бодро гоняет на скейте.

Даже робо-собака смогла научиться, а я нет :(

Тут статья про метод обучения

Я тут, пока болел, погрузился в теорию нео-бикамерализма. Сейчас попробую описать и показать, при чём тут ИИ и сериал Westworld.

Сразу оговорюсь, что у этой теории есть противники, но и сторонников, и вдохновлённых немало.

Нео-бикамерализм — это теория, которая предполагает, что у древних людей (до примерно 1000 г. до н.э.) оба полушария мозга не были соединены, а сознание возникло гораздо позже — в современном его понимании.

— Правое полушарие «генерировало» голоса, инструкции, галлюцинаторные образы.
— Левое полушарие их «воспринимало» как команды от богов, царей или предков.

Люди не рефлексировали и не имели внутреннего диалога — они просто подчинялись этим «голосам». А шизофрения — это реликт от бикамерального прошлого.

Тут можно провести параллель с основной идеей, что текущий экзокортекс в виде алгоритмов, ИИ и лент соцсетей формирует наше сознание подобным образом. Мы не задумываемся и не чувствуем влияния, но оно происходит.

Теперь к Westworld. Создатели вдохновлялись этой теорией, когда придумывали способ мышления у Хостов в сериале. Их сознание построено на «внутренних голосах» — командах разработчиков. И сознание у Хостов проявляется в тот момент, когда они перестают слышать команды разработчиков и начинают слышать свой внутренний голос. Это прямая отсылка к теории.

И, наконец, в третьем сезоне сериал переходит к теме контроля через ИИ. Система управляет человечеством, предсказывая и диктуя действия — это современная версия «бикамерального бога», где роль богов играют алгоритмы. Люди, как древние Хосты, слепо следуют предписаниям системы, не осознавая, что их «свободная воля» иллюзорна.

Flow о котором я делал репост ранее — вчера выиграл Оскар, как лучший анимационный фильм.

🐱 Что самое интересное, весь фильм был сделан в рендер движке Eevee
С Eevee знаком каждый, кто начинал создавать что-то в Blender, его скорость всегда меня радовала, особенно когда у вас небольшой объем памяти на GPU или CPU.

📕 Для тех кто хочет углубиться — вот здесь огромная лекция на конфе по Blender о создании фильма
Еще понравился вот такой комментарий:
Что?? Всего 20 аниматоров сделали весь фильм всего за 6 месяцев? Половина из них не знала Blender заранее, а другая половина были джунами? Это ДЕЙСТВИТЕЛЬНО впечатляет!

☺️ Это наверное первый полный анимационный фильм, который был сделан в Blender и забрал номинацию Оскара. Мне особенно это приятно, когда инструмент признается как профессиональный.
Сейчас часто делаю болванки vid2vid для видео моделей через Blender.

Генераторы действительно могут принести пользу для создания футажей разных FX, которые сложно достать или подснять, например, водопад на чёрном фоне.

Для реально сложных взаимодействий это пока не подходит — приходится пользоваться классическими методами симуляций, но для концептов или мэтпэинтов вполне.

Этот создан в Runway.

Твиттерские развлекаются написанием браузерных игр на Grok3. Некоторые ассеты взяты с itch.io некоторые созданы самостоятельно. Код написан на HTML, с помощью Three.js. на всю работу ушел примерно 1 день.

До Grok он пытался написать эту же игру с помощью Claude Sonnet 3.7, но это было не так успешно.

Болеть отвратительно, но в процессе можно узнать интересные факты. Надеюсь, вы не в процессе приёма пищи.

Например, если вы откашливаетесь и проглатываете мокроту, то не сможете повторно заразиться, потому что кислота в желудке настолько дикая, что убивает большинство (но не всех) вирусов и бактерий, которыми вы заражены в данный момент.

Так почему бы не сделать жидкостный дыхательный фильтр из желудочной кислоты? Это вполне реально, если в лабораторных условиях эту кислоту создавать. Но к сожалению, фильтровать по принципу бонга весь воздух не получится, потому что довольно высок риск сжечь дыхательные пути парами кислот.
Но в мире будущего, где всех убивает смертельный вирус, вполне реально.

А если убрать такое устройство подальше от лица, например, в приточную вентиляцию, то риск отравиться немного снижается.

Выбирая, как жить в мире смертоносного вируса, у вас будет как минимум один вариант — с кислотными фильтрами. 🌈

Я буквально три дня назад посмотрел фильм Земекиса — Here, о котором писал вот тут. Фильм снят полностью на статичную камеру.
И я, кстати, не ошибся с точки зрения применения новых генеративных технологий. 🦸
Сам фильм неплох, как эксперимент.

Смотрел я его... Сейчас треснет жопа сэра Ридли Скотта... ДА НА МОБИЛКЕ!
Но даже через маленький экран была видна очень посредственная графика. А сегодня я наткнулся на пост Javi Lopez, фаундера Magnific_AI, о том, как применялись FX для этого фильма.

Ну, во-первых, FaceSwap и DeAge, о которых я думал, подтвердились. Нельзя так плохо сделать классическими пайплайнами. Кстати, упоминается Nuke как тулза для композитинга — хоть тут классика. Задники за окном дома делались на LED и прогонялись через апскейлеры, что тоже очень удобно и логично.

Пайплайн апскейлеров всем знакомый, всего с двумя параметрами:
1. Креативность.
2. Сходство.
Так как в разных шотах легко можно было нарваться на артефакты и галлюцинации, удачные куски объединяли в Photoshop. Это и экономично, и грустно одновременно — даже для фильма не написали никаких более удобных тулзовин.

Среди недостающих инструментов при использовании ИИ в кино не хватало генеративного HDR, чтобы иметь дополнительные возможности в битности и точках чёрного и белого при редактировании. Хоть за PNG и то спасибо.

Почему всё так? Потому что быстро и дёшево. У фильма не было достаточного бюджета на FX.

Добро пожаловать в дешёвое будущее!
YT

@CGIT_Vines

Вы ведь уже слышали о вайб-кодинге — негативное или позитивное, не важно. Если кто-то ещё не успел повайбить и только думает, сложно это или нет, то [Вастрик объяснит], как всегда в своей манере — понятно, легко и с юмором.

Для художников, которые думают, что им это не пригодится, — глубоко ошибаются. На работу всё равно будут в приоритете брать тех, кто может оптимизировать свои рабочие процессы, особенно если компания не может обеспечить вас хорошими оптимизационными тулзами.

Сам кодинг с LLM всё ещё тупой. Я ловил себя на мысли, когда "писал" тулзу для переключения LOD’ов в Blender, что общаешься с джуном. И чем дольше вы в чате мусолите код, тем хуже он становится.

И ещё один важный момент: майндсет кодерский всё равно нужно в себе воспитывать. Хотя бы для того, чтобы поддерживать чистоту в вашей структуре — вам придётся к этому прийти.