MAGI-1

Новый видеогенератор длинных видео в опенсорсе
Две модели: 24B и 1.5B. Последняя вероятно запустится на RTX 4090


Попробовать можно онлайн, там насыпают кредитов

Попробовать
Веса
Код

#text2video #image2video

FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8

Квантизованная версия универсального контролнета для #flux

civitai/workflow

#controlnet #conditioning @text2image #image2image #workflow

Сколько часов у вас уходит на проверку фактов от ChatGPT?

Вы спрашиваете ChatGPT. Получаете уверенный ответ. А затем... тратите в три раза больше времени, проверяя, не выдумал ли бот цифры, факты и цитаты.

Уми не страдает синдромом всезнайки! Он честно ищет информацию в интернете в реальном времени и всегда показывает источники. Вам не придется гадать, можно ли доверять ответу – вы сразу видите, откуда взяты факты.

Хватит тратить время на проверку выдуманных фактов. Получайте достоверные ответы сразу – @umiaibot

#промо

FramePack LoRa

Экспериментальная попытка прикрутить лору к FramePack. Последний основан на Hunyuan, поэтому попытка не бессмысленная.

Автор обучил лору на китайских боевиках 70-х

Первое видео - оригинальное видео

Второе - попытка воспроизвести резкое панорамирование оригинальным FramePack

Третье - FramePack с лорой

Похоже, что их можно подружить

Форк FramePack с поддержкой лоры
—————————————

Кстати, в FramePack можно разбивать промпт по тайкодам

1) в сборке от Neurogen
2) в FramePack Studio

#prompting #image2video #lora

Новый драйвер Nvidia 576.02 может сжечь вашу видеокарту

Я просто паникер, поэтому сам не проверял

Новый драйвер Nvidia перестает обновлять данные с датчика температуры и не включает кулер даже при максимальной нагрузке

Безопасные версии драйверов:
для серий 30xx и 40xx - 566.36
для 50xx - 572.83

#news #driver #gpu #лучшеперебздетьчемнедобздеть

SkyReels V2

Новая версия видеогенератора, умеет делать "бесконечные" видео

Выпущены модели 1.3B / 5B / 14B и код

Первая модель с открытым весом, конкурирующая с Sora, Kling и Veo2 на VBench и human evals

Генерация сюжета, генерация видео по картинке, управление камерой (эта модель будет позже), синтез видео из заданных элементов

Гитхаб
Веса
Попробовать (попробуйте создать новый аккаунт если на старом нет кредитов)
————————————

SkyCaptioner-V1

Кэпшнер от SkyReels - модель для структурного текстового описания видео

Веса
Демо ждем

#text2video #image2video #video2text #captioning #text2movie

Опубликован код ReCamMaster, модели для изменения траектории камеры в видео.
Родную модель t2v использовать нельзя, но они прикрутили Wan2.1

Обещают онлайн сервис, новости ждем на сайте Kling

Код
Воркфлоу
Видеотуториал

#cameracontrol #novelview #video2video #stabilization #workflow #tutorial

DICEPTION: A Generalist Diffusion Model for Vision Perception

Единая модель создает технические карты на уровне SOTA. Умеет делать глубину, нормали, позу? разные виды сегментации.

Сохраняет мелкие детали сегментации, такие как волосы.

Код ждем
Демо

Спасибо @m_franz

#conditioning #image2mask #image2normal #image2depth #image2pose #segmentation

Время мемов и рефлексии

#humor

Krea Stage

У Krea AI опять обновка.
Добавили функцию генерации 3D сцен

#image2scene #imageto3d #text2scene #textto3d

В репозиторий FramePack добавлен инсталлятор для Windows

Скачиваем, распаковываем, запускаем сначала update.bat (важно), потом run.bat

спасибо @Skubidoo

Инсталлятор

#text2video #image2video #windows

WORLDMEM: Long-term Consistent World Simulation with Memory

Очередная бродилка по генеративным игровым мирам. Но на этот раз с памятью. Он запоминает где что было, уходите, возвращаетесь - все на месте. С реалистичными сценами тоже работает. И даже демка есть. Есть и минус, она не интерактивная, действия вводятся промптом перед генерацией

Код
Демо

#gaming #image2world

IndexTTS: An Industrial-Level Controllable and Efficient Zero-Shot Text-To-Speech System

Голосовой движок от Qwen
Говорит на английском и китайском
Есть контроль эмоций, контроль произношения/акцента

Работает на 4Гб VRAM

Пишут что не дотягивает до Zonos, но превосходит другие типа Spark, XTTS

Код
Веса
Видео туториал

#voicecloning #text2speech #tts

NormalCrafter: Learning Temporally Consistent Normals from Video Diffusion Priors

Генератор нормалей для видео, которые наконец-то не кипят и не трясутся

Демо
Код

#video2normal

А еще o3 прекрасно определяет где было сделано фото - попробуйте, она прям в деталях каждый фрагмент рассматривает

ComfyUI Wrapper for FramePack

Kijai уже пилит.
воркфлоу
реддит
———————————
Бонус
FramePack Batch Processor

Скрипт для создания видео из каждого изображения в папке

#image2video #comfyUI

Avat3r: Large Animatable Gaussian Reconstruction Model for High-fidelity 3D Head Avatars

Анимируемый 3D-аватар головы по 4 входным портретам за один прямой проход от Meta Reality Labs.

Создается за несколько минут, далее анимируется интерактивно, ~8fps на RTX 3090 GPU

Код ждем

Спасибо @m_franz

#head #image2avatar #talkinghead #gaussian

FLUX.1-dev-ControlNet-Union-Pro-2.0

Поддерживает разные режимы включая canny, soft edge, depth, pose, gray

Обучен на 512x512

Демо

#controlnet #conditioning @text2image #image2image

Купон на 20 баксов на fal.ai
Можно генерить видео.

Ещё работает:
https://t.co/EgEcrNuWh3

SHeaP: Self-Supervised Head Geometry Predictor Learned via 2D Gaussians

Реконструкция головы по монокулярному видео от Toyota

Модель предсказывает меш и натягивает на него набор гауссиан так чтобы на рендере получить исходную картинку

Кода нет 🤩

Спасибо @m_franz

#head #image2head #video2head #videoto4d #video2mesh #image2mesh #gaussian

LTXVideo 0.9.6

Обновка видеогенератора, две модели

ltxv-2b-0.9.6-dev-04-25 - улучшили качество
ltxv-2b-0.9.6-distilled-04-25 - быстрый как саморазборка старшипа в верхних слоях атмосферы, в 15 раз быстрее недистиллированного брата

Сэмплирование за 8 (рекомендовано), 4, 2 или 1 шаг

Новое разрешение по умолчанию 1216 × 704 @ 30 FPS

воркфлоу
Гитхаб

#image2video #text2video #workflow

InstantCharacter : Personalize Any Characters with a Scalable Diffusion Transformer Framework

Персонализотор картинок по одному образцу от Tencent

Прикручено к Flux, работает с лорами

Код
Демо

#personalization #text2image #image2image

Wan2.1-FLF2V-14B

Выпустили модель генерации видео по первому и последнему кадру, 14B параметров

Только 720p

Веса
Веса у Kijai
Гитхаб
Kijai Workflow

#image2video

FramePack

Метод генерации длинных (1000+ кадров) видео от звезды опенсорсных моделей lllyasviel

480p @ 30 FPS на 6 ГБ VRAM, Hunyuan 13B

Поддерживает PyTorch, xformers, flash-attn, sage-attention

Ждем однокликовый установщик для Windows, возможно даже завтра

Код

#optimization #text2video #image2video

Nunchaku v0.2.0

Обновился движок для запуска 4-битных диффузных моделей
Добавлена поддержка нескольких лор и контролнета

На 3060 12gb Flux Dev выдает 1024x1024 30 шагов euler за 14-15 секунд

Код
Демо
ComfyUI
Туториал (youtube)

#text2image #optimization #tutorial

HiDream-I1-Dev-gguf

Еще квантизованные версии

Работает на RTX3060 с SageAttention и Torch Complie, 768x1344 100s 18steps

Веса
GGUF Loader
TEXT Encoders
VAE
workflow

#workflow #text2image

HiDream-I1_fp8/fp16

Квантизованная версия

Веса fp8
Веса на ComfyUI fp8/fp16
ComfyUI_examples

#comfyUI #text2image

В инпейнтер картинок LanPaint добавлена поддержка генератора картинок HiDream

Для установки в #ComfyUI следуйте инструкции

Гитхаб

#inpainting #image2image

OpenAI выпустили новые модели o3 и o4-mini

o3 самая мощная
o4-mini быстрая и дешевая

Модели "думают с картинками" - интегрируют визуальную информацию в процесс рассуждений
Самостоятельно используют все инструменты ChatGPT (веб-поиск, Python, генерацию изображений)
Решают сложные многоэтапные задачи без помощи человека

Доступ сначала дадут платным подписанам и разрабам в API

#news #assistant

В Krea.ai завезли вчерашний Kling 2.0

На бесплатном аккаунте не потестить, разве что на новом если при регистрации дают приветственные кредиты

#text2video #image2video #text2image

FireBase Studio

ИИ-программист приложений от Google в браузере. Построен на базе Code OSS (форк Visual Studio Code)

Прошло уже несколько дней как я дал ему задание, но что-то результата нет. Хотя задание было непростое. В общем, пробуйте сами

Кстати, можно начать проект не с нуля, а с загрузки уже существующего проекта, например из гитхаба

Дают бесплатно 3 проекта (это неточно, могу ошибаться)

#coding #online

Как перестать играться с ИИ и начать получать реальную экономическую выгоду.

Все говорят про ИИ, но в 90% компаний так и не заходят дальше промтов, нет понимания, что делать, чтобы получать эффект для бизнеса и использовать потенциал.

Как отличить полезные решения от бесполезных?
С чего начать бизнесу для первого экономического эффекта?
Как компании теряют деньги, внедряя ИИ без опыта?

Дима Коробовцев (предприниматель с 15+ летним опытом, который строил продажи для Google, Microsoft и Cisco) в своем канале делится проверенными методами автоматизации с ИИ, доступными сервисами, технологиями продаж и треш историями из путешествий.

Только реальный бизнес-опыт и работающие схемы.
Вот несколько материалов, которые он уже опубликовал в канале:

🎁 Гид по внедрению ИИ – чтобы не тратить сотни тысяч на эксперименты.
🎁 Чек-лист "27 промтов для бизнеса" – чтобы ИИ писал так, как вам нужно.
🎁«7 задач, которые можно делегировать ИИ» – экономия времени без лишних трат.

Рекомендую подписаться и не пропустить этот пост ) - ТЫК

#промо

Anthropic выпустили свой Deep Research

Доступен только в некоторых странах и только для платных подписанов

Умеет искать не только в интернете, но и в ваших личных данных через интеграцию в Google Workspace. Да, это тоже новая анонсированная фича. Еще анонсировали голосовой режим

Anthropic

#assistant #voicemode #deepresearch #search

Krisp

Голосовой шумодав (тот который встроен в дискорд) научился убирать из речи акцент. Пока только индийский акцент. В будущем добавят и другие

Можно использовать бесплатно, с лимитами

#speech2speech #deaccent #speechcorrection

Liquid: Language Models are Scalable and Unified Multi-modal Generators

Единая языковая модель в качестве мультимодального генератора без костылей типа CLIP. В данном случае картинки/текст, 7B параметров

Код
Демо
Веса

#llm #mlm #text2image#image2text #text2text

и ни одного каламбура. я разочарован

Cursor GPT-4.1

GPT-4.1 доступна в ассистенте программиста Cursor, пока бесплатно

#coding

Remove/Replace ANYTHING with VACE+Wan2.1

Связку VACE/Wan2.1 уже используют для замены или удаления объектов на видео

Удаление объектов
Civitai
Видео

Замена объектов
Civitai
Видео

#video2video #videoediting #objectremoval #objectreplacement #cleanup #inpainting #tutorial #workflow

VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior

генерация физически корректных видео

Код ждем

#text2video #image2video #simulation

KLING 2.0

Масштабное обновление Kling

KLING 2.0 Master - видео. По картинке, по тексту, 720p

KOLORS 2.0 - картинки

Multi-Elements Editor - добавление, замена, удаление объектов на видео

Image Editing - Inpaint / Expand

Restyle - смена стиля изображения

Motion Control - анимация персонажа по промпту или референсу.

Только что закончился официальный полуторачасовой стрим про обновки в твиттере

#text2video #image2video #news #text2image

GPT 4.1

Обычный, mini и nano
Предназначены для разработчиков, доступ по API.
Ну и дешевые

Контекстное окно до 1 миллиона токенов
Знания до 1 июля 2024 года

Playground
https://windsurf.com/ - здесь эту неделю можно бесплатно кодить на 4.1

#news #assistant

BoxDreamer: Dreaming Box Corners for Generalizable Object Pose Estimation

Трекер положения объекта в 3D с баундинг боксом в качестве промежуточного результата

Код ждем
Демо

#tracking #video2pose

Geo4D: Leveraging Video Generators for Geometric 4D Scene Reconstruction

Еще один реконструктор 4D сцены по монокулярному (не стерео) видео. Тоже через карту глубины, а также через карту точек и карту лучей

Код

#videoto4d #scenereconstruction #4d #novelview #imageto3d #image2scene #video2scene

sd-forge-fluxtools-v2

Расширение для Forge, позволяющее полноценно использовать Controlnet и Redux c Flux-1-dev. До сих пор с этим были проблемы, в отличие от ComfyUI

#extension #flux

ИИ лишит работы даёт карьерный апгрейд

Если ты ищешь работу в сфере ИИ или хочешь встроиться в новый рынок, где нейросети стали полноценным рабочим инструментом — добро пожаловать.

В @ai_seekers ребята мониторят русскоязычные и англоязычные источники, чтобы собирать подборки вакансий, которые реально можно получить, если ты работаешь с ИИ:

— Тестировщики языковых моделей
— Prompt-инженеры
— Продакты с ИИ-бэкграундом
— Разработчики, знакомые с LLM
— Дизайнеры, умеющие творить в Midjourney и не только

И другие роли, где ИИ — часть повседневной работы.

Плюс — полезные новости, чтобы не теряться в быстро меняющемся рынке.

@ai_seekers

#промо

Dreamina

В генератор картинок и видео от Capcut добавили оживлятор портретов с липсинком. Работает он на базе OmniHuman который мы смотрели в феврале без кода.

Загружаем фото, пишем текст для озвучки или загружаем аудио до 15 секунд, выбираем голос.

На выходе получаем анимацию с неплохой мимикой, жестами, движениями головы, глаз и тела.

Нужен аккаунт CapCut и веб-локация в США

Попробовать

#portraitanimation #audio2video #audio2motion #motion2video #talkinghead #lipsync

Видеогенератор Veo 2 доступен бесплатно в AI Studio (притворитесь что вы в США)

Разумеется, есть лимиты

#text2video

HiDream-I1

Новый опенсорсный китайский генератор картинок на совете экспертов (#MoE)

Ест 16Гб на самом деле 61Гб

Демо - пожатая модель
Код
Веса

#text2image

Время мемов и рефлексии

#humor

Browserable

JS-Библиотека для создания браузерных ИИ-агентов
Для работы понадобится API ключ одного из провайдеров Gemini / Open AI / Claude

Код

#agent

В недавнем подкасте режиссёр Джеймс Кэмерон выразил мнение, что для сохранения фильмов-блокбастеров стоимость создания графики (VFX) для них нужно сократить в два раза, но на самом деле он просто не совсем верно высказал мысль, вот цитата:

Дело не в том, чтобы сокращать половину специалистов и VFX-студий. Нужно в два раза увеличить скорость их работы над определённым шотом, чтобы весь производственный цикл шёл быстрее, а художники смогли переключаться на другие интересные задачи, а скучные вещи отдать AI.

В сентябре 2024 года он объявил, что войдёт в совет директоров Stability AI, компании, стоящей за нейросетью Stable Diffusion.

При этом Кэмерон не верит, что ИИ сможет полностью заменить человека в создании фильмов: например, для создания сценариев. Кроме того, режиссёру не нравится идея, что кто-то может создать фильм в его стиле или в духе другого режиссёра, просто вбив в программу запрос.

На мой взгляд, Джеймс выбрал неудачное время для подобных разговоров, когда десятки тысяч людей теряют работу в VFX-индустрии, а низкие сметы и сжатые сроки становятся ещё более неадекватными для сотрудников студий. Стремление увеличить скорость работы абсолютно понятно, но когда ты делаешь технодемку, а по-другому Аватар я называть не могу, то есть определенные издержки в виде времени проработки шота и рендера. Те задачи, которые ставят на подобных проектах AI вряд ли выполнит качественно и подконтрольно для видения режиссера, не в обозримом будущем, тем не менее, хотелки растут, а цены просят ниже.

При этом запредельные гонорары продакшена и актерского состава никто трогать не будет, так как они защищены профсоюзами, а львиная доля бюджета уходит именно на них. Безусловно, Кэмерон разбирается в теме производства как никто иной, но мне как представителю "синих" воротничков от индустрии немного странно слышать подобные заявления, когда все эти издержки падают на обычных работяг.

Источник новости

#news

Hunyuan3D-2-stable-projectorz

Легкий установщик (Windows) Hunyuan3D, не требует установки CUDA. Работает на 8Гб VRAM
Для интеграции с текстуровщиком StableProjectorz.

Напоминаю, что все непроверенные штуки из интернета вы устанавливаете на свой страх и риск

#textto3d #imageto3d

Any2Caption: Interpreting Any Condition to Caption for Controllable Video Generation

Контроль генерации видео на основе любой входной информации (текст, нормали, глубина, эскиз, сегментация, ракурс и т д) за счет использования мультимодальных языковых моделей

Эпоха зоопарка контролнетов уходит?

В работе явно указан Hunyuan, наверняка, может работать и с другими генераторами

Код ждем

#text2video #conditioning #controlnet

В ускоритель видеогенерации Sparse VideoGen добавлена поддержка Wan 2.1, по картинке и по тексту

Код

Спасибо @MIXTRESH

#optimiozation #text2video #image2video

UNO - Less-to-More Generalization: Unlocking More Controllability by In-Context Generation

Мультиобъектная кастомизация картинок от ByteDance.
Умеет делать персонализацию, стиль, примерку.
Прикручено к #Flux

Код
Демо

#personalization #referencing #text2image #image2image