0152 Обработка видео в нейросети Stable Diffusion

[@TimesaverVFX]

🔥Друзья, вышла обновленная техника стилизации видео: kzbin.info/www/bejne/bpe4qYiVh6mFldE

[@fantastickworld]

через год, даже скрипт не тот и видимо не туда надо ставить, так что инфа на 24 год уже с ошибками - нужна свежая

[@ОлексійСеливанов]

"См. ротоскопинг!" Пока что приходится смотреть без практики. Благодарю автора!

[@TopsyPlay]

В идеале нейросеть должна оставлять тот же самый сид для каждого кадра видео, но в итоге каждый кадр разный

[@nurlanzhanrn]

Негативный промт: deformed, distorted, disfigured, poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, mutated hands and fingers, disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation

[@ГРОМ32]

Спасибо)

[@olonzon]

ебатьь спасибо

[@vovk_a]

Спасибо мил человек))

[@ШколаплаванияКроль]

очень круто! шикарный голос, информация без воды! мотивирует к развитию и экспериментам в творчестве и работе! спасибо!

[@TresminutoscomDeus1]

brazil lol aqui

[@ГлебДубровский-д6ъ]

Спасибо! Молодец что каждый шаг объясняешь и говоришь зачем он нужен. Сейчас столько бездарных учителей развелось,: "Ставьте здесь галочку, потому что так нужно". Ещё совести хватает свои обучающие курсы рекламировать=) Но ты красавчик, крепкий лайк!

[@cap_norton]

Крутецкая тема, и довольно понятный туториал. Спасибо

[@UraFlight]

Что значит туториал ?

[@JasonXxXLive]

@@UraFlight Ну это по-пиндосовски "инструкция".

[@ChertovoKoleso]

Потрясающий канал, шикарные видео! Приятно смотреть и слушать! Спасибо вам!

[@olga_radi]

Удали видео из папки, оно самый первый кадр

[@igrovoy_K]

Чувствую, видеокарты теперь как после майнинга помирать будут)

[@stefan_es]

О да

[@v1perys]

Андерклочь

[@stefan_es]

Ну 4080 в принципе не так сильно греется. Так что норм у тех кто 4070ti и выше для такого

[@Airbender131090]

Фишка майнинга в том что карты 24/7 работали. Тут это зачем? И карта оч слабо греется от SD. В играх сильнее греется

[@stefan_es]

@@Airbender131090 ну так если поставишь рендерить видео, то вот тебе и майнинг 2.0 Видеопамять забьет под 100% и будет молотить до победного

[@DauletAzhdar]

Спасибоо, за эту неделю столько видео посмотрел по sd, это видео самое понятное🔥🔥🔥

[@neuromaker]

Спасибо! Скрипт и темпоралнет не юзал, буду пробовать) Шум обычно снижал уже в давинчи дефликером, надеюсь скоро появятся способы совсем его исключить, чтоб гладко было, как через абсент. Кстати чтобы вручную не подгонять размер, есть специальная кнопка с треугольником рядом) Так же можно поставить доп расширение для удобства выбора различных популярных форматов.

[@ITsMaxART]

Речь идет о разных шумах ) В видео говорится про шум при генерации, вариативность, так сказать... А вы в Давинчи убираете шум-зерно ))

[@Comic_AI_Chronicles]

привет. на 6.06 я бы добавил применить ,а потом уже перезагрузить. рассказываешь зачётно спасибо

[@oli_box]

Да, точно подмечено, нажимаешь применить и Windows вылетает на_ер

[@Comic_AI_Chronicles]

@@oli_box 😁странно у меня не вылетает😁

[@daryhan9429]

Ох уж эти нейросети... Сильно облегчает монтаж. НО! Качество у видимо выходит пропорционально стараниям) Куда проще не парить себе мозг, в автерэфекте или синема4д поставить трассировку сцены и привязать точки тела к модельке. Делов на 20 минут. А результат в разы лучше.

[@Але-с8и]

процентов 75 понятно даже не очень посвященному, спасибо! осталось что-то с видюхой придумать)

[@FirenikoTube]

Спасибо! как всегда понятным языком, подробно и главное актуально по тому, что в тренде.

[@dankus88]

спасибо за мастер-класс, вы супер!

[@Alexandr_Chapurin]

Крутяк, и объяснения очень грамотные 👍🏻

[@PosPictures_]

Ты очень крут,спасибо что делаешь видео для нас)

[@AlexeySamara]

При установке Stable Diffusion файлик webui-user-first-run.cmd надо запускать в папке, куда распаковали архив. Автор забыл об этом упомянуть. Можно потерять дохрена времени ))

[@ЗарядБодрости]

а где его ещё можно запустить?

[@AlexeySamara]

@@ЗарядБодрости там, где исходники, например. Где он и лежит изначально.

[@ЗарядБодрости]

@@AlexeySamara не знаю. проблем не возникало с запуском никогда

[@daniilpr7437]

Отличный голос и подача информации ❤

[@Daemoniklis]

Наконец то от Вас обзор на СД) Жаль конечно, что не показано как это делать через Гугл колаб для владельцев мак

[@STTQ]

Для владельцев мак все точно так же. Уже год генерирую пички и видео на MacOS. Единственное, НО - данный скрипт никак не хочет заводиться. Автор где-то недоговаривает

[@daniilpr7437]

Крутая сборка на самом деле, а то замучился тыкаться в ссылки , а тут скачал и все ❤

[@igemon4845]

Вообще Stable warp fusion сейчас самое простое, но чуваки начали в деформ делать видео, не хуже, а даже лучше

[@michail_777]

В Deforum это можно было делать ещё в марте.

[@AnnaMagneli]

UnidentifiedImageError: cannot identify image file '/tmp/gradio/da39a3ee5e6b4b0d3255bfef95601890afd80709/20210825_143657_1_000001.jpg' Time taken: 0.09sTorch active/reserved: 2946/3452 MiB, Sys VRAM: 4791/15102 MiB (31.72%) не подскажите что это значит?

[@РоманО-ю4п]

нашли решение? у меня такая же проблема.

[@dddodin]

Очень крутой видос, как раз то, что я искал. Спасибо

[@ruslonick]

урок просто супер, большое спасибо!

[@PoBoxy_]

спасибо, очень интересно, сразу захотелось нормальную видеокарту:D

[@KirillPodcast]

Так она всегда нужна была вроде не? 🤷🏻‍♂️😁😅

[@Bukaa900]

ПОсмотрел твой ролик один раз) мало че понял буду разбираться ) спасибо.. Я думаю с твоей помошью получится научится

[@xadjud]

зачёт за туториал!! есть ещё достойные сетки бесплатные что бы делать видео

[@ArtchiFAVN]

Хачатур на днях свою новую модель выпустил, очень рекомендую ознакомиться

[@Dizel2002]

ОЧЕНЬ КРУТОЙ УРОК! Спасибо!

[@liludsgnr9320]

огонь, все понятно и без воды, спс

[@panarin.marketing]

Александр, здравствуйте. Видео получилось очень подробным и понятным. Буду применять Ваше обучение на практике и пересматривать материал не один раз. Благодарю за Ваши труды.

[@wladradchenko]

Привет. Сегодня сделал обновление своего проекта с открытым исходным кодом. Теперь можно менять video to video, при помощи промта, при этом за один пробег привязывать промты к разным обьектам на разном таймлайне и программа автоматически будет создавать маску. А результат выглядит стабильнее чем в примере, настроек мало, поэтому легче вникнуть. На каждом кадре остается сид выбранный пользователем, поэтому при запуске с теми же параметрами, получится то же видео. Может интересно будет сделать обзор на Wunjo AI для создания видео. Написал о том как работает на Хабре.

[@TimesaverVFX]

Привет, крутая программа, ретушь объектов особенно интересует, обязательно потестирую ее, по поводу стилизации видео, самый стабильный вариант сейчас дает animateddiff+contronet tile, ip2p, там суть в генерации пачки кадров за один раз, ebsynth дает много артефактов на сильных движениях

[@wladradchenko]

​@@TimesaverVFXда, это правда, при сильных движениях заметны артефакты. Посмотрю на это решение, как его можно будет соединить с моим. Спасибо

[@duckduckov4362]

Наконец-то нашёл полнейший гайд

[@luvr101]

Вот так на примере стало понятнее

[@UCrEdstktTsLwcJR6dk6sMXw2]

AI заклинатель. Правда часто работа с АI движками похожа на "Если в бутылку напихать мусор и долго трясти, иногда корабли получаются"

[@TimesaverVFX]

да, нужно учится трясти бутылку правильно)

[@mymobigoogle205]

А если оттуда отпить, то они еще и плавают. А у некоторых даже ходят.

[@21grammov54]

Мужик, ты просто бог! Это лучшее видео по теме что я встречал с самого начала работы с дифюжн!!

[@alexandergoodkind2620]

Noise multiplier for img2img должен всегда стоять на 1, иначе мыло фигня каято видать не все рассказано намекают на буст

[@serges85468]

Самый лучший комментарий. После всех этих танцев не знал как вернуть нормальный img2img, оказалось нужно лишь выставить этот параметр на1 !

[@silentbobgame]

Спасибо большое, это просто самое классное видео. Вы всё чётко рассказали, я оторваться от видео не смог.

[@MrHopeOrLess]

Дружище, только зашёл, просто скажу тебе критику сразу, что заметил, надеюсь, она будет конструктивной. Не у всех 720р стоит, и не все на полный экран смотрят. Если бы ты мог приближать ту часть экрана с важной инфой, как имена плагинов, которые ты проговариваешь. Мне бы это точно помогло. Например 2:22 момент, 50% это серый фон. Я надеюсь, я сейчас не душу))))

[@strictly_social]

бро, спасибо за гайд! но не депт, а дэф (depth), и не кат вумэн, а кьют (cute) вумэн😀 ну так, чтобы и ты от нас чему-нибудь научился, как и мы от тебя)))

[@mymobigoogle205]

Дэф - это глухой. :) Если уж на русишь транскрибировать, то ДЭПТс.

[@nickus9104]

Урок крутой, спасибо, но беда - рендерит исключительно ту картинку, которую в контрол нет и в I2I вставляет. С папки ни один последующий кадр не хочет брать х(

[@vovasykhorukov4351]

UnidentifiedImageError: cannot identify image file 'C:\\Users\\mrazb\\AppData\\Local\\Temp\\Untitled00000000_000002h_1bs_o1.jpg' Не могу победить вот это

[@Johnny_Ash]

Добрый день. Вроде, всё устарновилось, даже рендерит. Но проблема в том, что все фреймы делает одинаковыми, как будто с первого загруженного кадра. Что я упускаю, подскажите, пожалуйста.

[@RedGrifon02]

Такая же ситуация, даже сид убрал, чтобы не основывалось на 1 генерации, но не меняет ничего от картинки к картинке

[@denisdomanskii7458]

не надо загружать первую картинку в контролнет, он сам будет брать из img2img.

[@Johnny_Ash]

@@denisdomanskii7458 Спасибо, попробую, отпишусь.

[@kukmax3059]

Тоже столкнулся с этой проблемой. Решилось изменением в скрипте "multi-frame rendering video" самой последней настройки Sampling steps - выставил inputFrame вместо FirstGen.

[@alexraycan]

отличное видео, спасибо!

[@sergeylucky7113]

Что ж... В целом, с основой всё стало понятно, за потраченое время пока благодарность. Задонатить безусловно нужно. Всё получилось, результат если честно, ну так себе ... Сид вроде зафиксирван задний план всё равно скачет (не весь прям, а по мелочам) , при малейшем повороте головы начинается дичь. Для себя , поржать может быть, но не более ... В общем разбор полётов продолжается. Deforum пока лидирует.

[@fishing_life]

Оооооооооочень крутая тема. Просто супер

[@rastafar777]

Спасибо! Спасибо! Спасибище!🤝

[@KavkazMix]

В чем может быть проблема? Во вкладке img2img, в controlNet - нет окна, куда вставлять картинку/фото. Во вкладке Txt2img, далее в controlNet - окно есть. Все делал по видео и перепроверял потом

[@Lavesta]

Отлично все объяснил по полочкам спасибо 🙏

[@funnybox9027]

Вот только твоя сборка стоит 5.2 долара. Поотому что столько стоит подписка чтобы скачать твою сборку

[@Dizel2002]

Спасибо за урок! Где можно скачать сборку Stable Diffusion со всеми установленными плагинами если у меня нет подписки на Boosty?

[@АндрейВолков-ь2ц8н]

Мега круто, спасибо!)

[@daniilpr7437]

Надо будет ещё попробовать добавить промы на 2023

[@granta_met]

🦋

[@Richard-vv3lg]

Почему смотря это видео, я чувствую себя дедом, который впервые взял в руки смартфон🤣🤦

[@skynev]

Жиза 🤣

[@onebytesiteit30-75]

буду ждать когда для макбуков будет

[@broncotv76]

та ты гений, бро!!!

[@LAVRADUR]

Спасибо

[@vaysheslavvolkov1581]

Спасибо!)

[@ДмитрийКайгородов-ш4ы]

Тема 🔥

[@ИльдарУрмантаев]

Здравствуйте! Хотел скачать вашу сборку Stable Diffusion со всеми установленными плагинами ? Для этого надо платно подписаться?

[@AndreyVoyager]

Познавательное видео! Давно хотел сделать что-то подобное, но не знал с помощью чего и как сделать. А что за музыка звучит в ролике? Название трека можно было бы и в описании оставить.

[@imetovt]

Урок очень крутой, спасибо большое. Только у меня рендрился один и тот же кадр, пока я не перестал везде ставить firstgen

[@Olieta]

у меня то же самое! спасибо вам, убрала эти firstgen и все заработало

[@TomHaevy]

Подскажите, где этот параметр?

[@TomHaevy]

@@Olieta как убрать firstgen?

[@imetovt]

​@@TomHaevyв самом низу, вот в видосе видно 12:23 таймкод

[@Elena-b6w]

Спасибо! Какой программой вы пользуетесь для быстрой вставки пресетов?

[@servicepnz6622]

Прикольно

[@leoniddzhabiev]

ты мощный

[@MartiStr]

а что делать если в интерфейса SD не параметра noise multiplier for img2img, может этот ползунок как то отдельно включается? Помогите плиз

[@amithvenkataramaiah928]

Cool workflow! English subtitles please?

[@daryhan9429]

Learn russian

[@kkonado]

❤❤❤

[@68frol]

Спасибо за Ваши труды. Лайк прожал.

[@RRIVALART]

Вопрос, а одновременно 2х и больше людей на видео можно так обработать? Или в таком случае надо каждого будет сначала ротоскопить и потом композить отдельно после обработки?

[@Oleg_user_Dementyev]

В общем то всё примерно так, как в видео, когда дошел до запуска скрипта он не заработал. Кмдешник выдал ошибки и всё остановилось. Пробовал несколько раз, с удалением венв, и так и сяк, не едет.

[@andvfxer]

интересно когда выпустят уже норм расширение для плавной анимации

[@mellmellfun]

Здравствуй. Я столкнулся с тремя проблемами. 1. Слишком медленная обработка видео 2.5 it/s, хотя фотки обрабатывает с скоростью 7-9,5 it/s с Sampling method (DPM++ 2M SDE Karras), хотя xformers я дополнительно установил, который по идее должен увеличивать скорость обработки, но нет :(. 2. После генерации видео при переносе в Davinci Resolve каждая фотка длится от 2х до 5ти секунд и получается не плавное видео, как представлено у тебя, а слайд шоу из фото, полученных в нейросети. Оригинальное видео длится 12 секунд, разделил его на фотки и поставил 30 фпс. Еще 1 проблема выглядит так, нигде в интернете не нашел её решения "ControlNet - WARNING - Warn: Using legacy field 'p.controlnet_input_image'" и такая фигня вылезает только когда пользуюсь моделью depth. Видеокарта Palit 4060 ti 8Gb, CPU i5-10400f, Ram 16 Gb, Win 11pro. Надеюсь поможешь разобраться, потому что я не понимаю в чем дело, сижу уже 3 дня, не понимая, что не так! + Установил модель для Stable Diffusion Artiusv15, как у тебя

[@rr1me158]

В shutter encoder есть функция H.264, туда кидай результат и в последовательности кадров ставь столько же, сколько ставил, когда разбивал видео на фото (т.е. 30 фпс). Кстати, тоже не могу разобраться с проблемой медленной обработки изображений :(

[@movie-trailer19]

Sanches, привет. Подскажи какую на сегодняшний момент можно поставить сборку для генерации видео кадров?

[@photoadil]

20 секундный ролик показывает время рендера 7 часов, но генерит 3 фрэйма и останавливается (( В чём проблема ?

[@Dad-g4h]

Очень хороший туториал . Какую видеокарту используешь на видео? Не похоже что в ней 8 гиг. Скрипт этот очень к видеопамяти требовательный.

[@TimesaverVFX]

rtx3070 в ноутбуке, я же говорил в видео, оптимизируйте SD, xformers ставьте обязательно

[@Dad-g4h]

@@TimesaverVFX Спасибо, попробую. Сейчас у меня с 2 CN уже на двойной картинке 720 на 405 потребляет 12 МБ Vram. А на тройной до 16.

[@ЕвгенийГригоренко-т3ь]

урок замечательный, Stable Diffusion был уже установлен, остальное делал по Вашему уроку, и застопорился в одном месте, в разделе Settings/User interface в строчке Quicksettings list не могу добавить initial_noise_multiplier, нажимаю на строчку и окно выбора не открывается, из за чего так?

[@tvcrowd6009]

Да просто введите через запятую с клавиатуры

[@Karim3run]

когда параметр Noise multiplier for img2img ставлю в ноль, получается муть какая-то, практически без изменений относительно исходника, только все блекнет.

[@int_videos]

Посоветуйте пожалуйста ролик, в котором рассказано, как например в davinci можно собрать ролик нужной длины из полученных в результате работы по этому ролику картинками )

[@АлександрШтуберт]

Спасибо! Очень круто. Понятно и полезно. Только у меня нет ползунка "noise multiplier", на его месте располагается ползунок "clip skip". Как быть?

[@TheYulyaJuly]

тоже не могу найти...(

[@Valarxx]

Спасибо, очень полезное видео!

[@Whitefoxx1]

Здравствуйте. Скачал сегодня все как показали. За исключением одного момента. В файле shared нет нужной строки т.к. в вашем видео размер файла 47килобайт, а у меня только 3 килобайта. Где еще можно взять данный файл?

[@brudik6414]

потратил целый день на закачку всего, а rtx3050ti ничего не тянет, очень обидно

[@va4eslavankb]

Круто! Есть ли способ анимировать только персонажа, чтоб фон оставался оригинальным?

[@TimesaverVFX]

Да, можно отротоскопить человека с помощью magic mask в Davinci resolve

[@luvamora114]

При рендеринге выдает это: AttributeError: 'NoneType' object has no attribute 'shape'. Что делать, помогите( @@TimesaverVFX

[@play_game-i7h]

Noise Multiplier теперь по дефолту 0 если кто искал и не нашел. переехал в shared options

[@serg-ic9fq]

генерит первый кадр уже 45 frame... может где галочку забыл поставить? 45 одинаковых сгенерила.. только немного картинки отличаются

[@famigirl7259]

В этой сборке, которую вы выложили на скачку, во вкладке IMG2IMG во вкладке CONTROLNET напрочь отсутствует INPUT VIDEO, и это не лечится никакими галочками, на забугорных версиях пишут, что это баг, и надо полностью пересобирать сборку 1111 на актуальные версии со всеми плагинами. Так что ваша версия ффтопку, а покупать старье , пусть даже за 5 баксов, извините, такое...

[@SanShiney]

Классное видео. Но, прошу, читай английские промты корректно. 😅😅😅 Очень тяжело смотреть из-за этого

[@stefan_es]

Окей, вопрос такой. Как использовать одновременно несколько моделей Control Net? Допустим я хочу взять с одного видео open pose и на его основе сделать со своим пермонажем движения в видео. Это возможно осуществить?

[@discography_Playlist]

а хорошая прога для видео без переходов/переключений

[@motiondi51]

Сразу лайк, даже не глядя :)))

[@dmitriy_fatio9992]

странно, у меня в файле shared нету такой строки(initial) и содержимое меньше чем на примере в видео, почему так(открываю обычным блокнотом)

[@TheMaxvin]

И еще, вес контролнета понижаем до 0.7 и в тоже время ставим что он более важен. Не противоречие?

[@georgysoldatov8629]

Спасибо. Все понятно. Одна проблема. В Control mode не появились модели. Файлы загружены в соответствующую папку.

[@АнастасияБерезина-и9г]

то же самое. нашлось решение?

[@tvcrowd6009]

Присоединяюсь к многим отписавшимся, спасибо, но скрипт к сожалению не работает

[@msharapov]

Подскажите. Сделал по инструкции из видоса, у меня ИИ почему-то выдал несколько вариантов обработки, я выбрал первый, закрепил, но в итоге всё равно обработал не по примеру одной а по нескольким. Как можно исправить или фиксировать для обработки только один вариант? Спасибо

[@vechtruba]

У меня в рендере берет только первую оригинальную картинку и по ней делает остальные действия, т.е. анимации никакой нет, просто вариации рендера именно первого кадра, что может быть не так? Рендер в ReV animated , может ли быть в этом проблема?