Photo styling in Automatic1111 | InstantID and IP-Adapter

In this video you will learn how to stylize photographs in any style: from oil paints to comics or photorealistic styles. The faces from the portraits remain clearly recognizable. In this video we will analyze the technique in the Automatic 1111 interface, and Boosty has already posted a large and detailed video for implementing this process in ComfyUI.
Menu:
00:00 - Introduction
02:01 - What is InstantID and ip-adapter
04:55 - Setting InstantId to automatic1111
07:44 - Settings in automatic 1111 for styling
17:35 - Epilogue
Link to InstantID developer page: github.com/Mikubill/sd-webui-...
🔑 Scheme for ComfyUi and all links to Boosty:
🍀 boosty.to/stabledif
🔥 My structured course on "AUTOMATIC 1111" with my support on the website stabledif.ru
✔️Telegram channel: t.me/stabledif_lesson
✔️ Telegram CHAT: t.me/stable_dif
✔️VK Prompts: stabledif

[@maxalbrant4441]

Большое спасибо. Как всегда информативно и всё по делу👍

[@user-hu3cb4rb5n]

Спасибо. Полезное видео. Уже знала про инстант айди и про адаптер, теперь знаю и как стили прикрутить.

[@rcmusik1]

Спасибо) добавлю себе в избранные

[@user-rz1fg4fe1e]

Огонь 🔥

[@iojikiojik]

Супер... спасибо

[@andreydugin1005]

❤ Ура ! Дождались ! Спасибо ! Ура ! ❤ ( для ComfyUI )

[@RespectAi-ux3eo]

Расскажите чему вы так радуетесь?

[@user-tg3zp5bw9f]

Спасибо ,всё круто .😂

[@makimakins4349]

топчик

[@leoniddzhabiev]

спасибо

[@yashkinig]

Блин,уже месяц хотел как купить курс,но что то откладывал, пойду оплачу👍

[@golovolomkino]

Препроцессор ip-adapter_clip_sdxl_plus_vith что-то не находится. Подскажите, пожалуйста, кто-то знает, где его найти?

[@wammaxy]

Спасибо за информацию. Можно делать только на моделях XL?

[@jacobniles5005]

Делаю все как на видео, все работает, почему то ни в одном результате нет схожести оригинального фота

[@rcmusik1]

Еще бы видео про Лору sdxl на своем компе без всяких сервисов и сайтов) не нашел на ютубе такого видео

[@TintoMemes]

Дааа) давно жду

[@VladGohn]

оно не работает с коробки, надо сначала установить insightface-0.7.3 в vevn, а так же отключить VAE и Clip skip чтоб заработало

[@user-ss7cm5ym6h]

а просто на 1.5 модели можно делать стилизацию?

[@user-cw9ev9dq4v]

10:30 ip-adapter CLIP не могу найти где скачать

[@gdanvolski2818]

🤝👍🙏

[@dianaorion2]

Если у меня не SDХL, то как мне действовать? Просто препроцессоры не переименовывать? И спасибо за детальный разор! Это то, что я хотела!

[@Lama-tu7fi]

А для моделей SD1.5 никак нельзя сделать? У меня SDXL не работают.

[@sonjagrin4777]

Спасибо огромное. Первое видео получилось наAnimateDiff вчера благодаря вам. Со стилизацией не так радужно. Выдаёт ошибку RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'

[@omxian408]

Так, в целом, сколько оперативки и видеопамяти нужно на InstantID и IP-Adapter?

[@maxvorobyev9596]

Для высоких разрешений не меньше 12Гб видеопамяти и 32Гб оперативки. У меня в данный момент загружены 22 гига (вся система) + 13 гигов видеопамяти в момент рендера.

[@svetlanaLisova666]

А что я делаю нитак, при выборе шагов (где то 30 беру) наверное много? Сильно ухудшает..

[@sverhchelovechek]

чета в forge нужного препроцессора ip-adapter нет...

[@YuryDa]

докачай

[@user-zr9mp4mc4g]

Здравствуйте! При стилизации фото, стал появляться водяной знак, что делать?

[@Pit_74]

А что за интерфейс у Вас на автоматике? Это обычный автоматик или фордж?

[@Pit_74]

В частности кнопки расширений удобные

[@TheMaxvin]

@@Pit_74 tabs extension

[@yangametv1222]

Хотелось бы конечно и Forge узнать какой препроцессор нужно использовать. Но в любом случае большое спасибо. Если кто-то уже разобрался с Forge - дайте знать в комментариях, пожалуйста

[@intergalacticpassenger5911]

привет, в фордж в ControlUnit0 - preprocessor: InsightFace (InstantID); model: ip-adapter_instant_id_sdxl [eb2d3ec0]. ControlUnit1 - preprocessor: instant_id_face_keypoints; model: control_instant_id_sdxl [c5c25a50]

[@yangametv1222]

@@intergalacticpassenger5911 Это то понятно, а что на ControlUnit2 ставить? На видео ведь 3 контролнета задействовано

[@mitteos]

Спасибо за видео. А можешь пожалуйста ещё рассказать как включить FP8? Недавно Automatic1111 обновился и теперь есть поддержка FP8: использует меньшие объемы памяти при тех же вычислительных возможностях. Пишут люди что скорость на SDXL моделях довольно существенно увеличилась. Но я лично пока не знаю как включить эту функцию так как нужно ещё дополнительно установить PyTorch и шаманить с xformers, так как если не ошибаюсь то уже есть совместимость с PyTorc.

[@StableDiff]

Модели нужно конвертировать под FP8. Скоро появятся такие модели. Но качество будет немного ниже.

[@mitteos]

@@StableDiff понял, значит это не что я думал... спасибо за ответ

[@date2077]

@@StableDiff Ничего под fp8 конвертировать не надо.

[@mitteos]

@@date2077 Я в итоге всё сделал и включит эту функцию, так заметной прибавки к скорости я не ощутил. Естественно запускал без xFormerts так как оказывается он не совместим с PyTorch.

[@gromada2048]

11:58 настройки вкратце.

[@dsdfsfe]

Про модели, которые нужно скачивать и будут использоваться, лучше бы в начале говорить, до самого процесса. А в целом, спасибо за полезную инфу!

[@UralMahiyanov]

В сборке от Христ не работает. (

[@yklandares]

у меня в фордже в препроцесоре вместо ip-adapter_clip_sdxl_plus_vith стоит InsightFace+CLIP-H (IPAdapter) это тожесамое или надо качать тот что у вас именно

[@StableDiff]

На forge не проверял. В видео обычный портабельный автоматик.

[@user-ty8eo3up3g]

Да. Это тоже самое

[@YuryDa]

нужно докачивать эту модель

[@55bess]

в forge твоей сборки нет instant_id_face_embedding как это решить ?

[@YuryDa]

Для начала скачать эту модель со страницы разработчика instantID и положить ее в нужную папку

[@55bess]

@@YuryDa был на странице разработчика, нет модели с этим названием. Установлено еще 2 версии 1111, там есть по умолчанию именно эта эмбединг. Само название файла говорит о том что он встроенный

[@CrDesigner]

Первое, ты не оставил ссылку на ip-adapter sdxl vit-h, пришлось самостоятельно искать h94 и выкачивать модель. Второе, уже целый час пытаюсь добиться результата по твоему тутору. Бросаю в основной фейс своё фото (в первые 2 кантрола, в третий бросаю стиль) но на выходе либо супергерой в маске, либо деваха. Где Я в этом уравнении?)))) Не работает.

[@StableDiff]

Проверь веса CN

[@wiwwiw2890]

А переписать ссылку с видео, не догадался? )

[@CrDesigner]

@@StableDiff Всё ровно как у тебя

[@CrDesigner]

@@wiwwiw2890 А что быстрей, переписать длинную ссылку или на хабе ввести h94 ? ))))) Не учи отца детей делать.

[@YuryDa]

смотри ошибки в консоли - скорее всего control net не задействуется

[@TheTornado73]

привет,спасибо - не знаю у кого как , у меня одного так? -) но после нескольких генераций подряд в базовом автоматике -ip adapter начинает рандомно отваливатся ,и пока не перезапустишь автоматик и не настроишь заново не работает , еще если фон светлый и лицо светлое не определяет лицо и если лицо примерно меньше определенного размера то-же выпадает в ошибку,на форже все ровно

[@_FirstName__LastName_]

Кто-нибудь знает, почему на генерации в итоге получается менее детализированное изображение, чем на оригинале? Размеры исходных картинок совпадают попиксельно, более того - фото в фотошопе подобрано по крупности и позе, лицо по размеру совпадает с референсной генерацией. А на выходе - мыло, по крайней мере, по сравнению с генерацией с выключенным контролнет. Карта 3070Ti, 8GB.

[@zashibal]

такая же фигня, всё получается, но детализация оочень плохая одно мыло

[@Ograf00]

не могу найти препроцессор ip-adapter_clip_sdxl_plus_vith , дайте ссылку, добрые люди....

[@Iwatchvideoclip]

в поиске ip-adapter_clip_sdxl_plus_vith, первая ссылка

[@Stoicismiphilosophia]

У меня Automatic 1111 и не одна модель XL не работает, если кто-то знает как решить проблему буду благодарен

[@para11ax]

возможно у тебя мало видеопамяти, у меня rtx 3070 8GB и мне тоже не хватает для нормальной работы.

[@Stoicismiphilosophia]

@@para11ax у меня RTX 4070 12gb все тянет кроме XL

[@YuryDa]

попробуй в SD Forge

[@para11ax]

@@YuryDa действительно, в Forge все работает

[@konrezombie]

Почему-то ооочень долгая генерация идёт (rtx 4070 12gb, 32gb ram), при том, что без третьей панели CN всё окей и генерации с лицами проходят менее чем за минуту. В чём может быть проблема?

[@TalkerSP]

Тоже очень долгая генерация, более 7 минут кофиг такой же только оперативки 48гб

[@YuryDa]

instant только на SD Forge работает быстро без танцев с бубном

[@TheTornado73]

в автоматике надо поставить - Optimizations-Cross attention optimization-xformers, по умолчанию авто стоит ,контрол нет слетает на генерацию процом даже с установленным флагом xformers при старте

[@gromada2048]

​​​​@@TheTornado73у меня 4060 8гб, 32 оперативы. Может конечно не хватает, но такой вопрос: Настройки-control.net-model cash size какой нужно ставить? Настройку оптимизации сделал, не помогло😢 при 24 шагах генерация длится около 20 минут. И ещё нужно ли в ctrlnet ставить галочку low vram?

[@TheTornado73]

@@gromada2048 да нужно , 8 гб конечно для sdxl откровенно мало ,еще в форже есть внизу вкладка never oom integrated попробуйте галки там поставить , там оно как то память хитро перераспределяет model cash size вообще не трогал по умолчанию

[@YuryDa]

Очередная сырая чухня, которая не покрывает даже базовых потребностей. Стиль на втором изображении очень далек от заданного стиля. Ждем дальнейших улучшений. Но за видео огромное спасибо

[@vegaferse102]

Сам SD в целом сырой и не идеальный.

[@YuryDa]

Все равно он лучше, чем Миджорни и Дали@@vegaferse102

[@YuryDa]

Всё равно он лучше, чем Миджорни или Далли, так что довольствуемся тем, что имеем

[@TheTornado73]

промт не меняли ,надо играть- там вариатов тысячи - все нормально работает на форже

[@Lw24_AI]

На колабе это делать бесполезно, такую порнуху выдает - больно смотреть😂😂😂

[@wavilov.alexey]

Ну вот. Танцы с бубном начались((((

[@date2077]

Хотел бы раскритиковать контент, он не несёт ничего нового, уже 100500 раз про это было сказано. От всех русскоязычных скоро отпишусь, уровень дно. В РУНЕТЕ толковые это Неуроген и Христ, остальные заняты не своим делом.

[@user-ty8eo3up3g]

Да у Христа тоже норм контент был только на рассвете SD прошлой весной. Потом всякая мелочевка пошла. Но даже за тот старый контент ему низкий поклон. А вот среди западных есть интересные челы, особенно автор IPAdapter-а. Сам планировал по комфи какие нибудь интересные туторы записать

[@date2077]

@@user-ty8eo3up3g согласен. А есть еще кто интересный в Ру сегменте? Из интересных могу посоветовать computergraphics42, русскоговорящий американец.

[@smartfox6553]

@@user-ty8eo3up3g где найти на Ютубе автора IPAdapter-а? Какой ник у него или как его найти?

[@dianaorion2]

@@user-ty8eo3up3g у меня по Христу не всё получается. Плюс этот его стиль изъяснения... Не всегда въезжаю, что он говорит ))))

[@TintoMemes]

Не согласен!

[@Mark_808]

Всё щас бизнесменов с картинами на холсте подвинут в конец очереди😂