Новый SDXL ControlNet для Automatic 1111, не качай 50 гигов! Обзор и сравнение всех моделей

Всем привет из нового видео вы узнаете:
• Что такое вообще ControlNet
• Как поставить ControlNet последней версии
• Как скачать SDXL модели контролнета
• Какие бывают модели и как они работают
• Увидите наглядно сравнение всех моделей
• Получите прямые ссылки на и скачивание
Доска в Miro: miro.com/app/board/uXjVOWqkev...
Расширение ControlNet: github.com/Mikubill/sd-webui-...
Все модели ControlNet: huggingface.co/lllyasviel/sd_...
Все лучшие SDXL ControlNet модели в одном месте: boosty.to/neuro_art/posts/b27...
Подпишись на мои телеграм каналы: t.me/addlist/LQ-fUTyhVjEzYjIy
-----------------------------
Наши обучающие программы
Онлайн интенсив Нейробуст - освойте базу Stable Diffusion всего за два дня: neurophotograph.ru/neurobustv...
Курс Нейро-Архитектор, научитесь визуализировать интерьеры и экстерьеры в SD: neurophotograph.ru/neuroarhit...
Освойте новый альтернативный форк Automatic 1111 под названием SD.Next: neurophotograph.ru/vladdiffusion
#ai #aiart #stablediffusion #aicreation #automatic1111 #controlnet #sdxl

[@nerual_dreming]

Видео было Полезным? Поставь Лайк и Подпишись на канал! 👍 🥰 Ранний Доступ к роликам, Секретный чат, Эксклюзивные Обучающие Стримы и твоя поддержка, только на Бусти: boosty.to/neuro_art 🔥 Всё Самое Свежее в Моём Телеграм-Канале! Подписывайся, чтобы быть в курсе всех обновлений и новостей: t.me/neuro_art0 🥳 Генерируй онлайн бесплатно прямо в Браузере! Исследуй неограниченные возможности нашей нейросетей: artgeneration.me/ 🧐 Ищешь с чего начать знакомство с нейросетями? Обучайся с помощью наших онлайн курсов по Stable Diffusion: neurophotograph.ru/catalog 🌟Всё о Нейросетях в Одном Месте! Подпишись на все мои Телеграм каналы в один клик: t.me/addlist/LQ-fUTyhVjEzYjIy Твое Мнение Важно! Как Тебе видео? Напиши в Комментариях! 👇

[@13-february]

Колоссальная работа по составлению таблички, спасибо большое от любителей инфографики, не удаляйте, пожалуйста)

[@yuart67]

спасибо за детальный разбор с примерами, особенно за подробную сравнительную таблицу.

[@dnevniktaganrog]

мощно! спасибо! Действительно большой труд!

[@n111cck]

Спасибо. Полезненько. А то все никак не мог подступиться к контролнету для хл с этим разнообразием моделей

[@___Day___]

Отличный ролик, спасибо. Вот бы еще увидеть в вашем исполнении развернутый урок по 3D Openpose эдитору. 👍 В нашем сегменте про это нет. Только у иностранцев.

[@michail_777]

Благодарю за такой расклад.Особенно в "Доска в Miro:".Что б не искать по сети. У меня почти все модели SD 1.5_SD 2.1.Но честно скажу то,что я всего пару раз пользовался моделями SD 2.1:)).То есть по идее их надо вообще удалить.Но жадность:( А по XL мне важны только 5-6 моделей CN,не более. Кстати "normalbae" хорошая модель,которой мало кто пользуется.Но она хороша для того что-бы лицо посмотреть у того кто в маске. Как всегда надо подождать пару недель и всё будет хорошо до модели XXXL:))

[@Kinjeiro]

Какая у вас большая коллекция. У меня интернет не безлимитный, не могли бы подсказать какие модели Вы бы посоветовали качать? Типа топ 10 для разных нужд

[@michail_777]

@@Kinjeiro Привет.Ну вы вспомнили:)) Тогда всех моделей было чуть более сотни,а сейчас тысячи. И смотря для чего вам надо модели.Если просто генерировать изображения, то я этим не совсем занимаюсь. По большей части я анимацией занимаюсь.

[@Kinjeiro]

@@michail_777 моя итоговая цель это мультики в стиле русских сказок, чтобы доносить какие-то хорошие ценности. Но пока только учусь через генерацию картинок, так как видел видео очень туго сейчас (максимум 4 секунды генерации). Нашел парочку лор под стили наших художников.

[@uvencosuper3471]

Титанический эксперимент. Спасибо! Еще бы для пятнашки такой тест бы)

[@Viktor_.]

С раскрашиванием все результаты плохие. Цвета везде более тусклые и темные, особенно это видно с собакой, но и с Монро тоже заметно. Да и вообще все заявленные инструменты дают результат на троечку, мне не понравилось из этого ничего. Но увидеть что они вообще есть было интересно, спасибо за проделанный труд!

[@spaceman01]

Хорошая работа.

[@user-wv8ww9zj4b]

Прикольно

[@aivan8d]

спасибо

[@DedBruzon]

А по карте нормалей не было норм модели? Стоит ли пользоваться этим препроцессором?

[@whileres9658]

надо было мне покрасить архитектурный макет простейший, в итоге ручками )) все это работает только до того, как реально понадобится ))

[@allielose]

надо было бы еще попробовать сделать с повышенной степенью веса в опен поуз (к примеру до 1,25-1,50), может быть получше бы прорисовывал позу)

[@TheMaxvin]

или выбрать dw_open_pose

[@Vlad_Martin]

Sketch от StableAI предназначен для раскрашивания реальных скетчей, так же как и их Recolor (только он для фото). Поэтому его логично тестить в группе перекраски, а не скрибл/скетчей. Ну и ждать от него результата как от других скрибл/скетч моделей как минимум странно, тк цели разные.

[@nerual_dreming]

Все скетч модели обучались на раскрашивании реальных скетчей, это не мешает их использовать как угодно, в т.ч. для перекрашивания уже существующих изображений.

[@user-wo6il8nm9q]

давай запилим "SD под капотом"

[@DedBruzon]

Почему на Automatic1111 ControlNet SDXL срабатывает очень редко c SDXL моделями? Генерирую картинки, в результате если в grids добавляется картинка из ControlNet, то значит, зацепило и сработало. Если нет, то фактически, она не срабатывает при генерации. Где искать проблему? В чем причина может быть? Очень рандомно она работает, нет постоянства, которое было с моделями SD.

[@nerual_dreming]

Читайте что написано в консоли, если что-то не сработало там это указано и чаще всего причина тоже.

[@MitrichDX]

красава, а то руки разгрести эту хрень попросту не доходят)

[@user-rp2bc8gl4v]

стандартный canny control_depth-fp16 у меня работает, а sai_xl_canny_256lora и diffusers_xl_canny_full у меня не работают. Есть решение проблемы?

[@nerual_dreming]

Скорее всего они в терминале что-то пишут, когда не работают, вот из этой информации возможно будет понятно решение.

[@user-rp2bc8gl4v]

это sai_xl_canny_256lora. line 649, in check_sd_version_compatible raise Exception(f"ControlNet model {unit.model}({cnet_sd_version}) is not compatible with sd model({sd_version})") Exception: ControlNet model sai_xl_canny_256lora [566f20af](StableDiffusionVersion.SDXL) is not compatible with sd model(StableDiffusionVersion.SD1x)

[@nerual_dreming]

@@user-rp2bc8gl4v Ну тут черным по белому пишет, что вы пытаетесь запустить контролнет не с теми моделями. Для 1.5 моделей свой контролнет. Для SDXL свой. Не пытайтесь использовать одни модели с другими, это не совместимо.

[@user-rp2bc8gl4v]

Кинул ошибку в чат gpt, пишет что старая модель stable diffusion и не совместима с controlnet. Хотя я скачивал у xpuct портативную версию. Посоветуйте где можно скачать чтобы всё работало@@nerual_dreming

[@user-rp2bc8gl4v]

спасибо, попробую@@nerual_dreming

[@user-hr5bo8lc7c]

Большинство моделей в паке от lllyasviel для sdxl не работают в automatic 1111 1.6. Не помогает переустановка расширения и python. При использовании выдаёт следующую ошибку - return F.pixel_unshuffle(input, self.downscale_factor) RuntimeError: pixel_unshuffle expects height to be divisible by downscale_factor, but input.size(-2)=1240 is not div

[@nerual_dreming]

Потому что это sdxl контролнет модели которые надо использовать с sdxl моделями, такие ошибки возникают когда модель 1.5

[@user-hr5bo8lc7c]

@@nerual_dreming использовал juggernaut xl

[@nerual_dreming]

@@user-hr5bo8lc7c Тогда проверьте что модель контролнета не имеет 15 в названии, что-то у вас с чем-то не совместимо)

[@user-hr5bo8lc7c]

@@nerual_dreming с первым пунктом ясно, а как лучше узнать несовместимость, удалить все расширения и оставить только controlnet,?

[@user-yn5wg2qv5l]

DOES DW POSE WORK WITH SDXL? Does Open Pose work properly with SDXL?

[@nerual_dreming]

Dw-pose is preprocessor it's work independently from model.

[@andrewUA1234]

Такое впечатление, что у автора ролика заканчивается место на жестком диске :) Эта модель показывает лучший результат, но она весит 2 Гб, поэтому берем похуже но на 700Мб :) Я генерирую картинки SDXL в ComfyUi. У меня тоже самая проблемная это Openpose. Никак не настрою :( И, да, самые лучшие ожидаемые результаты в canny и depth дают именно версии на 2Гб.

[@nerual_dreming]

256 лоры разумные варианты, а место да, место тоже заканчивается, несколько терабайт уже чисто нейронками заняты =)

[@georgiy0077]

У меня 1.4 терабайта моделей)

[@nerual_dreming]

АСТАНАВИТЕСЬ

[@georgiy0077]

@@nerual_dreming поздно, отдельный ссд на 4 тб уже заказан)

[@user-sonyalan]

Что если я получаю такую ошибку: AttributeError: 'NoneType' object has no attribute 'shape' ?

[@nerual_dreming]

Возможно выбран контролнет от версии 1.5

[@user-sonyalan]

у меня написано ControlNet v1.1.408 @@nerual_dreming

[@user-sonyalan]

может вы знаете какие еще причины могут быть? за все это время причину так и не решила, все обновлено, все файлы повторно переставила, но все равно ловлю эту ошибку :( @@nerual_dreming

[@nerual_dreming]

@@user-sonyalan речь про конкретную модель контроллнет.

[@user-sonyalan]

@@nerual_dreming я нуб, как это посмотреть?

[@slent_terri]

Фиг знает что делаю не так, но на моделях 1.5 у меня картинки получаются быстрее и лучше, чем на SDXL. Использую разный промт или один и тот же, с лорами или нет, без разницы - старые модели дают лучший результат в 10 раз быстрее. Может я что-то с новым ControlNet накосячил.

[@vadimv4763]

Пока SDXL это переоцененная хрень, причем очень громоздкая. Плюс натрененные модели похожи друг на друга, просто в базовую все пихают какие то свои добавки, а выдают как некую новую модель. Очень надеюсь что не взлетит ), ибо многие со своими "дохлыми" видяхами не потянут и останутся неудел. Мы еще не готовы ).

[@nerual_dreming]

На самом деле базовая SDXL многократно превосходит базовую 1.5 или базовые 2 и 2.1, файтюненные модели уже выдают на порядок более крутой результат, с меньшим количеством действий, но да, требования к железу выросли, тут ничего не поделаешь, прогресс как говорится =(

[@Velanteg]

@@nerual_dreming А кто сейчас использует базовую 1.5? Все используют как минимум Reliberate и по сравнению с ней SDXL это кривая и тормозящая байда. Нет ни одной причины для использования SDXL если только ты не жил в пещере все это время и не пропустил миллион качественных моделей на 1.5.

[@nerual_dreming]

@@Velanteg речь идет не про базовые модели, а файтюны на основе 1.5. Вы попользуйтесь нормально файтюнеными моделями сдхл, увидите разницу. Релибрейт откровенно плохая модель 😂

[@Velanteg]

Так и не нашел ни одной причины вообще использовать SDXL. Она во всем хуже толковых моделей на 1.5, медленная жрет втрое больше памяти, качество очень низкое.

[@nerual_dreming]

Значит вы не использовали SDXL достаточно. Она лучше в качестве, лучше в промптинге, а файтюненые модели на основе сдхл это просто песня.

[@Velanteg]

@@nerual_dreming В каком конкретно месте она лучше? Я скачал пару самых высоко оцененных моделей SDXL, качество даже ниже чем на стоковой SD 1.5, все размытое, лицо невозможно отрисовать без размывания даже в inpaint, никакие промты не помогают. И при всем этом оно требует в 2-3 раза больше памяти на то же разрешение и втрое медленнее генерит. Все SDXL модели не идут ни в какое сравнение с Reliberate не говоря уж о более заточенных на фотореализм.

[@13-february]

@@Velanteg видимо, у всех разные задачи. Я с большим удовольствием перешла на SDXL, т.к. для моих задач она генерит понятные, не поломанные и эстетичные картинки, где в большом разрешении детали не намешиваются в нелогичную кашу как на многих 1.5. моделях. Я не работаю в реализме, а работаю в артовой стилистике. Но ради интереса сейчас попробовала нагенерить фото тетенек на двух моделях, делиберейт и на sdxl классической. И мне очень понравились все результаты, но на sdxl все-таки больше, потому что для идеальной картинки понадобилась всего одна-две итерации, тогда как на делиберейт около 3-5. Размытости нет совсем ни на какой из sdxl моделей ( у меня их 3 разных). Я слышала критику в адрес SDXL, в т.ч. от Хачатура, смотрела разборы и долго поэтому ей сопротивлялась. Но в итоге в своей работе с ней так и не выцепила ничего негативного.

[@Velanteg]

@@13-february Ни одна SDXL модель что я тестировал не смогла нарисовать ни одной картинки без размытости. Похоже ты как-то очень неправильно применяла 1.5 если результат у тебя там получился даже хуже чем у SDXL.

[@mr.grixakrushkas5667]

Вот людям делать нечего кроме как сломанные модели загружать. Или может их используют неправильно. SargeZT обучал с другим форматом глубины, поэтому на черно белой карте получилась каша. Тест ip adapter вообще мем. Он нужен для копирования стиля, а тут всю стилизацию негативом убили заперев нейронку в реализме. Таже фигня с аниме моделями. Им вообще карту canny с рисунков делать нужно. Реалистичные изображения дают много шума и мало контурных линий.

[@13-february]

спасибо за пояснение про ip adapter, там и правда в негативе базовые артовые стили прописаны были у автора