Rodando FLUX NF4 na RTX 3060 com apenas 10GB de VRAM

Meu Curso de Stable Diffusion:
hojenaia.com.br/
Seja Membro do Canal para ganhar muitos benefícios:
/ @hojenaia
Links desse vídeo:
github.com/com...
huggingface.co...
Meu Mac:
MacBook Pro M3 Pro: amzn.to/3Swm2eG
Meu PC:
Intel Core i7-12700KF: amzn.to/4b5R6Jv
Asus ROG STRIX Z790-F: amzn.to/3QwlLYr
NVIDIA RTX A4500: amzn.to/3ybOR9e
Kingston DDR5 FURY Beast Black: amzn.to/3UQR55F
SSD FURY RENEGADE: amzn.to/3WuDRh6
Gabinete H5 Flow NZXT: amzn.to/3QBLq1I
Elgato Wave 1: amzn.to/4bt8c48
Canon EOS Rebel T7: amzn.to/3Wrrlz5

[@saulofp-ai]

Nem eu estou conseguindo acompanhar tanto vídeo! 😂

[@HojeNaIA]

Imagina gravar quase todo dia hehehehe

[@gustavom.p6667]

Estou testando o modelo "flux1-dev-bnb-nf4.safetensors", no stable diffusion forge, com a minha GTX 1650 de 4gb de vram, está demorando um pouco, mas estou tendo resultados surpreendentes. Estou criando imagens 512x512, com upscale em 1.5, demora um pouco mas roda kkkkkkkkkk

[@paulojosekoh7387]

Tem certeza se sua placa de vídeo está sendo usada?

[@Gabriel_A_Aguiar]

​@@paulojosekoh7387Estou usando esse tbem, mas na 4060 ti. Ele usa 100% da memória da gpu e tbem aloca na memória ram o restante, algo assim. Como não roda tudo na gpu, demora mais mesmo. Porém, na 4060 ti está demorando apenas 50 segundos aqui.

[@HojeNaIA]

Esse aí espremeu leite de pedra. Vou até fixar esse comentário :D Parabéns

[@victrixsvs]

como tu fez ? a minha so gera imagem borrada, ta foda

[@fabiojj6991]

maravilha👍 to quase. rsrrs

[@HojeNaIA]

Quase o quê? O.O

[@1-RATO-ZUERO]

Traz pra gente um worflow com florence+ ollama nesse modelo low vram… ❤

[@HojeNaIA]

Não sei se entendi bem. Ollama é uma UI para rodar LLMs. Como eu encaixaria isso com o FLUX?

[@1-RATO-ZUERO]

@@HojeNaIAo florence2 faz o img para um promp inicial, e direciona o prompt base para o ollama melhoralo em seguida envia o resultado do prompt para geração. Fiz aqui e tive otimos resultados com a minha 3060. Me custou ficar até as duas da manha ajustando regra de firewall porque tive que rodar o ollama na minha maquina principal e habilitar a porta pri confyui consumir a api, mas esta perfeito.

[@1-RATO-ZUERO]

Assim que tiver tempo tentarei inclui o controlnet , resta saber se é compativel com esse modelo , mas vale a tentativa

[@1-RATO-ZUERO]

Conteúdo sensacional, eu não imaginava que daria para usar duas gpus simultaneamente. Animal!!!! Esse painel de recursos você olha por onde? Abraços e parabens!!!

[@HojeNaIA]

Valeu Rato. Qual painel de recursos você tá falando?

[@1-RATO-ZUERO]

@@HojeNaIA desculpe a pergunta ser meio leiga. Onde fazer unload dos modelos

[@1-RATO-ZUERO]

Kkk achei aqui…

[@ColldMaster]

Bom de mais! Consegui roda aqui esse Modelo do FLUX. Deu um trabalho para instalar o Node para carregar o Modelo NF4, mas agora tá funcionando... Contudo, a qualidade das imagens que eu gero não está boa, os detalhes e oque eu informo no prompt ele atende bem, mas a qualidade eu não estou gostando muito. No meu PC está gerando imagens mais nítidas e com cores mais vivas com SDXL 1.0 (Testei o mesmo prompt para gerar uma mulher em estilo realista) .

[@HojeNaIA]

Você está notando que as imagens não estão nítidas. Você está falando do fundo da imagem ou da mulher na frente. Pra ter mais realismo você tem que usar a versão dev com 28 passos. Pra ter o fundo da imagem menos borrado tente descrever as coisas do fundo ANTES de descrever o que está na frente. Por último tente aumentar o Guidance.

[@ColldMaster]

@@HojeNaIA É a imagem da mulher mesmo. Eu tenho bons resultados no FLUX quando gero imagens de animais e coisas mais artísticas, mas no realismo não fica bom(só quando a imagem focada no rosto, pois quando é de corpo todo fica muito ruim), Eu acho que é o tamanho da imagem(estou usando 1024x1024 e 1024X680). Depois vou testar com resoluções mais altas.

[@paulojosekoh7387]

Tu tem que ser mais vendedor! Vê se eu entendi, o que para min não ficou muito claro no outro vídeo! Comprando o curso do stable diffusion vai ganhar outro curso de confyUI. Sei que não e bem assim! Mas tem que simplificar! Tai um bom motivo para eu comprar novamente separado! Parabéns pelo trabalho obrigado pelos vídeos!

[@HojeNaIA]

Verdade. Vou fazer um comercialzinho de 1 minuto explicando isso. Só esse mês você compra por 99 esse curso :) É so amanhã! Mas é só amanhã mesmo

[@LT-infotech]

@@HojeNaIA Perdi, foi? =/

[@DeepOf]

falou que era 99,00 fui la e está 149,00 :( então por que não tirou o vídeo?

[@1-RATO-ZUERO]

Criei um workflow com base nesse seu, com florence2 + Ollama queria sua opinião caso possa… Se sim me avise por onde posso compartilhar contigo valew !!

[@HojeNaIA]

Joga lá no nosso Discord. O link tá na descrição do canal

[@VideosMaroto]

a minha 4070ti S de 16GB fica no limite com o modelo fp8, tenho que fazer a dança do Zé Jacaré do pica-pau para não travar kkkkkk

[@HojeNaIA]

Já testou o NF4 pelo Forge?

[@VideosMaroto]

@@HojeNaIA irei fazer alguns testes, estou ansioso para novos modelos do flux, "realistic vision flux" é um deles

[@T7_play_casual]

Quero fazer o curso, mas tenho uma placa 5500xt vai funcionar?

[@HojeNaIA]

No Linux vai tranquilo com o Python compilado com ROCm, mas no Windows tem que fazer umas malandragens para rodar. Infelizmente nunca testei com AMD. Nesses casos eu recomendo usar o RunDiffusion e rodar na nuvem. Mas faça o curso :) você vai gostar, e vai acabar comprando uma NVIDIA

[@ririzzutti]

O que você sabe "Flux ControlNet (Depth, Canny, Hed) - Work 100%"?

[@HojeNaIA]

A InstantX acabou de lançar, mas é um Controlnet do tipo Union onde todos os tipos de CN estão dentro do mesmo safetensor. O arquivo tem 7GB. O ComfyUI ainda não suporta esse formato de CN e além disso não tem muita gente com 7GB de VRAM sobrando pra rodar o Comfy e eles ao mesmo tempo :D

[@antoniojoaocastrocostajuni8558]

Ótimo vídeo! Estou pensando em rodar um programa em python para criar as imagens com prompts no airtable e depois mandar pra um bucket R2 no cloudflare as imagens. Será que eu consigo usar esse modelo NF4 no python?

[@HojeNaIA]

Claro que consegue. O Forge e o ComfyUI são feitos em Python então é abrir o código deles e copiar a parte que você precisa. Mas... já aviso que o NF4 está sendo descontinuado. Está todo mundo migrando pro GGUF que conseguiu qualidade quase idêntica ao do fp16 com o mesmo tamanho do NF4.

[@antoniojoaocastrocostajuni8558]

@@HojeNaIA Ah legal vou procurar saber mais pra criar o programa! E pelo que estou acompanhando no Civitai dos dois modelos, falam que o modelo GGUF é um pouco mais devagar, mas vou testar depois pra conferir mesmo.

[@valter987]

Gostei do video ate me inscrevi no canal, mas nao consegui fazer funcionar a partir dele, tive que procurar outro video pra me auxiliar, ficou faltando alguns detalhes, como instalar o node e tbm o fluxo

[@HojeNaIA]

Sim. Pulei esses detalhes mesmo. Mas veja o vídeo sobre Forge. Tá muito mais fácil agora: kzbin.info/www/bejne/qH-nYoWmfdGgb6c

[@saulofp-ai]

e ninguém mais fala do SD3, será que morreu mesmo? agora todo o hype tá em cima do Flux.1

[@HojeNaIA]

Oi Saulo. Quanto tempo heim? O SD3 morreu no dia em que testaram o prompt Woman lying on the grass. O legado do SD 1.5 e SDXL ainda vai continuar por mais 1 ou 2 anos por conta do consumo de VRAM. Mas se o NF4 engrenar com Controlnet aí até esses vão morrer :/

[@paulosousa7049]

Agora tô rodando com certa tranquilidade na minha 3060, mas é claro que aí agente sempre se empolga rs aí tentei rodar junto com o controlnet e aí deu ruim, travou e só consigo gerar imagens a 512x512, será que dava pra jogar o controlnet na minha gpu onboard que tá aqui de bobeira usando seu workflow multi gpu?

[@HojeNaIA]

Não sei. As GPUs tem que ser vistas como CUDAs com índices separados. Você pode rodar o comando nvidia-smi e se mostrar as duas GPUs aí vai funcionar sim naquele workflow. Mas de qualquer forma agora a gente sabe porque a NVIDIA é a empresa mais valiosa do mundo. Todo mundo querendo mais GPUs :D

[@MaxJM74]

Será que roda em uma rtx 4060 8gb ?

[@HojeNaIA]

Sim, com alguma das versões quantizadas de GGUF, teria que testar a 8 ou a 4.

[@Bubarino]

Será que funciona no Google Colab? A placa dele é uma T4

[@HojeNaIA]

Deveria funcionar, mas juro que nunca tentei rodar ComfyUI no Colab. Acho que no Colab Pro deve funcionar, mas se fosse pra ir pra nuvem eu iria direto pro RunDiffusion: learn.rundiffusion.com/flux-on-rundiffusion/

[@antoniojoaocastrocostajuni8558]

Pelo o que eu li no reddit é muito difícil pegar disponibilidade

[@Bubarino]

@@HojeNaIA particularmente eu prefiro usar gradio kk

[@maatmast3778]

Eu com uma RTX 3080 de 10 GB vendo isso: 🤡🤡🤡

[@noo5-vh9xb]

funciona no google colab ? meu pc nao roda nadaaaaaaaaa

[@HojeNaIA]

Eu testaria no RunDiffusion. Pague apenas pelas horas que usar. 50 cents por hora. Tem 30 minutos grátis para avaliar o serviço e ver se serve para você :)

[@HojeNaIA]

learn.rundiffusion.com/flux-on-rundiffusion/

[@antoniojoaocastrocostajuni8558]

No runpod eu consigo pagar 0.22 cents a hora no community com a 3090 e na versão dev normal gera uma imagem em 30 segundos

[@questionador69]

Achei o GGUF bem melhor.

[@HojeNaIA]

Tanta coisa acontecendo que eu ainda nem baixei o GGUF. Já funciona Lora nele?

[@questionador69]

Sim, funciona normal