How to Make AI Images of Yourself | Flux Local LoRA Training in 16GB VRAM

My Stable Diffusion Course:
hojenaia.com.br/
Become a Channel Member to gain many benefits:
/ @hojenaia
Links in this video:
github.com/bma...
github.com/koh...
developer.nvid...
Kohya installation:
git clone --recursive github.com/bma...
cd kohya_ss
git checkout sd3-flux.1
I needed to edit the requirements_linux.txt file in the root folder and put this in line 1:
torch==2.4.0 torchvision==0.19.0 --index-url download.pytor...
chmod +x ./setup.sh
./setup.sh
source venv/bin/activate
Copy the scripts and configs into the sd-scripts folder:
gist.github.co...
gist.github.co...
Modify the files according to the folders where you downloaded Flux, CLIP and T5. And according to your dataset.
cd sd-scripts
./train.sh
My Mac:
MacBook Pro M3 Pro: amzn.to/3Swm2eG
My PC:
Intel Core i7-12700KF: amzn.to/4b5R6Jv
Asus ROG STRIX Z790-F: amzn.to/3QwlLYr
NVIDIA RTX A4500: amzn.to/3ybOR9e
Kingston DDR5 FURY Beast Black: amzn.to/3UQR55F
SSD FURY RENEGADE: amzn.to/3WuDRh6
NZXT H5 Flow case: amzn.to/3QBLq1I
Elgato Wave 1: amzn.to/4bt8c48
Canon EOS Rebel T7: amzn.to/3Wrrlz5

[@SvergeTallister]

Portuguese is awesome! Never learned it, but it sounds like honey for my ears. Thanks for the detailed video, greetings from Reddit, Brazil is top!

[@HojeNaIA]

Thanks, Sverge. Do you have some time to answer a couple questions? How do you feel about watch a video in another language? Do you think that it would be a better experience if I dubbed the video to English? Did the auto generated subtitles (made with Whisper) get you confused due to the typos? Thanks buddy :)

[@SvergeTallister]

@@HojeNaIA No pobs! Honestly, I think the tech we have right now isn't good enough for decent video dubbing. I dove into the text-to-speech thing a while back to find a way to narrate books for myself, and it's pretty bleak for non-English languages. Maybe except for 11 Labs, but they're ridiculously expensive. All the other proprietary (which automatically means expensive) and open-source methods have bad diction, intonation, and stress issues. But that's just my take. In the content creation sphere, the content itself is more important than the language it's in. Whoever wants to watch will watch, and whoever's looking to troll will find something to complain about, even if it's the voice of the best dubbing actor. Personally, as one of your regular viewers now, I was comfortable watching this video with subtitles. My short answer is: don't sweat the English dubbing, subtitles are ok, and your videos are top-notch! P.S. I'm always happy to answer any questions you have as honestly and thoroughly as I can, so don't hesitate to ask me anything you want to know)

[@HojeNaIA]

@@SvergeTallister Wow. Thanks for the comprehensive answer. I am experimenting with several tools now from open source to paid. I was in a rush on this video so I used Whisper to automatically transcript and translate the audio, but yesterday I've just upgrade to DaVinci Resolve 19 (I have the Studio version) and the new tool to transcript the audio is awesome. I mean, better than Whisper and also integrated to the video editor. However, it just transcripts, which means I end up with a SRT file in Portuguese. Not a problem at all, since I can ask to ChatGPT to translate it to English. It is a little more complicated than Whisper, but it can be done in a matter of minutes and it is more precise than Whisper. If I stayed with subtitles only that approach will be enough. But I really want dubbed videos :) I tested 11Labs today and they have a dub tool that does everything automatically. I just need to upload my video, grab a coffee and wait some minutes. However that is expensive. I would need to pay 100 USD/month to translate all the videos I shot or 20 USD/month to translate a few selected ones every month. Maybe I can get 100 USD in Ads and it would pay the bills. Let's see. I am also testing HeyGen. It cheaper than 11Labs and the generate video was dubbed and lip synced. It is better than 11Labs that only dubbed over the original video. Also the dubbed voice in HG was close to my real voice. I will make more tests before I chose between them. Thanks again :)

[@ratside9485]

@@HojeNaIA Can recommend deepl for the translation and in the opensource area a fine-tuned XTTS2 model is still the best TTS model for me. But thanks for your video, can't speak Portuguese either and my English isn't the best either, I had it translated into German. It helped me a lot.

[@farcfoxguerrilha]

Tenho usado o Pinokio pra fazer essas instalações, instalei o Forge com Flux com 1 clique. Daqui a pouco eles colocam por lá essa nova versão do Kohia! Show doido pra testar aqui!

[@herbertseabra7496]

Também tenho feito tudo por lá. Cansei de várias pastas e coisas separadas, lá fica mais organizado e acho que economiza mais espaço se os requerimentos forem iguais.

[@mik3lang3lo]

Exatamente, é a melhor coisa

[@HojeNaIA]

Usei pouco o Pinokio. Acho que eu gosto de controlar tudo eu mesmo. Mas o bom do Pinokio é que ele usa um Miniconda, então não precisa a gente mesmo criar o virtual environment. Já sobre economizar espaço, isso não acontece. Se você entrar na pasta do Miniconda dentro da sua pasta de usuário do Windows, vai ver que os environments estão lá dentro e cada um consome vários GBs. De qualquer forma, ele facilita bastante. Um abraço :)

[@herbertseabra7496]

@@HojeNaIAAcredito que ele economiza espaço porque o VENV baixa tudo dos requerimentos em cada pasta que você usar. E o Miniconda não baixa os requerimentos iguais, somente os que diferem. Não é isso?

[@lacerdinhasantos]

muito obrigado amigo uma baita dica ,estava com problemas com o pinokio e tua dica foi a salvaçao.um forte abraço

[@alsbr8ball]

😁 muito bom! Resultado surpreendente Ficaria legal também você no personagem de "Professor" da série La Casa de Papel (Netflix)

[@HojeNaIA]

Valeu. Já me disseram que eu pareço com ele heheheh. Mas agora não uso mais óculos. Fiz cirurgia no meio do ano :)

[@wanderson-bastos]

Como sempre, muito bom!

[@HojeNaIA]

Valeu Wanderson :D

[@UnlimitedGRenemy]

Can you give us the same instructions written for the Windows please ? having a hard time installing it

[@babys_games806]

Por favor, pode me informar qual valor devo usar para o parâmetro --save_precision ao salvar um modelo LoRA treinado com o modelo Flux dev FP8?

[@gregsoficial]

faz um tutorial pelo pinkio, eu tenho o pinokio tem como fazer isso ai pelo pinokio? vlw abraço

[@HojeNaIA]

Não sei se já tem no Pinokio, mas o FluxGym é um jeito mais fácil de fazer o treinamento. Valeu :)

[@adamor993]

Quando passo para a branch sd3-flux.1, meu sd-scripts continua na branch padrão, nao consegui localizar essa branch 486fe8f

[@Azbroadcast]

Valeu bro, consegui treinar no 3090 em uma hora e meia, ficou meio aleatório os resultados, uns ficaram 100% parecido, mas também peguei um dataset antigo mau captionado e também não caprichei no prompt, depois com calma vou fazer melhor, obrigado.

[@HojeNaIA]

Valeu AZ. Tem que fazer o caption com linguagem natural. Dá pra fazer manualmente (se você for corajoso), com Florence (como eu fiz) ou com CogVLM (se você tiver muita VRAM). Os captions em estilo DeepBooru (termos separados por vírgula) não funcionam bem com o FLUX

[@GeorgesBallister]

Um dia terei um Pc com essa potência 😅 até lá ficarei aqui assistindo sjjsjs

[@HojeNaIA]

Valeu Georges. No próximo vídeo vou mostrar como fazer na nuvem pagando... mas não muito caro :)

[@GeneralKenobi69420]

Could you make a tutorial on how to do a standard Flux finetune (as in no Dreambooth style "jfqkjbf" captions, just natural text)? Kohya apparently added it recently but I can't find any info anywhere

[@ednilsonclementecurymontei8629]

Será que dá para treinar em minha 4060 ti de 16GB? Vi que o vídeo foi na interface por linha de comando que você utilizou o Kohya, na interface ui vocÊ consegue treinar com imagens de qualquer resolução com enable_buckets como true. Nessa versão da branch também?

[@Maicon-AB]

Esperando o video pra 12gb vram, por hora vou fazendo imagens no Civitai pedindo Buzz kkkkk`😂

[@HojeNaIA]

Pera, esperando o vídeo para treinar em 12GB ou para criar imagens em 12GB?

[@MrFriendsystem]

@@HojeNaIA Eu estou esperando o vídeo para treinar em 12GB 😀

[@legionarioromano4436]

Eu não consegui instalar o Kohya , em vez dele eu uso o Onetrainer para produzir Loras para SD.15 e SDXL,inclusive acabei de olhar e parece que essa atualização já chegou no onetrainer, você consegue fazer um vídeo explicando como instalar fazer Loras para Flux no Onetrainer tbm ?

[@HojeNaIA]

Oi. Eu nunca usei o OneTrainer. Sempre fui do time Kohya. Mas queria muito usar o Simple Tuner. Infelizmente para mim ele deu OOM (Out Of Memory) quando tentei gerar um LoRA para Flux. Infelizmente no momento eu estou sem tempo para fazer o vídeo de OneTrainer, então essa eu vou ficar devendo :/

[@Eugenlch]

Need for windows 😢i have 4090 , but can't train

[@MrFriendsystem]

Você é o kra!

[@HojeNaIA]

Valeu Fernando :)

[@RogerTB]

Uma coisa que eu gostaria de saber, é como mudar o MENU do ComfyUi para uma barra superior como o seu..

[@alissonpereira787]

Se você ir nas configurações (icone de engrenagem) que tem na parte lateral onde fica o botão do queue lá vai ter uma opção escrita Menu > "Use new menu and workflow management" e vai estar "disable" você precisa trocar para "Top".

[@RogerTB]

@@alissonpereira787 Muito obrigado, eu nao acredito que estava na minha cara o tempo todo kkkk Muito obrigado mesmo!

[@HojeNaIA]

Sim, eu até mostrei como fazer no minuto 6 desse vídeo aqui: kzbin.info/www/bejne/fnmyknmqhZ6qe9E

[@danieldenials]

Dá pra bancar o herói e treinar com 12GB de VRAM? 😿

[@HojeNaIA]

Sim. No readme que eu coloquei na descrição do vídeo ensina como fazer, mas eu não testei

[@tumtuntum]

Tem como "alugar" uma GPU via API? para quem nao tem?

[@alissonpereira787]

Tem como rodar isso atraves do RunPod, VastAI ou pelo CivitAI (é bem mais user friendly) (que vai ser o proximo video provavelmente).

[@HojeNaIA]

Ou treinar pelo Civitai. Vou mostrar como fazer no próximo vídeo.

[@edimilson847]

Cara, muito bom! Mas eu queria saber, será que da pra rodar o Flux com uma gpu de 8GB VRAM? Por enquanto estou usando Stable Diffusion mesmo, mas se for possível usar o Flux na minha RTX 2060 Super, eu realmente gostaria de tentar.

[@HojeNaIA]

Dá sim. Veja meu vídeo de Flux no Forge

[@weagonfto]

Opahhhh então quer dizer que eu consigo rodar na minha 3070?

[@HojeNaIA]

Consegue, mas acho melhor tentar com a versão quantizada com GGUF. Talvez a 8 bits funcione, se não tente a de 4 bits.

[@weagonfto]

@@HojeNaIA Só corrigindo uma errada meu amigo, é uma 4070 de 12 Gb kkkkkkkkkk

[@rafaared]

valeu salvou

[@HojeNaIA]

Tmj Rafael :)

[@HenriqueCE]

Que tistreza. Minha GeForce só tem 6gb 🥲

[@HojeNaIA]

Assista o vídeo de amanhã :)

[@sadshed4585]

let's go good work man fr!

[@HojeNaIA]

Thanks, Sad Shed :)

[@sadshed4585]

​@@HojeNaIA do you know if I can use fp8 dev instead of normal one when training the lora? você sabe se posso usar o fp8 dev em vez do normal ao treinar o lora?

[@sadshed4585]

jk just saw ur reddit comment my bad

[@alissonpereira787]

​@@sadshed4585 I think that was the case in the video, He trained using the flux dev fp8 and made the inference about the fp8 too.

[@sadshed4585]

@@alissonpereira787 Yeah it is true. sadly im getting this error atm kohya_ss/lora/lib/python3.10/site-packages/voluptuous/schema_builder.py", line 433, in validate_mapping raise er.MultipleInvalid(errors) voluptuous.error.MultipleInvalid: extra keys not allowed @ data['huffle_caption']

[@rodrigomata2084]

O automatic1111 já tem suporte pra esse flux?

[@HojeNaIA]

Tem no Forge, que é uma variante do Auto1111. Tem um vídeo sobre isso aqui no canal: kzbin.info/www/bejne/oHmXeHWdaryjnMk

[@rodrigomata2084]

@@HojeNaIA o link que vc mandou tava errado mas achei o vídeo procurando no canal, show curti bastante muito mais fácil de usar e de instalar do que pelo confyui, só achei esse flux muito lento comparado ao stable diffusion, tenho uma p40 com 24gn e da pra vc ir tomar um café até terminar de gerar as imagens kkk, vi que agora saiu suporte a GGUF, pelo menos no forge ainda tá a mesma velocidade apesar de consumir por volta de 8gb de VRAM em q4_0, se o pessoal der mais suporte e otimizar a velocidade total que o GGUF pode suportar eu vou partir para esse modelo, por enquanto é stable diffusion mesmo hehe.

[@fabiojj6991]

👏👏👏

[@HojeNaIA]

Valeu Fábio

[@Caricanecas]

Você sabe se dá pra criar lora de estilo? Ainda não vi o video

[@HojeNaIA]

Sim, do mesmo jeito que eu fiz esse. Veja o vídeo do Nerd Rodent.

[@RogerTB]

Minha 3060 so da esse erro, nao consegui colar no comentario... Error occurred when executing SamplerCustomAdvanced: 'ForgeParams4bit' object has no attribute 'quant_storage' File "E:\ComfyUI\ComfyUI\execution.py", line 152, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "E:\ComfyUI\ComfyUI\execution.py", line 82, in get_output_data return_values = map_node_over_list(obj, input_data_all, obj.FUNCTION, allow_interrupt=True) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "E:\ComfyUI\ComfyUI\execution.py", line 75, in map_node_over_list results.append(getattr(obj, func)(**slice_dict(input_data_all, i))) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "E:\ComfyUI\ComfyUI\comfy_extras odes_custom_sampler.py", line 612, in sample samples = guider.sample(noise.generate_noise(latent), latent_image, sampler, sigmas, denoise_mask=noise_mask, callback=callback, disable_pbar=disable_pbar, seed=noise.seed) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "E:\ComfyUI\ComfyUI\comfy\samplers.py", line 706, in sample self.inner_model, self.conds, self.loaded_models = comfy.sampler_helpers.prepare_sampling(self.model_patcher, noise.shape, self.conds) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "E:\ComfyUI\ComfyUI\comfy\sampler_helpers.py", line 66, in prepare_sampling comfy.model_management.load_models_gpu([model] + models, memory_required=memory_required, minimum_memory_required=minimum_memory_required) File "E:\ComfyUI\ComfyUI\comfy\model_management.py", line 527, in load_models_gpu cur_loaded_model = loaded_model.model_load(lowvram_model_memory, force_patch_weights=force_patch_weights) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "E:\ComfyUI\ComfyUI\comfy\model_management.py", line 323, in model_load self.model.unpatch_model(self.model.offload_device) File "E:\ComfyUI\ComfyUI\comfy\model_patcher.py", line 618, in unpatch_model self.model.to(device_to) File "E:\ComfyUI\python_embeded\Lib\site-packages\torch n\modules\module.py", line 1173, in to return self._apply(convert) ^^^^^^^^^^^^^^^^^^^^ File "E:\ComfyUI\python_embeded\Lib\site-packages\torch n\modules\module.py", line 779, in _apply module._apply(fn) File "E:\ComfyUI\python_embeded\Lib\site-packages\torch n\modules\module.py", line 779, in _apply module._apply(fn) File "E:\ComfyUI\python_embeded\Lib\site-packages\torch n\modules\module.py", line 804, in _apply param_applied = fn(param) ^^^^^^^^^ File "E:\ComfyUI\python_embeded\Lib\site-packages\torch n\modules\module.py", line 1159, in convert return t.to( ^^^^^ File "E:\ComfyUI\ComfyUI\custom_nodes\ComfyUI_bitsandbytes_NF4\__init__.py", line 64, in to quant_storage=self.quant_storage, ^^^^^^^^^^^^^^^^^^

[@HojeNaIA]

Acho que resolve com pip install -U bitsandbytes

[@HojeNaIA]

Mas entre no venv primeiro

[@RogerTB]

@@HojeNaIA python -m pip install -U bitsandbytes resolveu, rodei dentro da pasta "ComfyUI\python_embeded" Deu certo, muito obrigado, VOCE EH O MELHOR!!!

[@HojeNaIA]

@@RogerTB Agora sim Roger. Não vai nem dormir hoje eheheh

[@RogerTB]

@@HojeNaIA Ja usei muito, valew!!!

[@bpiero]

To fazendo na 3060 12gb vai dar cerca de 3h

[@bpiero]

ficou muito pouco parecido com 10 fotos, vou tentar com umas 200.

[@HojeNaIA]

Acho que não vai fazer muita diferença. O sweet spot são 20 imagens. 10 de rosto, 5 meio corpo e 5 corpo inteiro.

[@RogerTB]

Eu infelizmente com minha 3060 nao consegui rodar o flux, da erro e nao consigo rodar.

[@HojeNaIA]

Como assim? Eu rodei na 3060. Veja meu vídeo de flux no forge. Já tem gente rodando em 4GB

[@RogerTB]

Eu vi seu video, vou ver se printo o erro!

[@RogerTB]

@@HojeNaIA Error occurred when executing SamplerCustomAdvanced: 'ForgeParams4bit' object has no attribute 'quant_storage' File "E:\ComfyUI\ComfyUI\execution.py", line 152, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ....

[@hugodacosta137]

Só tenho 12GB de VRAM... :(

[@HojeNaIA]

Oi Hugo. Dá pra rodar tranquilo com 12GB para gerar as imagens. Para treinar também dá, mas demora uma eternidade

[@hugodacosta137]

@@HojeNaIA Na sua placa demorou quanto tempo pra treinar seu rosto?

[@alissonpereira787]

@@hugodacosta137 1 hora 1200 steps se não me engano.

[@hugodacosta137]

@@alissonpereira787 Então em uma 3060 de 12GB demoraria quanto tempo?

[@alissonpereira787]

@@hugodacosta137 não tem como saber , depende das configurações do treinamento, pode ser que vc consiga com o mesmo entre 1 a 2 horas.