Flux 인페인트로 망가진 손을 고치고 글자를 쓸 수 있을까? 커스텀 샘플러 어드밴스드 워크플로우 구성 및 테스트해보기

#comfyui #flux #inpainting
Flux 기본 워크플로우를 해석하고, 함께 다시 구성해봅니다. 이후 기본 워크플로우를 조금 변형하여 인페인트 워크플로우를 구성하고, Flux 모델로 인페인트를 진행해봅니다. 특히 글자를 쓰고, 망가진 손을 고치는 능력을 간단히 테스트 해봅니다.
📌 사용된 커스텀노드(제작자)
ComfyUI Essentials(Cubiq)
KJNodes(kijai)
Rgthree Comfyui(rgthree)
📌 Workflow
shop.aipoque.c...
📌 영상에 사용된 세팅
Flux.1 schnell fp8 / t5xxl clip / l clip / Flux VAE
📌 FP16 공식 유넷 모델(comfyui설치 위치/models/unet으로 이동)
-. Flux.1 dev fp16 : huggingface.co...
-. Flux.1 schnell fp16 : ​​​​huggingface.co...
📌 FP8 모델(comfyui설치 위치/models/unet으로 이동)
-. Flux.1 dev fp8 / Flux.1 schnell fp8 : huggingface.co...
📌 Checkpoint 모델(comfyui설치 위치/models/checkpoints로 이동)
-. Flux.1 dev fp8 checkpoint : huggingface.co...
-. Flux.1 schnell fp8 checkpoint : huggingface.co...
📌 CLIP Mode(comfyui설치 위치/models/clip 로 이동) : huggingface.co...
📌 FLUX VAE(comfyui설치 위치/models/vae 로 이동) : huggingface.co...
📌 KakaoChannel : @aipoque120
📌 AIPOQUE Blog : aipoque.com
📌 Lecture : shop.aipoque.com

[@meow_m30]

내용이 알차네요. 영상 제작 고생하셨습니다.

[@AIPOQUE]

감사합니다 ^^

[@스네-l3d]

잘못된 정보같은데요 , 타 모델로 작성된 결과물을 FLUX 인페인트로 손 통채로 수정 가능합니다. 쥐고있는 물건까지도 다 자유롭게 바꿀수 있고. 장갑도 끼웠다 벗겼다 다 가능함

[@AIPOQUE]

그런가요? ㅎㅎ 간단히 테스트만 해본 상태여서, 제가 플럭스 모델을 아직 잘 못쓰고 있나봅니다. 이리저리 조금 더 사용해보겠습니다. ^^

[@aidenkim8558]

Sd1 모델링 후에 Flux로 손가락 인페인팅하면 장난아니겠다, 생각했는데 벌써 친절한 가이드까지 올려주시니 너무너무 감사드립니다. 역시 😊 그러면 플럭스로 인페인팅하기 전에 포토샵 같은 툴로 손가락 개수 정도는 맞게 대충 보정주고 실행하면 나은 결과를 기대할수 있겠네요!! 🎉🎉🎉

[@AIPOQUE]

네!! 지금은 말씀하신대로 손가락 갯수만 맞춰주시면 괜찮게 수정되는거 같아요 ㅎㅎ sd1.5 sdxl에서 시도해봤던 다른 방식들도 flux에 적용해서 좀더 연구해보고, 좋은 결과 있으면 공유드릴게요😃

[@user-dv5sx4us5c]

플럭스모델로 어떤 컨텐츠를 가져오실까 기대를 많이 했는데 역시 일반적인 영상이 아니라 좋군요, 궁금한게 있어요! 여러가지 워크플로우를 돌려보는데 듀얼클립로더를 사용한 워크플로우는 rtx3090기준에서는 vram이 98%를 찍으며 오버로드 되는 느낌으로 이미지를 굉장히 힘들게 생성하더라구여, 그래서 심플 워크플로우로 그냥 클립로더노드를 배제하고 사용해보니 사용할만했고 이미지 퀄리티에서도 차이를 못느꼇는데요 이건 왜그런걸까요? 그리고 인페인팅은.. 궁금했던부분인데 생각보다 아쉬운 결과네요 ㅎㅎ

[@AIPOQUE]

3090이면 vram24G 인데, flux fp16모델이 모델 용량만 그정도 됩니다 ㅎㅎ 거기에 클립이랑 vae까지 vram에 올리면 vram로드가 꽉 찰수밖에 없습니다. 그런데 클립 로더를 배제하고 사용한다고 하시는걸 보면, 클립이 내장된 모델을 사용하신거 같은데요, 아마 체크포인트 모델인것 같습니다. 체크포인트 모델에는 클립, vae가 다 구워져 있어서 중복으로 올리실필요가 없습니다 ㅎㅎ 결국 어떤방식이든 동일한 유넷,클립,vae 모델로 생성한것이기에 이미지 퀄리티는 차이가 없는것 같네요 ㅎㅎ 인페인트는 테스팅만 해본결과라, 앞으로 조금더 개선의 여지가 무한대로 있어보여요 ㅎㅎ 컨트롤넷도 하나둘 지원이 되던데, 여러가지 테스트 해보고싶은 아이디어는 많은데 개인적으로 현재 보유중인 gpu 성능 한계로 쉽지가 않네요 ㅎㅎ

[@user-en4ts9mq4t]

Sd에 꽃은 컨트롤넷, 인페인트, 아직도 sd가 상업용으로 대부분 쓰이는이유, 외국 플러스 댓글만봐도, 컨트롤넷이 없으면 장난감이란반응. 내가 다음세대 상업용 툴을 고르라면 현재는 고민없이 sd. 이번에 행보를보니, 플럭스, 근데 문제가 무겁다는거 이말은, 작업 두개칠거 한개친다는건데, 다량판매로 하기는 좀 계획이 필요할거라는거

[@user-neokasu]

nf4 인가 open pose 빼고 다운올라있음 시간지나면 openpose도 시간문제임

[@user-en4ts9mq4t]

@@user-neokasu 가즈아아아 sd 세상이다

[@golfporo]

안녕하세요 매번 유익한 강의 감사드립니다:-) 다름이 아니라 막힌 부분이 있어서 질문 드리고 싶습니다. 해당 flux_schnell/dev_Fp8 모델 통해서 진행하려고 하는데, 두 가지 에러가 뜨는데 첫 번째는, Flux Guidance node를 찾을 수 없다고 뜨고 있습니다 ㅠㅠㅠ 구글에서 노드 다운 받아서 해도 똑같이 안되더라구요! 그래서 해당 flux guidance 노드만 지운 후 실행하니 unet loader node에서 'conv_in.weight'' 라는 에러 메시지가 나와서 실행이 안되는 문제가 있습니다..!! 혹시 제가 버전이 문제인지, 아니면 다른 문제가 있는걸까요..?? 감사드립니다.

[@AIPOQUE]

안녕하세요, 플럭스 가이던스 노드가 없으시다면, comfyui 버전이 최신이 아니어서 그런것 같습니다! Unet loader도 업데이트 후에 디퓨전 모델 로더로 이름이 바꼈습니다 ㅎㅎ 혹시 comfyui를 최신으로 업데이트 하셨을까요?

[@golfporo]

@@AIPOQUE 센세... 업데이트가 문제였네요..!! 바로 해결되었습니다 ㅠㅠㅠㅠ 강의들 다 정주행하면서 따라하는 중인데, 매번 고퀄리티 강의 감사드립니다!! 늘 응원합니다 :-)

[@AIPOQUE]

바로 해결되어서 다행입니다 ㅎㅎ 응원 받으면 또 열심히 다음 영상 준비할 힘이 됩니다. 분발해보겠습니다. 감사합니다 ^^

[@user-neokasu]

flux1 핫한데 유튜브보면 외국분들 컨트롤 오픈포즈만 빼고 벌써만듬 더활성화될듯

[@user-en4ts9mq4t]

@@user-neokasu sd3는 폭망에. 반해 플럭스는 자리잡을듯요

[@AIPOQUE]

맞아요 ㅎㅎ 저도 기대중입니다. 컨트롤넷이랑 이것저것 좀더 써보고 또 재미난 결과 있으면 공유드릴게요 ㅎㅎ

[@shshsh-zy5qq]

flux 가 완전 자리 잡을 듯 하네요.

[@AIPOQUE]

네 ㅎㅎ SDXL 나와서 자리잡은것처럼 FLUX도 자리잡으면 막강한 로컬 툴이 될것 같아요!!