Exploring the Updated sd-webui-AnimateDiff Integrated with Control Net and Deforum

[@yocoda1]

ありがとうございます！

[@AI_is_in_wonderland]

私の初めてのsuper thanksです!ありがとうございます✨💖💖💖

[@Kei-tw1ji]

いつも勉強させてもらっております。無料で超有料級の内容出していただけて感謝しかありません!早速挑戦してみます。これからもぜひ情報配信お願いします！

[@AI_is_in_wonderland]

コメントありがとうございます！ぜひ挑戦してみてください！！

[@AI_is_in_wonderland]

動画中にcontext batch sizeを「コンテックス」と言っていますが、正しくは「コンテキスト」です。

[@pokehybridtrainer]

Can't wait to hear your img2img tutorial. Thanks a bunch for your help.

[@AI_is_in_wonderland]

Thanks for the support! Stay tuned for the img2img tutorial. Glad I could help!

[@kikkawamese8970]

とても丁寧に説明していただきました。本当にありがとうございました。

[@AI_is_in_wonderland]

コメントありがとうございます！😁

[@leonardr3800]

わかりやすい！とても参考になりました。有難う御座います

[@m.mishima9485]

controlnetを使用して1コマづつ画像作って貼り合わせていたのが自動でできるようになったんですね。 自動で行う為の設定・調整がややこしいですが。

[@AI_is_in_wonderland]

コメントありがとうございます。設定は慣れるまではややこしいですよね

[@ai_and_gaming]

Thank you for the english subtitles

[@AI_is_in_wonderland]

thank you for watching!

[@1GAT-o9u]

いつも拝見しています！とても参考になります！ 背景なしで動画を作成して後から背景を入れた方が時間短縮につながり、モーションも良くなるような気がします。推論なので試してみないとわかりませんが。 いつも凄い動画作ってくれてありがとうございます！！

[@AI_is_in_wonderland]

コメントありがとうございます。 とてもうれしいです。 ちなみに背景無しの動画はどのように作りますか？

[@88esplosione]

検証助かります

[@AI_is_in_wonderland]

コメントありがとうございます！

[@ywueeee]

that looks very complex but still will try it

[@AI_is_in_wonderland]

Thank you for your interest! Happy experimenting!

[@yamatotouya5829]

すげえなあ

[@AI_is_in_wonderland]

ありがとうございます😀

[@いかたか-n6n]

10/8のアップデートでanimatediff-cli-prompt-travelも実装されていました、更新が早くて追いつきませんね

[@AI_is_in_wonderland]

そうなんですよ！私もこれから挑戦していきます！

[@itsuki_kawasaki]

こういう動画を見ると『私も作りたい！』ってなるけど RTX 2060 SUPER の私のPCじゃ とてもとても…

[@AI_is_in_wonderland]

コメントありがとうございます。そうですね。3060の12GBは欲しいですよね！買っちゃいましょう🤣

[@RikuMk2]

素晴らしいアニメーションですね☺️ 個人的にもう少し背景を固定できたら嬉しいですね、動画全体的のごちゃごちゃした感を消せたら最高だと思いました。 動画の作成はまだ課題が多いですが、綺麗にできた時は嬉しさ100倍です🎵

[@AI_is_in_wonderland]

コメントありがとうございます！背景を指定できていないのですが、元画像のプロンプトにシンプルな背景を指定しておいて、Ebsynth utilityで背景を変えるのが最も有力候補でしょうか？

[@RikuMk2]

動画をマスクしてEbSynthで仕上げるのクオリティ高くていいですよね 以前に上げたいた動画を参考にしながら私もあれでアニメーションを作りました。非常に満足のいくアニメーションになりました👍️ EbSynthとanimateDiffのいいとこ取りみたいなことできたら嬉しいですね😊

[@littleriver1281]

普通のゲームのイベントとかリッチな演出が作れそうですね。 通常ゲーム開発企業はAI使用しない風潮ですが、ここまで来ると色々コストダウンが狙えるなー

[@AI_is_in_wonderland]

コメントありがとうございます。AIアニメーションかなり良くなっていますね！！

[@stlaurentjr]

Thank you for this video! Is there such a parameter as x interpolation using deforum in animatediff-cli-prompt-travel? 🤔

[@AI_is_in_wonderland]

Thank you for your comment. There is no such interpolation in animatediff-cli-prompt-travel. However, sd-webui's animatediff has recently added support for prompt-travel, so I think you can use it there. I'm planning to try it out myself soon.

[@stlaurentjr]

​@@AI_is_in_wonderlandwow! thank you!

[@necotarou1972]

いつも楽しく勉強させてもらっています フォトリアル系でも挑戦してみました。パラメータ調整は必要なもののなんとかできました RTX 3060 12GB + メインメモリ32GB で --medvram 使用で VRAMパンパン メインメモリもギリギリでした🤣 生成物がなんか全体的にぼんやりしてしまってるのですがこれはどこら辺を調整すれば改善されるのでしょうか？ いつもすごく勉強になる動画ありがとうございます！

[@AI_is_in_wonderland]

コメントありがとうございます。生成物がぼんやりするのは、使用するモデルや題材にもよるようです。リアル系は解像度が低いとなかなか難しく、VRAMがたくさん必要になりやすいです 構図を全身ではなくて上半身中心にするとか、可能であればADetailerを使うなど試みてください。フォトリアルは最高難易度だと思います。アニメ系なら384ｘ384で作ってハイレゾフィックスで1.5倍とかもありかもしれませんね

[@necotarou1972]

@@AI_is_in_wonderland なんと！フォトリアルは最高難易度でしたか！ まずはアニメ系で頑張ってみます。ありがとうございました！

[@takayamayoshikazu2782]

しっかし、Stable Diffusionだけでタコ踊りができるとはすげぇな😃

[@AI_is_in_wonderland]

タコ踊り？くねくねしたやつですか？😄

[@takayamayoshikazu2782]

@@AI_is_in_wonderland そー、そー、軟体動物ですな あの動き😆

[@tvm9958]

EinopsError: Error while processing rearrange-reduction pattern "(b f) c h w -> b c f h w". Input tensor shape: torch.Size([2, 320, 1, 96, 64]). Additional info: {'b': 2}. Expected 4 dimensions, got 5 ㅠㅠ

[@みりん-u6w]

ZeroDivisionError: integer division or modulo by zero というエラーが発生して生成できないです😢 AnimeteDiffでモーションの動画を入れて生成、controlnetのUnit 0,1の設定、それぞれ単体ではエラーは発生しないのですが、 両方組み合わせると上記エラーが発生してしまいます。 エラー後は毎回プロンプトから再起動するようにはしています。 何か足りない点があるのでしょうか？

[@AI_is_in_wonderland]

すみませんがはっきり分かりません 使用しているControlNetのモードは何になるでしょうか？ 私のところでは動くのですが 最近のanimatediffはエラーに強くなったので、エラー後の再起動は不要になりました。

[@richan6434]

いつも楽しく動画を見ています 質問なのですが 今回の動画ではanimediffに動画を入れてコントロールネットのopenposeを使用していましたが openposeで動画からフレームを切り抜きできませんでした これはopenposeにフレームを入れていないのが原因だと考えているのですが openposeは動画に対応していないように見えます 何か入れるのを忘れているのでしょうか？ もしよければどうやってcontrollnetのopenposeに動画のフレームを切り抜きして当てはめれるのか教えてほしいです

[@AI_is_in_wonderland]

コントロールネットには何も入れる必要はありません。入力した動画が長い場合によく起きるエラーだと思います。まずはとても短い動画で試してみて下さい。長めのポーズ指定動画を作る方法もあるのですが、手順がちょっと複雑なので今後の動画で紹介しますね。

[@richan6434]

@@AI_is_in_wonderland お返事遅れて申し訳ありません！ 出来ました！ありがとうございます！ 投稿者様のおっしゃる通り長い動画を入れるとエラーが出てきてしまうようです その他環境構築の際の不手際も関係していそうなので もし ZeroDivisionError: integer modulo by zero等で困っていた場合は stable diffusionをインストールしなおす事をお勧めします web-ui-user.batファイルにxformersをインストールする処理を正しく追加し 立ち上がりを確認した後 controllnetの最新版をインストールした後、動作するかを今回使うcontrollnetモジュールを使って 画像を生成した後animediffをインストールして動作させると僕は動きました！ 教えていただきありがとうございました！

[@とみー-n1r]

いつも動画拝見して勉強しております。アニメだと以前の動画でanimatediff-cli-prompt-travelも投稿されていましたが、sd-webuiと比べた時、この二つはどのような違いがあるのでしょうか。 機能面やVRAM面であまり違いがないのであれば、sd-webui使った方がいいのかなと思いまして。

[@AI_is_in_wonderland]

直接比較はしていませんが、ほとんど変わらないと思います。少しだけwebuiが重いかなぐらいです prompt-travelは同時に途中をプロンプトで指定できる強みがありますが、sd-webuiでも実装を試みているようですので、こちらの機能を使いながら実装を待ってもよいと思います。

[@hirotanuki5592]

ちょうど今日実装されましたね！@@AI_is_in_wonderland

[@AI_is_in_wonderland]

@@hirotanuki5592 えっ!気づいていませんでした!

[@ponta_2023]

いつもとても参考にさせてもらってます。これと同じことをやっているのですが、出来上がった動画の女の子が急に小さくなったり大きくなったりします。controlnetのResize Modeは両方ともJust Resizeでしょうか、それともCrop and Resizeでしょうか？　それとも他のどこかに問題がありそうでしょうか？

[@AI_is_in_wonderland]

crop and resizeです 動作のモデルは生成するgifと同じ512ｘ512にしています

[@ponta_2023]

なるほどです。了解しました。ご丁寧にありがとうございました！

[@TsukasaSugiyama]

拝見させていただき、参考にしましたが、後ろ背景が微妙に動いている？だけで画質もひどく低下しました。何が原因かさっぱりで心折れました。or2

[@AI_is_in_wonderland]

上手くいかなかったのですね。残念です。animatediffに関しては今後も動画を投稿予定ですので、また時間のある時にトライしてください。

[@ピーナッツバター-l2b]

AnimateDiffでフレーム数を増やすとちゃんとした画像が生成されなくなるのですが、何か理由はわかりませんでしょうか・・・？ numbers of framesが１６まではまだちゃんとした絵で生成されたアニメーションになるのですが、それ以上になると、うにゃうにゃの絵にしかなりません。 そもそも、１枚絵で生成して気に入ったのでそのままシード固定してanimatediffを有効にして生成すると、全然違う絵になるんですがどうしたらいいでしょうか・・・。 GPUは4070Tiです。

[@AI_is_in_wonderland]

animatediffのモーションモデルは16フレームで学習されているので、長い動画を作ると破綻しやすいです。静止画のシード値との一致性はありません。気に入った絵が出来たら、コントロールネットのIPアダプターに入れてweight0.2－0.4ぐらいの低めで生成してみてください

[@ピーナッツバター-l2b]

@@AI_is_in_wonderland なるほど勉強になりました！ありがとうございます！！！！！ あともういくつかお聞きしたく、animatediffの場合、16:9など横長の画像になればなるほど絵が変になります。ほぼ見れたもんじゃない感じに。4:3くらいからは段々見れる絵になっていき、1:1の正方形はいい感じ、逆に9:16など縦長もガラッと絵柄は変わるけどいい感じに大丈夫、っていう現象は普通でしょうか・・・？ 最後に、アリスさんが長いアニメーションを作る時は、１６フレずつなど細切れで作ってるんですか？頭とおしりは共通の画像を設定するなどして。自分もいつかは長いアニメーションを作りたいので勉強中です。

[@ai-studio-46]

なかなか良いできですね。（上から目線ですみません）私は、直近のゴールとして、自分の生成した画像を違和感なく動かすことですので、この分野での技術の進歩にとても期待しています。 ２つ質問させてください。モデルはアニメ系でなくても実写系でも可能ですか？あと、フレームレートを15とか指定する方法があるのでしょうか？フレームレート(29)が原因かわかりませんが、GPU性能がRTX3060の12GBメモリーでは、out of memoryとなってしまい、生成できませんでした。

[@AI_is_in_wonderland]

コメントありがとうございます フレームレートは動画編集ソフトによっては出力時に変更できますので、一度動画を読ませてからフレームを変えて出力する方法があります あとはFFmpegで簡単にできますよ FFmpegで30FPSのmp4動画を15FPSに変更するコマンド ffmpeg -i input.mp4 -vf "fps=15" -an output_15fps.mp4 後は実写系ですが次の動画で挑戦します

[@ai-studio-46]

早速、教えて頂きありがとうございます。FFmpegで変更するコマンドは、コマンドプロンプトを使う感じでしょうか？すみません、プログラムに疎いもので・・・ 時間があるときで結構ですので、またご回答いただけると嬉しいです。@@AI_is_in_wonderland

[@AI_is_in_wonderland]

@@ai-studio-46 FFmpegのパスが通っていればどの場所からでもコマンドプロンプトで使えますよ。コマンドプロンプトでオッケーです。

[@ai-studio-46]

度々すみません。教えて頂いたコマンドは、そのままコピペすればよいのでしょうか？それとも何か一工夫必要なのでしょうか？プログラムには疎いもので・・・@@AI_is_in_wonderland

[@AI_is_in_wonderland]

@@ai-studio-46 input.mp4とかoutput.mp4の部分はファイルのフルパスを入れて下さい。ダブルクォーテーションありでオッケーです

[@王子あすなっち]

生成を開始するとコマンドプロンプトで 　 - ControlNet - INFO - preprocessor resolution = 480　で必ず止まって動かなくなるのですが原因とかって分かりますか？ 追記 単なるメモリ不足でした

[@AI_is_in_wonderland]

コメントありがとうございます！

[@みりん-u6w]

入力に使用するモーションの動画の拡張子はmp4でしょうか？

[@AI_is_in_wonderland]

そうです！

[@みりん-u6w]

@@AI_is_in_wonderland ありがとうございます😊

[@_baaan6647]

今回もなかなか充実した内容でためになりました！ いつもありがとうござい😊 あと、毎回指摘する嫌な視聴者になってきているのですが…何度もすみません💦 GIFの正しい読み方は、「ジフ」なんです… （開発者が名言していますので…）

[@AI_is_in_wonderland]

いやーいつもありがとうございます！全然嫌じゃないですよ！お人柄も分かっているつもりです 岐阜じゃなかったのですね 次の動画はもう作っているので 次の次からは自負にしますね🤣

[@Burajiru-san]

@@AI_is_in_wonderland 最終的にはどちらでもいいですが、 正しくてもコミュニケーションツールとして成り立たないなら意味がないです。 ブラジルでも画像拡張子として知っている人なら100％断言していいほど、読み方は岐阜で通っています。

[@Your-Stranger]

保存版！！

[@AI_is_in_wonderland]

うれしい！！

[@hirotanuki5592]

Motion module は何がおすすめですか？

[@AI_is_in_wonderland]

V15v2一択です

[@hirotanuki5592]

ありがとうございます！ それを使おうとするとエラーが出るんですが、初めから普通に使えましたか？@@AI_is_in_wonderland

[@AI_is_in_wonderland]

普通に使えてますよ。私はGoogle driveからダウンロードして使っています

[@ncncaiai]

いつもありがとうございます！ 質問なのですが、paperspaceでも同様のことができるでしょうか？ チャレンジしているのですが、pose my artの動画を入れた際、GIFは生成されず、一枚の絵だけ出力されてしまいます。 動画を入れずに、プロンプトのみの時は指定した長さの動画が生成されます。 なぜ動画を入れたとき、コントロールネットも指示通りに入れているのに、一枚の画像が出力されてしまうのでしょうか？

[@AI_is_in_wonderland]

pose my artの動画を入れたときに自動的にフレーム数とfpsは計算されて、自動表示されているでしょうか？🤔 IPアダプターなどの他のコントロールネットは働くでしょうか？ すみません。paperspaceは使ったことがないので分かりません😥

[@ncncaiai]

@@AI_is_in_wonderland 自動的にfpsとフレーム数は計算されています。 いろいろ今試しているのですが、 ・動画は入れずにControlNetをEnableにする（画像を入れる）と、機能はする。例えば、ControlNetに画像を入れ、openposeにチェックを入れると、ポーズが固定された動画が作れる。 ・動画を入れ、ControlNetをEnableにする（画像は入れない）と、controlNetにイメージがありません、と表記がでて動画が生成されなくなる。（一枚の絵も出力されなくなりました） おそらく、入れた動画を一枚ずつ静止画に分け、ControlNetで処理する連携ができていないのだと思います。 FFmpegのインストールもpaperspace上で行っているはずなのですが、それがうまくいっていないのかもしれません !apt-get update !apt-get install -y ffmpeg こういうコードでインストールしました もう少し試してみますが、何かわかることがあれば教えていただけると嬉しいです...😥 出来たらまた共有します

[@h.uchiyama]

私も同じ事象が起きています。 可能でしたらこちらの解決方法を教えていただぎしたら幸いです。

[@ncncaiai]

いろいろ試しましたが無理そうです。ギブアップ...

[@AI_is_in_wonderland]

@@ncncaiai ごめんなさい😥paperspaceを使ったことがないのでよく分からないのです。何か分かったらコメントします

[@soranaka1]

Mac OSでは…できないんですよね？😢

[@AI_is_in_wonderland]

Macでもstable webuiのインストール方法が紹介されています。ネットで調べると色々出ますね。 私は経験がないので、どこまでの機能が使えるかはちょっとわかりません。

[@silvermoon7007]

ゆきの声って可愛いよな。

[@AI_is_in_wonderland]

ありがとうございます！うれしい😍

[@atakatadai]

やりたかったけど、どうすればよいのか わからなかったことが今回の動画で解決できました。 ありがとうございました。これからも応援しています。

[@AI_is_in_wonderland]

コメントありがとうございます！できなかったことができるようになると嬉しいですよね！一緒に頑張りましょう😁

[@SUZUKI-TANAKA]

不安定に生成されてるゾワゾワ感ザラザラ感が絶妙にキモいんだよな、ホラーっぽい それさえ無くなればマシになりそうだが、まぁ時間の問題で解決しそうだが

[@AI_is_in_wonderland]

そうですね、今後の課題ですね