あらゆるキャラクターに歌わせるAI技術の解説

so-vits-svc-fork
github.com/voi...
Ultimate Vocal Remover
ultimatevocalr...
この動画で使用したもの
VOICEVOX：ずんだもん、四国めたん
BGM：‪@DOVASYNDROMEKZbinOfficial‬ ‪@ReoMusicCH‬
気まぐれロマンティック： • いきものがかり 『気まぐれロマンティック』M...
カラオケ音源：‪@namakara‬
効果音：効果音ラボ様
立ち絵：坂本アヒル様
他の絵：いらすとや様

[@user-kb4ex9oz9r]

この面倒な作業が全部やってあるモデルがboothとかで売られてるけど、ずんだもんや声優の著作権を侵害してるからぜっっったいに買っちゃダメだぞ！

[@goc-2611]

ライブラリだけはこちら側で保持しないといかんのですよ

[@tomdesuyo_1452]

著作権問題のない自作モデルもあるっぽいのでそれはOKのはず

[@goc-2611]

手順簡易化パッチとかがあるといいんだがな 作るしかないか…

[@takebch0813]

米主のお兄さん感好き

[@torumatsuoka4609]

声優の著作権とは何を指しているのでしょうか？声優のような特定の個人の声という概念に肖像権のような法的権利があるとは聞いたことが無いですし、人間の声が学習元であってもAIが生成したものであれば著作権は認められていません。せめて「声優、もしくは声優の所属する事務所に精神的苦痛で訴訟される可能性」であればまだ分かるのですが。

[@AONOch_]

相変わらずの技術力流石すぎる…

[@user-zx9ci5ov4z]

0:46 「喘ぎ声」を私は見逃さなかったぞ。

[@CreaMint]

せしりああねきあにきのあえぎごえまだ？

[@user-mu4xj3fr8o]

おまえがみてるどうがはなんだ？ おまえがつくるんだよ

[@ae111gt165]

すべての工程をさらっとやってるけど地力があってこそだよね。流石です！

[@user-rh7jf6ws6j]

可愛い…。そして想像よりも人力で作られているんですね。

[@user-vy3sd6vv8x]

ずんだもん気まぐれロマンティック可愛すぎる❤❤❤❤ もっと聴きたいです😻

[@すっとんきょー]

この技術は分かりづらいくらいがちょうど良い… 人間の形をした猿に見つかればこの学習を必ず悪用するに違いない 技術自体は本当に素晴らしいのだが

[@goc-2611]

きっと1年とたたずパッケージ化され、ドラッグ&ドロップでできるようになる

[@user-tj7hm1vc2i]

翻訳前の聖書かな？

[@T0k41_Te10]

手遅れ定期

[@dominatorai]

「人間の形をした猿」？AI絵師に粘着誹謗中傷してるAIアンチさんの事かな😅😅

[@user-fg7km7cs8v]

？？？）私に従え。猿ども、、

[@Shizuku_XYV]

今まで裏でこっそり解説動画作ってた？動画凄い見やすいもん。

[@Shizuku_XYV]

逆にCecilia姉貴兄貴が出来ない事って一体…何？

[@user-pj1by4xm7u]

性交渉

[@lklsou]

@@user-pj1by4xm7u草

[@トリノス_インディーズゲーム配信]

バキバキ

[@ミジンコ5656]

​@@user-pj1by4xm7u勝手に童貞にされてて草

[@Twitter115]

@@user-pj1by4xm7u頑張れば成功できる

[@user-rm4bd4mv8d]

ずんだもん気まぐれロマンティック、フルであげてほしい・・・

[@九条院紫苑]

凄すぎでしょ…。自然すぎる

[@____...]

8:05 「まち」の「ち」にニキネキを感じる気がするんだけどこれも変換前はニキネキかな？

[@cecilia9274]

そこで気づくのかw

[@beyder5680]

この動画のお陰で好きなキャラに歌わせる事が出来るようになりました！とても丁寧で分かり易かったです！ありがとうございます！

[@As7_F1zzy]

これって自分の声学習させたらめちゃ歌上手い自分が生成されるってこと？！

[@adenosin1rinsan]

自分の声質がその歌に向いてるかどうかでうまく聞こえるかは変わるけど、聞けるレベルにはなる。いわば音程合わせだからカラオケ上手い人みたいな感じ。

[@user-pb6ft7jm6l]

@@adenosin1rinsan自分の声での”カラオケの正解“ってのを知れるのか…？

[@user-zf6wc3le9h]

どこかに公開したいとかではないけれど自分で時々「この曲、このアーティストや声優さんのバージョンで聞きたいな」と思う時があるのでこの技術をちゃんと理解して出来たらめっちゃ楽しそう

[@emesuto]

予想以上ですげぇ…マジですげぇよ…

[@SiinaT-ib2gc]

なんて丁寧で親切な動画なんだ、、ceciliaネキ素晴らしすぎる。。

[@user-hi9kb7go2y]

おかげさまで推しに歌わせることができました！！感無量です！個人で楽しみまくりたいと思います！ありがとうございます！！

[@user-nil0]

多才すぎて羨ましい

[@user-hz4ph9jd3u]

いきなり動かなくなって 色々やってみたら動いたメモ ▼実行環境 Install dependenciesのコマンド内のpythonのバージョン変更 %pip install ipython == 7.34.0 エラー的にはバージョンが合わないらしい、、、 ▼アウトプット（ドライブのlogs） D_10000.pthまでしか作られない →train実行しても中途半端に止まる ➡️ D_10000.pthを削除したら 　　動き始め、D_9000.pthあたりから加算されていった、、、 ☝️これはどっかに設定とかで制限してそう

[@EARTH__.]

2:54 おや？

[@mikuta_funitaro]

前半チラ見せされるファイル名が草

[@user-vc5se5zd2fa]

すごすぎる！！推します！！！

[@GreenTeaMan]

私が何回かやってみたところでは十分も入らず、3分程度の音声データでも相当似たモノが出来ました… こりゃ末恐ろしいですな…あまりにも簡単にできてしまう

[@kumakumahiguma]

凄い…お金溜まったら姉貴兄貴にフリーナのAI音声の依頼したい。フリーナにラフィンとか歌わせたい…

[@user34434-t]

サムネのマイク押し付けられてるずんだもん可愛い

[@gula9764]

今so-vits-svc何でかダウンロードできない…

[@miyamoto_michael]

動画の手順通りにやってみて成功したのですが、2回ほど学習をさせてからtrainを押してもtensorboardというものが表示され5分ほどで学習？が止まってしまうようになってしまったのですが、似たような症状に陥った方いませんかね？

[@miyamoto_michael]

一回データを全て消して一からやり直したら解決しました。 同じ問題で悩んでる人の役にたてれば幸いです

[@reika4783]

この人すごい

[@user-bo5zv6ug9j]

たすかる！じっくりみます

[@CaptainMiho]

ゲームのキャラのボイスデータを使ってAIに学習・歌唱させたものをTwitterに投稿する人が現れる→キャラの声優本人が「私は学習を許可してません」と引リツ→同じ作品の他キャラ声優（AI反対派）がブチギレ引リツ＋投稿者に引リツを駆使しながら粘着→引リツの影響で事態を知る人が増え、動画が削除された後も鎮火せず大変なことに 私の活動する界隈でもつい最近こういうことがあったから、悲しい思いをする人を出さないためにも、こうした技術を使うなら完全に個人で楽しむ範囲だけにとどめるのがベストなんだろうなって思う😢（残念ながらそうした生成物を公の場に出してしまう人は少なくない） 一番の理想は声優や歌手の許可無く学習させないことだと思うけど・・・大変な時代になってしまったな。

[@user-uo9nu3zj5e]

まぁ本人が喋ってるかのように勘違いさせる感じじゃなければ...

[@CaptainMiho]

@@user-uo9nu3zj5e 多くの声優さん達にとっての1番の問題は「自分の商売道具である【声】を勝手に模倣され、使われること」なんです（もちろん考えの違う声優さんはいるかもしれません） 「これはAIで作りました！ご本人の実際の声ではありません！」と明記すれば良いということでもないのです・・・

[@user-ho4dd8wl1x]

いつも思うけど「学習の許可」ってなんなのかな。やってることは声真似と変わらずそれっぽい音が聞こえているだけ やられたら言葉に表しにくいすごい嫌な気持ちになるのは分かる

[@CaptainMiho]

@@user-ho4dd8wl1x 無断で学習されてしまった声優さんの実際の言葉として「とても不気味だ」というものがあったので、おっしゃるように、不快感を覚える声優さんは多いと思います。 その「それっぽい音」を、本物が歌っていると錯覚してしまうクオリティに、誰でも簡単に出来てしまう事も問題の一つではないかと思います。 本来なら「お金を払うので、この歌を歌ってください」となるはずなのに「この声優の既存の音声をAIに学習させれば無料でそれっぽく歌ってくれるから、声優にはお金払わなくて良いや」となってしまうんです。声優さんたちにとっては、たまったものじゃないでしょう。 もし声優が正式にAI学習の許可を出すようなことがあれば「私の商売の邪魔をしても構わないよ！」と言ってるのとほぼ同義になってしまうので、本来であれば許可なんて出ないでしょうね・・・（そして人々も、許可なんて出ないと分かってるから勝手に学習させるんだと思います） 長々失礼しました。

[@pcm298]

AIを使った事を隠して 音MADって書いておけば炎上回避できそう。 そう考えると音MADが黙認されていてAIが叩かれるのは謎。

[@artificiallyintelligence4287]

凄いです！

[@Maki-makima]

新しい動画嬉しい

[@user-co2ls9hk3y]

GitHubにcolabへ飛べる場所がないです

[@asagirikodoku]

これなんか Install dependencies のとこでエラー吐くんだけどどうしたらいいんだろ

[@ytoshi127]

リーパーで全トラック出力する方法がわからない

[@Zeno_streamings]

5:10 GUIをインストールしてもファイルが開けないのですが、Windowsじゃないと利用できないのでしょうか？使ってる機種はMacBook Air M1です。

[@user-pq1xn9wx4u]

わかりやすい動画をありがとうございます！ よければDAWでミックスの方法についての解説やコツの動画も欲しいです！

[@user-rg9fx6hi3f]

よくわかってなくて申し訳ないんですが、tensorboardのオレンジの帯の右側にinactiveと出ているんですがこれは動いているのでしょうか？一応実行中にはなっていて、下のほうに謎のグラフのようなものがいくつか出ています。

[@xpape7813]

兄貴すげぇ...

[@user-bq5mj3uj9z]

Trainで学習させるところまでは行ったんですけど、 No dashboards are active for the current data set. と出てしまい、TensorBoardが動きません、、、どうしたら解決できますか？

[@user-sm1qs4rl1s]

全く同じです( ﾉД`)

[@ごまお]

ちょうど気になってたから助かる

[@H_Hashimoto]

5:11 BADファイルダウンロードしようとすると信頼できること確認してって言われてできないんですがどうしたらダウンロードできますか？

[@momonga-dj7hq]

質問なのですがボーカルを抽出すると雑音が少し入っていたりするのですが雑音が少ないけどはっきりしない音源と雑音が多いけどはっきり声が聞こえる音源どちらを学習させるときれいに変換できるようになるのでしょうか？

[@miyo_1945]

あれ前回の動画見た時も気づかなかったけど姉貴兄貴だったんだこれ

[@user-kx3xu6kt2n]

解説たすかる

[@rebasumi]

凄ぇ！！

[@nakotake3442]

凄くて素直に賞賛です。PCスペックがあればローカル版でもできますね、こっそりと楽しみます。

[@Inochan_Hikotetsu]

これiPadとかMACじゃできないですか？

[@Yomogiharuno14]

Trainingのひとつ前のF0 METHOD＝crape〜の段階で3時間くらいかかっててまだ終わらないんだけどこんなもんなのかな…（素材数365）

[@cecilia9274]

そこまで長くはならないはず… この部分に関係あるかはわからないけど、もし素材のフォーマットが44100Hz、Monoじゃなかったら一度フォーマットをそれにしてやり直してみてください。

[@user-my6kt2rm4x]

とてもわかりやすい動画をありがとうございます。いくつか質問させてください。 途中で止めた学習を別の日に再開する場合も、同じようにcolabの左側の再生ボタンを上から順に押していけば良いのですか……？ また、ある程度学習したキャラクターに音源素材を追加したい場合はどうすれば良いのでしょうか…？ 最後に、複数キャラクターを作った場合、AIモデルの保存場所はどうなりますか……？

[@cecilia9274]

途中で止めた学習を再開する場合、また左側の再生ボタンを上から押す必要があります。素材を追加したい場合はキャラ名のフォルダーに入れておけば次ノートブックを起動した時、追加された素材も学習に取り組まれます。複数キャラクターを作る場合、私は完成したモデルを違うフォルダーに移動してから新しいキャラクターの学習を始めてる。

[@osanpo-milk]

人力でやると途方も無い時間と労力が掛かるのに今の技術はすげぇな

[@SuDeNaMa]

わかりやすい解説動画助かります！ 質問なのですが学習元のデータファイルはモノラルでWAV形式であること以外になにか条件があるのでしょうか？ご教示いただけますと幸いですm(__)m

[@cecilia9274]

それで大丈夫だと思います

[@SuDeNaMa]

@@cecilia9274 ご返信ありがとうございます！

[@user-jj6uq5ci9z]

この動画を見て一通りモデルを作って変換するところまでできました！ とてもわかりやすい解説をありがとうございます。 素材について質問なのですが、ハモリやBGMの入っていない素材が好ましいとのことですが、 ハモリやBGMなどが入っている素材があると最終的に変換の精度が落ちてしまうのでしょうか？

[@siguma_movie]

Reaperにwavファイルを入力したいのですが 音が出なかったりで行き詰まってます。どなたかご助言いただけると幸いです。 当方、音MADも作曲も経験のないPC素人です。よろしくお願いします。

[@user-ht9gw7ww6p]

so vits svc forksのinterを押してからなんですけど 5分間の音声はどのくらいで変換完了しますか？ 20分くらい待っても終わりそうになくて、、、なにか間違ってますかね

[@qw1480]

すげぇ!

[@Sacabambispis]

Install dependencies のところでエラーが発生して止まってるんですけど iPythonが7.34が必要ってログが出るんですけどこれってPythonで仮想環境を作らないといけないってことですか？

[@o0Maa__]

すご、、、、、

[@姿なきオドン]

歌のSVC、汎用性のRVC

[@Ux_xU__o0528]

4:57 繰り返す時って、どこから再生ボタン押せばいいですか？

[@kinakomochi709]

質問なんですけど、左側にある再生ボタンをおすといくつか嗄再生ボタンが赤くなってエラー？みたいになってしまします。こういう場合はどうすれば良いでしょうか？

[@LightReft]

はえ～すっごい

[@ns_sekizai]

うぽつ！

[@katanataso]

やっぱすげぇなぁ…

[@hatenabi]

なるほど

[@user-bl8ui6dk9e]

GUIのモデル選択をする時Browseを押すと予期せぬエラーでPythonが終了してしまうのですが、解決方法が分かる方いますか？😢 使用PCはMacBook Air M1です

[@桜猫-k6o]

素晴らしい技術力の動画を本当にありがとうございます 投稿からかなり時間がたってしまっているので質問はもう受け付けてらっしゃらないもしれませんが自分でやってみたところ4:42のTrainの部分で橙色のTensorBoardなるものがでてきたのですがこのままで問題はないのでしょうか？　それとも残り何分みたいな表示は出ますか？ 是非教えていただけますと幸いです

[@user-fj7yq3kw4v]

これって歌ってる素材と喋りの素材を混ぜて読み込ませてもいいんですかね？

[@jiaenso]

丁寧な解説ありがとうございます。とても助かっています。 自分の環境だと似ても音痴になってしまうのですが対処法をご存じの方いらっしゃいますでしょうか……？

[@user-pg1kr8ti3o]

ブリムオンの囁きASMRお願いします

[@user-hl6kh5vn7q]

解説動画ありがとうございます！ある程度できるようにはなりましたが、最後の調整がなかなか難航してます…笑

[@user-xh5zl4lx6i]

これ歌じゃなくて喋らせることもできるんですかね？？

[@WaffleTheQueenz]

I think it sounds more Zundamon-y than NEUTRINO

[@user-sn2wh5nj2c]

はえーAIってすごいんすねぇ

[@tmmiu2838]

質問なのですがもしTrainを途中で中断して新しくTrainを始める場合、前のTrainの成果（記録）は受け継がれるのでしょうか？例えば６時間学習させようとしたけれども３時間でPCが落ちてしまい、学習が止まってしまったら１からやり直しになるのかということです。

[@Zab_n]

RVCは引き継ぎませんがsvcは保存できるように設定できます

[@Zab_n]

と思いましたがrvcにもconfigファイルがあるので出来るかもしれません 今病に伏していて確認できません😭

[@tmmiu2838]

@@Zab_n 何度か試してみたところ途中からでもGooglecolabの一番上（GPUチェック）からやったら進行状況は受け継がれました。6時間ぶっ通しじゃなくて隙間時間でちょこちょこやってもなんとかなりそうですね。

[@user-qd1wx1yr6p]

どうやってその設定をするのですか？教えてくれるとかなり助かりますm(_ _)m

[@Zab_n]

@@user-qd1wx1yr6p svcの話ですか？

[@user-uf4ri8wh1i]

なにを目指しているのか

[@muine5445]

動画面白かったです! GPUがないので,RVCとSVCをなんとかクラウド上(paperspace)に環境を作ってやっているのですが, うまく歌わせるのがめっちゃ難しいです。 音楽の知識が全くないのですが、SynthVや NEUTRINOで歌を作る場合には耳コピという技術？が必要みたいなのですが それを作りやすくするソフトなどはありませんか? それとこの動画では複数のソフトが紹介されていますが、知識がない場合はどのソフトから始めれば良いなどはありますか？ (一応UVR5とaudacityは少しだけ触りました) 追記： お安めまたは無料のDAWがあれば教えてください！(動画のDAWは自分的には少し高かったです) GPUはGTX1650はありました（調べてたら必要だったので！）

[@cecilia9274]

耳コピが難しいのは、もし音程が分からないからでしたらwavetoneという分析ソフトをおすすめします。UVRでボーカルのみにして、その音源をwavetoneに通せば音程が出てきます。 無料のDAWだとCakewalkとWaveform Freeがあります。あとREAPERは無料じゃないけど無料です。

[@muine5445]

@@cecilia9274 無料のdawかなりたくさんありますね！プラグインなども沢山あって 難しそうですが、とりあえず触ってみます！

[@synmusics]

2:57 yajuusenpai

[@user-gk3vk7fj2r]

最後まで見てから気が付いたけどネキニキやんけ

[@katatumuri8484]

uvr起動したときUnhandled exception in scriptって出ちゃう

[@Rio-on4cr]

デジタル技術の驚異って奴ですな

[@user-fb6vc8gz8x]

Use trained modelのところでエラーが起きるんですけどどうしたらいいですか？

[@sagishimalain]

とても分かりやすい動画ありがとうございます！参考にさせて頂いております🙇‍♀️ 質問なのですが、2:50に5〜10秒の個別ファイルとあるのですが、短すぎる歌音源の素材は編集して5〜10秒にまとめてしまうのが良いのでしょうか？

[@cecilia9274]

それで良いと思います、自分もそうしてます。

[@sagishimalain]

@@cecilia9274 ありがとうございます！ たくさん動画見ます！！

[@reps882]

まじ楽しい

[@user-bq7xt2go1u]

なんかtrain押しても数秒で終わってしまい歌わせても何の声なのかだれの声なのかわからない状態になっています。 これの対処法などあったら教えて頂きたいです

[@-Ikayakimenthol]

よく原神の動画で歌わせる動画があるけど、ほとんど許可もらってないんだろうな。

[@tiikawakaisetu]

0:47 さりげなくある物w

[@muu0418]

うぽつ

[@user-fk3nt8zm7k]

REAOERでの出力のことなんですがトラックごとに分けて一気に出力する方法がわからなくて困っているんですが設定など教えていただけないでしょうか・・・

[@cecilia9274]

出力（Render）画面の上のところ、SourceをMaster mixからStems (selected tracks)にすれば選択されたトラックをトラック別で出力できます。

[@user-fk3nt8zm7k]

@@cecilia9274 返信感謝いたします。どれを出力しているのかわからなくて困っていたので仕様がわかってすっきりしました、ありがとうございます！！

[@俺が悪いんだ]

GUIファイルの開き方を教えてください

[@Bob-jm8hg]

trainを押すとTensorBoardというのが表示されるんですがどうすればいいですか？

[@zcnp985]

同じく

[@nekoneko1615]

ultimate voice removerのとこでボーカルと歌わせたいモデルのボイスをつくるんですか？教えていただけると嬉しいですm(__)m

[@cecilia9274]

Ultimate Vocal Removerは曲からボーカルを分別するツールです。分別されたボーカルを素材として使ってモデルを作ります。

[@nekoneko1615]

ありがとうございます(*´▽｀*)

[@nekoneko1615]

もう1つ質問なのですがgoogle colabで開いたときにinstall dependenciesのところがエラーになってしまうのですがどうするばいいんですかね？

[@iamhotcake]

​@@nekoneko1615 左側入力欄の4行目、「%pip install -U ipython 」となっている箇所を「%pip install -U ipython==7.34.0」に変更し、 右側入力欄を「none」のままにしておいてください。 Copy your datasetという手順で、音声ファイル名を指定してください。

[@soutakami]

【至急】7:25秒のところの、inferの上にあるuse GPUが選択できないようになっているのですが、どうすればいいでしょうか？

[@Sacabambispis]

多分あなたのpcにGPUがないからじゃないから

[@soutakami]

@@Sacabambispis あーそういうことなんですね！ありがとうございます！

[@gytf4352]

これ清春でやったらどうなるんだろ

[@miyamoto_michael]

このサーバーのGPUを借りる機能って、制限がかかってからおおよそ何時間程度で復活するんですかね？

[@CreaMint]

googleplayの広告おまえだろ

[@rattatta5177]

自分のGPUを使用する場合はどうしたらいいのか教えていただきたいです

[@user-wi3it7mb1u]

最後のtrainでTensorBoardが出たんですけどファイルは読み込んだしそのまま無視しても大丈夫ですかね？

[@wtnvnot]

自分も同じ感じですなんか分からないけど処理がされなくて困ってる

[@ユリウスミサイル協会日本木部]

​@@wtnvnotGPUがタイムアウトしてないか datasetなどのファイル名が間違っていないか ドライブに空きはあるか などを確認してみてください。

[@enogawasensuke3675]

素材が足りないときに逆再生したものや再生速度を弄ったモノを混ぜるとどうなっちゃうんだろう❔

[@cecilia9274]

試したことはないけど、変換された音声に違和感が生じると思います。

[@enogawasensuke3675]

@@cecilia9274 なるほど…

[@kometakusuzeian]

試してみますね 無事にモデルが完成するかはわかりませんが