AIで歌ってみたい その1 diff-SVC編
たまには興味のあるデジタルのことのお話です。
テーマはタイトルの通り
「AI技術で上手に歌ってみたい!!」
です。
昨今はAIシンガーやそれを扱えるソフトウェアが大発展いたしまして、それによって作られた動画などがたくさんあります。
けれどその中で「自分の声で歌わせる」というものは非常に限られています。
まず最初に調べたのはNNSVSというもの。
ようするにいろんな声、言葉を録音し、そこから音声を生成できるというもので、その元になる歌声データベースを自作したら歌わせられるそうです。
UTAUの音源ライブラリと似ていますね。
で、歌声データベースの作成方法はだいたいこんなかんじ
1,50曲ほど歌を収録(呪文歌詞含む)
50曲!?と思いましたが、50音+特殊発音の録音が必要なUTAUと同じくらいの労力な気がしてきます。たぶん錯覚です。
2,ラベリングする
録音した音声の中の、どの部分にどの音(ことば)が入っているかをプログラムが認識できるように、インデックスを付けてあげる作業です。
この後に、このインデックスをもとに学習をさせて、初めてデータベースができるのですが、気付いてしまいました。一人では無理です。
だいたいのデータベースというものは、集めるよりも、まとめるほうが大変なのです。
実際に歌声データベースを作成している方々は、この作業を複数人で分担されたようです。
つまり、理論上自作できますが、現実的ではありません。
ですが世は大AI時代。自分の声で歌わせる方法はまだあります。
そして今回試したのもこの方法。
それがDiff-SVCというものです。
これはAIで歌わせるというよりは、学習データをもとに、「ある声」を「別の声」に置き換えるものです。
実際に使用している先駆者の方々記事がこちら
好きな人の声で歌える、破壊的でヤバい「Diff-SVC」はAI歌声合成を民主化するのか(CloseBox)
https://www.techno-edge.net/article/2023/01/19/731.html
AI歌声合成?ボイチェン?Diff-SVCを徹底解説してみた!【やり方もあるよ】(2023-1-15訂正) - アマノケイのまったり技術解説 https://amanokei.hatenablog.com/entry/2022/12/13/182636
読み上げ白上フブキが欲しいので作った - 技術日記 2月8日号 - セーブポイント https://new-file.hatenablog.com/entry/fubuki-tts
これらの記事を見本に早速やってみたのですが、結論としては、出来ませんでした。
理由は唯一つ。
これで作成した学習モデルを活用する方法が無いのです。
diff-SVCの取り扱いが簡単すぎたことから、フェイク動画やら、ヘイトスピーチやらの悪用が横行し、製作者さんが配布と取りやめてしまったようです。
現在はモデルを作ることは出来ますが、そのモデルを活かす方法がない状態。
しかし、そのことに私が気づいたのは、学習モデルを作成した後でした。
時間と労力を割いてたものが無駄になり、しょんぼりしていますが、こればっかりは仕方ありません。
気を取り直して他の方法を探ります。
それがこちら
先程の、白上フブキさんを喋らせた方の記事の続きですね。
また違う方法なので、データだけを流用して、再び学習モデルを作ります。
しかし、google colabのノートを使用しているのですが、どうにもうまくいきません。
ひとまず今日は、試行錯誤してダメだったという結果を残しておきます。
ローカルでpythonを使って動かす方法もあるようなので、こちらを試していますが、その結果はまた後日に。
コメント
コメントを投稿