AIで歌ってみたい その1 diff-SVC編

 たまには興味のあるデジタルのことのお話です。

テーマはタイトルの通り

「AI技術で上手に歌ってみたい!!」

です。


昨今はAIシンガーやそれを扱えるソフトウェアが大発展いたしまして、それによって作られた動画などがたくさんあります。

けれどその中で「自分の声で歌わせる」というものは非常に限られています。

まず最初に調べたのはNNSVSというもの。

ようするにいろんな声、言葉を録音し、そこから音声を生成できるというもので、その元になる歌声データベースを自作したら歌わせられるそうです。

UTAUの音源ライブラリと似ていますね。

で、歌声データベースの作成方法はだいたいこんなかんじ

1,50曲ほど歌を収録(呪文歌詞含む)

50曲!?と思いましたが、50音+特殊発音の録音が必要なUTAUと同じくらいの労力な気がしてきます。たぶん錯覚です。

2,ラベリングする

録音した音声の中の、どの部分にどの音(ことば)が入っているかをプログラムが認識できるように、インデックスを付けてあげる作業です。

この後に、このインデックスをもとに学習をさせて、初めてデータベースができるのですが、気付いてしまいました。一人では無理です。

だいたいのデータベースというものは、集めるよりも、まとめるほうが大変なのです。

実際に歌声データベースを作成している方々は、この作業を複数人で分担されたようです。

つまり、理論上自作できますが、現実的ではありません。


ですが世は大AI時代。自分の声で歌わせる方法はまだあります。

そして今回試したのもこの方法。

それがDiff-SVCというものです。

これはAIで歌わせるというよりは、学習データをもとに、「ある声」を「別の声」に置き換えるものです。

実際に使用している先駆者の方々記事がこちら


好きな人の声で歌える、破壊的でヤバい「Diff-SVC」はAI歌声合成を民主化するのか(CloseBox) 

https://www.techno-edge.net/article/2023/01/19/731.html 

AI歌声合成?ボイチェン?Diff-SVCを徹底解説してみた!【やり方もあるよ】(2023-1-15訂正) - アマノケイのまったり技術解説 https://amanokei.hatenablog.com/entry/2022/12/13/182636 

読み上げ白上フブキが欲しいので作った - 技術日記 2月8日号 - セーブポイント https://new-file.hatenablog.com/entry/fubuki-tts 


これらの記事を見本に早速やってみたのですが、結論としては、出来ませんでした。

理由は唯一つ。

これで作成した学習モデルを活用する方法が無いのです。

diff-SVCの取り扱いが簡単すぎたことから、フェイク動画やら、ヘイトスピーチやらの悪用が横行し、製作者さんが配布と取りやめてしまったようです。

現在はモデルを作ることは出来ますが、そのモデルを活かす方法がない状態。

しかし、そのことに私が気づいたのは、学習モデルを作成した後でした。

時間と労力を割いてたものが無駄になり、しょんぼりしていますが、こればっかりは仕方ありません。


気を取り直して他の方法を探ります。

それがこちら


先程の、白上フブキさんを喋らせた方の記事の続きですね。

また違う方法なので、データだけを流用して、再び学習モデルを作ります。

しかし、google colabのノートを使用しているのですが、どうにもうまくいきません。

ひとまず今日は、試行錯誤してダメだったという結果を残しておきます。

ローカルでpythonを使って動かす方法もあるようなので、こちらを試していますが、その結果はまた後日に。

コメント