名古屋工業大学 国際音声言語技術研究所と音声合成を柱とするベンチャー企業テクノスピーチは12月12日、これまでの歌声合成とは一線を画す、元の歌い手の声質、癖、歌い方といった特徴を捉えた歌い方をディープラーニング技術などの適用で実現した。約2時間分の音声データで学習し、日本語、英語、中国語に対応する。

名古屋工業大学の徳田恵一教授を中心とするチームはこれまで、隠れマルコフモデルを使った統計的手法により、音声合成のOpen JTalk、歌声合成のSinsyを開発し、提供してきた。テクノスピーチはこれらを発展させた商用製品CeVIO Creative Studioの開発にも携わっている。今回の新技術はこれらを新たな次元に推し進めるものと言える。

名古屋工業大学とその出身者によるテクノスピーチの共同研究は、2019年3月に開催される日本音響学会2019年春季研究発表で公開される。

Sinsyと同じく、人手による調整がされていない「ベタ打ち」の歌詞付き楽譜データをMusicXML形式で与えるだけで、元歌手の特徴を再現する。

今回のデモはCeVIOで歌声を提供している、さとうささら、IAが使われていることから、CeVIOの将来バージョンまたは後継製品で使われることも予想される。

故人である三波春夫さんをバーチャルシンガーにした「ハルオロイド・ミナミ」がCeVIOに対応する歌声として製品化しているが、この新技術を使った、本物と区別がつかない仮想三波春夫による「世界の国からこんにちは」を期待したいところだ。

関連記事 「あなたに似た声」、なんのために？

あなたは自分の声のコピーを持ってますか？ わたしは2つ持ってます。

「あなたに似た声」、なんのために？ あなたは自分の声のコピーを持ってますか？ わたしは2つ持ってます。 バーチャル三波春夫「ハルオロイド・ミナミ」をオーディションしてみた

我が家にやってくるバーチャル演歌歌手はこれで4人目。ハルオロイドの実力を試してみた。

バーチャル三波春夫「ハルオロイド・ミナミ」をオーディションしてみた 我が家にやってくるバーチャル演歌歌手はこれで4人目。ハルオロイドの実力を試してみた。 音声合成・歌声合成の新星「CeVIO」、その謎が解けた！

無償の音声合成・歌声合成ソフト「CeVIO Creative Studio FREE」が公開された。簡単な操作でキャラのおしゃべりを制作できる期待の新星、その開発の経緯やこれからを教えてもらった。 関連リンク プレスリリース