ヤマハは9月3日、歌声合成技術「VOCALOID:AI（ボーカロイド：エーアイ）」を用いて、故人である美空ひばりさんの歌声を再現し、新曲ライブを実現するという取り組みを支援したと発表した。9月29日午後9時から放送予定の「NHKスペシャルAIでよみがえる美空ひばり（仮）」に協力する。なお、「VOCALOID:AI」の公開および、実用化は今回が初となる。





VOCALOID:AIは、同社が独自に開発した、人工知能技術を搭載した歌声合成技術。あらかじめ目標となる歌手の歌声を収集し、そこに含まれる音色や歌いまわしなどの特徴をディープラーニングで学習することで、その歌手独特の癖やニュアンスを含んだ歌声を、任意のメロディーと歌詞で作り出すことを可能にしている。

同社は、2003年に独自の歌声合成技術「VOCALOID」を発表。2007年には同技術を用いた初音ミクなどが登場し、現在ではバーチャルシンガー技術として広く親しまれている。VOCALOID:AIでは特に、音色変化の表現が格段に向上しているという。今回、VOCALOIDは同社の歌声合成技術の総称として使用され、VOCALOID:AIはその中でも特に人工知能技術を使用したものとして位置づけるという。





今回の取り組みは、NHK主導のもと多数の協力者を得て実施されたもので、没後30年を迎えた美空ひばりさんの新曲ライブを現代のAI技術を用いて実現するプロジェクト。番組では、4K・3Dの等身大のホログラム映像でステージ上に本人を出現させ、秋元康さんがプロデュースした新曲を、美空ひばりさんの歌声で再現する。

VOCALOID:AIを用いることで、美空ひばりさん本人の歌声や歌い方、話し声の特徴を忠実に反映したボーカルパートとセリフパートの双方の作成を実現。合成に必要となる学習データには、美空ひばりさん本人の生前の歌や話し声を収録した音源を使用している。歌声音源の背景には伴奏音が含まれていたが、同社の「伴奏音除去技術」を用いて歌声部分のみを抽出することで質の高い学習データを生成。高品質な合成を実現した。