－誰でも好みの演出の歌詞アニメーションを作って楽しめる「TextAlive」－

国立研究開発法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という） 情報技術研究部門 【研究部門長 田中 良夫】後藤 真孝 首席研究員、メディアインタラクション研究グループ 加藤 淳 研究員、中野 倫靖 主任研究員らは、ウェブ上で公開されている楽曲・歌詞コンテンツを利用し、ユーザーが楽曲に合わせて歌詞をアニメーション化できる 歌詞アニメーション 制作支援サービス「TextAlive（テキストアライブ）」（ http://textalive.jp ）を開発した。2015年9月8日に一般公開し、実証実験を開始する。

楽曲・動画共有サービスの普及に伴い、楽曲や、楽曲に合わせた動画を公開して楽しむユーザーが増えている。とくに、歌詞がタイミングよく動く歌詞アニメーションは、歌詞を動画として魅力的に表現できる手法である。一方で、その制作には、手元のパソコンに動画制作ツールをインストールして、使い方を習得しなければならない。また、作品を制作するたびに、楽曲に合わせて文字ごとの動きを指定するなど相当の手間がかかる。歌詞アニメーションを制作したことがない人々が好みの楽曲に合わせた作品を制作して楽しむには、技術的な敷居が高いのが現状である。

この研究はJST CREST「共生社会に向けた人間調和型情報技術の構築」研究領域における研究課題「コンテンツ共生社会のための類似度を可知化する情報環境の実現（研究代表者：後藤 真孝）」の一環として行われた。

ウェブ上の楽曲・歌詞コンテンツを用いた歌詞アニメーションを演出・制作・共有できるシステムを開発し、歌詞アニメーション制作支援サービス「TextAlive（テキストアライブ）」（http://textalive.jp）として一般に公開する。TextAliveは、以下の仕組みで動作する（図1）。

ユーザーがウェブサイト上で公開されている任意の楽曲（MP3形式の音響信号ファイルや楽曲・動画共有サービス上の楽曲・動画）と歌詞のURLを TextAlive に登録すると、 TextAlive が楽曲の内容と、楽曲と歌詞の対応関係を解析する。 ユーザーが TextAlive に登録された楽曲を選ぶと、元のウェブサイト上にある楽曲がストリーミング再生されるとともに、歌詞アニメーションが同期して描画され、目と耳の両方で楽曲とその歌詞を楽しむことができる。動画全体にわたる演出を様々な「スタイル」から選んで瞬時に切り替えることができ、好みの歌詞アニメーションを容易に制作できる。 ユーザーはフレーズ・単語・文字ごとの詳細な演出を「テンプレート」から選んで編集でき、自分好みに演出をアレンジしてウェブ上で歌詞アニメーションを共有できる。また、他のユーザーは、共有された歌詞アニメーションに対し、さらに編集を加えて派生作品を制作できる。 プログラミング技術を持つユーザーは、「テンプレート」「テンプレートの調整用インタフェース」を編集したり、新たに作成したりできる。これらの内容は TextAlive 上で共有されるため、すべてのユーザーの演出力が強化される。

TextAliveは、以下の3つの特長を持つ。

1. ウェブ上の楽曲と歌詞の情報に基づいて歌詞アニメーションを容易に制作可能

ユーザーが楽曲と歌詞が掲載されているウェブページのURLをTextAliveに入力すると、歌詞が楽曲に合わせて動く歌詞アニメーションを視聴できる。歌詞アニメーションは、産総研独自の音楽理解技術により楽曲と歌詞から解析した歌詞発声タイミングなどの情報に基づき、ユーザーのブラウザ上で自動的に合成される（図2）。

ユーザーはブラウザ上で「スタイル」を選んで動画全体にわたる演出を瞬時に変更でき、好みの歌詞アニメーションを制作できる。また、フレーズ・単語・文字ごとの演出を「テンプレート」から選び、調整して、より詳細な演出を行うこともできる。これは、歌詞発声タイミングから歌詞アニメーションを合成するプログラム（スタイル）や、文字の変形・移動などを制御するプログラム（テンプレート）をブラウザ上で実行・更新できる、産総研が新たに開発したプログラミング環境技術により実現している。

このように、音楽理解技術による解析結果をプログラミング環境技術で利用することにより、歌詞アニメーションを制作したことがないユーザーでも、楽曲に合わせた歌詞アニメーションをすぐに好みの演出で制作して楽しむことができる。

2. 直感的なインタフェースと派生作品を作りやすい仕組みで人々の創造性を支援

TextAliveは、歌詞アニメーションを容易に制作できる3つの編集用インタフェースを提供している。これにより、動画制作の経験がないユーザーでも、自分好みの歌詞アニメーションを制作できる。選んだスタイルに基づき自動的に生成された歌詞アニメーションを叩き台にして編集することもできるため、制作経験者であっても手間が大幅に軽減される（図3）。

（a）スタイル選択パネル：スタイルを選ぶシンプルなインタフェースにより、歌詞アニメーション全体の演出を瞬時に変更でき、好みの歌詞アニメーションを制作できる。 （b）タイムライン：ユーザーがマウス操作でタイムラインカーソルを左右に動かすことで、見たい箇所の歌詞を簡単に探しだせる。また、自動解析された歌詞発声タイミングをフレーズ・単語・文字別に着色した区間として表示しており、ユーザーが各区間を左右に動かしたり伸縮したりすることで、任意の文字群や一文字ごとに歌詞発声タイミングを編集し、自動解析結果の誤りを訂正できる。 （c）編集パネル：歌詞アニメーションを視聴中に編集ボタンをクリックすると表示される。タイムラインで選択したフレーズ・単語・文字の、フォントの種類・大きさ・動きを豊富なテンプレートから選べる。また、テンプレートの調整は、スライダーなどの直感的なインタフェースで容易に変更できる。

また、一般的な動画共有サービスでは、あらかじめ用意された複数の静止画を高速に切り替えて動画を表示している。このため、後から動画の内容を変更することが難しい。一方TextAliveでは、プログラミング環境技術によりスタイルやテンプレートのようなプログラムをブラウザ上でリアルタイムに実行し、歌詞アニメーションを表示している。したがって、既存の動画の演出を他の楽曲の動画に適用したり、動画の一部だけ編集したりすることが容易であり、様々なユーザーが一つの作品からいくつもの派生作品を作り上げる文化を技術で下支えすることができる。

3. ウェブ上でのプログラミングによる演出や編集機能の強化が可能

TextAliveでは、あらかじめ用意されたテンプレートに満足できない場合、ユーザー自身で新しいテンプレートをプログラミングできる。ユーザーが編集用インタフェースを閉じることなく、歌詞アニメーションを再生したままで文字の動きなどを決めるアルゴリズムを書き換えて更新できるという、これまでにないライブプログラミングを実現している。さらに、TextAliveの機能の一部は他のウェブページに埋め込めるウェブAPIとして公開されており、プログラマーは自身が制作しているウェブページに歌詞や文字のアニメーションを表示して訪問者を楽しませることができる。

ユーザーがプログラミングを行うツールとして、2つの方法を提供している。