シタールとマリンバ、イヌ、自動車が交錯すると、どんな音が得られるだろうか。グーグルのニューラルシンセサイザーなら、さまざまな音色、ピッチ、音調で、その音を奏でることができる。

「NSynth Super」は、グーグルによる新しいおもちゃだ。機械学習を使って、これまで聴いたことのなかったような音をつくり、コンピューターで拡張された創造性を最大限に試すことができる。

このプロダクトは研究プロジェクト「Magenta」の一環としてつくられた。グーグルの人工知能（AI）研究プロジェクト「Google Brain」のうち、芸術や音楽の創作における機械学習の役割を探るプロジェクトだ。

NSynthの研究は2017年5月に初めて詳しく発表された。グーグルは現在、ハードウェアの仕様とインターフェイスをオープンソースにしている。誰もが自分のハイテク楽器をハッキングしていけるようにだ。グーグルはNysnth Superを、「オープンソースの実験的楽器」と表現している。

関連記事：「人間が聴いたことのない音色」を、グーグルのAIが生み出した（音・動画あり）

これまでのAIによる音楽への取り組みは、「欠けた部分」を補うメロディを生み出すことが一般的だった。つまり、人間がコンピューターとデュエットを奏でたり、オーケストラの足りない楽器のパートを人工知能で埋めたりというものだった。

NSynthのアルゴリズムは、そこからさらに進んでおり、音楽家がまったく新しい音をつくり出すことができる。ニューラルネットワークを使うことで、さまざまな楽器の特色を学習して、それらの要素を混ぜあわせて新しいものをつくり出すことができるのだ。

そのアルゴリズムは、一つひとつの音を、ほかとは違うものにしている「質」も識別できる。ロンドンを本拠とするグーグルのCreative Labで、クリエイティヴテクノロジーのリーダーを務めるジョアン・ウィルバートは、その原理を次のように説明する。

「2つの音があるとしましょう。スネアの音とバスの音です。アルゴリズムは、その間のあらゆる音をつくり出しますが、単に2つを混ぜていくのではありません。実際には、音の質を理解することで、スネアとバスならば、スネアのアタックと衝撃が感じられ、それでいてバスの倍音も併せもつような中間音を作り出します」。特徴的な質を保存するこの能力が、真に独特な音をつくり出すのだ。

オリジナルのアルゴリズムには30万件を超える楽器音を学習させてあり、公開されている音のデータセットとしては群を抜いて大きい。NSynthは、15年にオープンソース化されたグーグルの機械学習技術「TensorFlow」を使って開発されている。モデルやツールもすべてオープンソースとなっており、GitHubで入手できる。

誰もが使えるようなツールに

チームリーダーのピーター・センプルは、「大量のコードを理解しなくても使いやすいようにするにはどうすればいいか」を大切にしたという。同じチームは過去に、「Project Bloks」という、手を使ったコーディングの手法を開発した。積み木を使った手作業を活用することで、子どもたちがテクノロジー構造を順序立って組み立てられるようにするものだ。

ウィルバートと、クリエイティヴテクノロジストのゼベディ・ペダーセンはさらに、誰もが使えるようなツールをつくりたいと考えた。自身も音楽をつくり演奏するふたりは、安価に自作できるNSynth Superを設計した。必要な部品はアクリルシート数枚、3Dプリントで自作できる四隅のつまみ、そして「Raspberry Pi」だ。

ユーザーは自分の好きな「サウンドパック」をアップロードできる。これは、あらかじめ処理された16音源が録音されたものである。本体のタッチパッドの四隅にあるつまみには、それぞれの音源が設定され、この4つで規定される「音空間」マトリックス内を指でドラッグしながら、新しい音をつくる。

タッチパッドには、指の動きに反応して光るドットマップが表示される。音をつくりだすためのアナログ的スクリーンになるわけだ（小さなつまみによって、生成された音をアナログシンセサイザーのように変化させることもできる）。既存の音楽制作手法との調和を意識して設計されており、例えばMIDIコントローラーを使ってキーボードをつなぐこともできる。

ペダーセンによるとNSynthのアルゴリズムは、音に独特なざらつきが出る。彼らの体験によると、音楽家たちは新たな可能性だけでなく、限界に関しても楽しんでいたという。

NSynthは、例えばピアノのような古典的な音に、聴いたことのない新しいテクスチュアを加えられるようにした。将来的には中間の音をリアルタイムでつくり出せるテクノロジーを開発したいと、ウィルバートとペダーセンは語っている。実現するには、非常に高速に音を編集できるスペックが必要になる。

このプロジェクトが最終的に目ざしているのは、人間と機械を、競争ではなく協調させることだ。ウィルバートはこう語る。「音楽や音そのものを生み出す機械を開発したいわけではありません。それは本来、人間の音楽家が行うことだからです。われわれは機械に、補完的な役割を与えたかったのです」