最近は何でもかんでもAIという風潮ですが、音楽もご多分に漏れません。
iZotopeのNeutron＆Ozoneは人工知能を使ったミックス＆マスタリングを可能にし、しかもそれがかなりの高評価を得ています。
また、YoutubeやSpotifyのサジェスト機能など、AIは製作だけでなく音楽の聞き方自体にも影響を与えはじめています。
（Brian Enoがニューアルバムを音楽自動生成アプリとしてリリースしたのも衝撃的でしたね）。
AIといえば、碁で名人を下したGoogleが強いというイメージですが、実際に彼らは音楽・音声分野にも手を出しています。
Magentaというのがそれで、その技術を使ったデモアプリが公式サイトで多数公開されています。
ブラウザ上で試せるものについては全て触ってみたので、その中から私が面白いと思ったプロジェクトについて紹介します。
Piano Scribe
このWebアプリはオーディオファイルを解析してMIDIデータに変換してくれるというものです。
この機能、最近はDAWにも標準で搭載されていることが多いですが、私の使っているAbletonはそんなに精度が高くないんですよね・・・。
AIを活用したPiano Scribeがどの程度の精度でオーディオからMIDIデータを拾ってくれるのか実際にやってみました。
オーディオは複音を含むギターのソロです。
元ファイル：
Ableton LiveのAudio to Midi:
Piano Scribe:
Abletonは残念な感じですね。
とにかく鳴っている音をすべて拾って特定のノートに当てはめようとしている様子です。
ギターはピアノと比べて、楽音＋大量のノイズ（左手のスクラッチや右手のブラッシング音）が入っているので、単純な処理では難しいんだと思います。
対して、Piano Scribeは結構がんばっているんじゃないでしょうか？
メロディーラインはそれなりに拾えていますよね。
時々かなり高い音が入っていますが、ノイズ成分を認識して楽音とはっきり分けているように見えます。
Abletonよりも、音声を人間のように「音を聞き分け」ている感じですね。
Piano Genie
Have some fun pretending you’re a piano virtuoso using machine learning!
とあるように、このアプリはPCキーボードの８つのキーを適当に押すだけでそれっぽい演奏にしてくれるというものです。
鍵盤は８つしかないんですが、どういうタイミングで弾くかによって出る音高は変わります。
わかりやすいのは、一番右端のキーは連打するとどんどん高くなることが多いです。
機械学習で「それっぽい」演奏をサポートしてくれているわけですね。
逆にリズムやタイミングの補正なんかは一切ありません。
上のYoutubeは、鍵盤経験なしの私が適当に弾いた演奏です。
それっぽいかというと・・・微妙？
メロディはともかくとして、あんまりコード進行をサポートしてくれている感じはしませんね。
「それっぽさ」ってコード進行が命の気がするので、そこをサジェストしてくれる機能があると便利でしょうか。
Robot Neil’s Bubble Bath
音楽をほぼ自動生成してくれるアプリです。
動画を見てもらえばわかりますが、画面上をクリックしていくと「Bubble」が現れて、それに応じて音楽が自動で展開されていきます。
クリックする場所によって出る音は変わります。
ただ、おそらく下の方ほど低くて上の方ほど高いという単純な選択しかできません。
なので誰が演奏（？）しても大して変わらない結果になると思います。
出る音は結構いいですね。
アンビエント系のふわっとしたピアノサウンドです。
コード進行がどうのというジャンルじゃないので、機械生成にはハマるんでしょう。
ビジュアルも美しいのでしばらくは眺められそうですね。
Performance RNN
こちらも自動演奏アプリです。
ただ、より人間っぽい演奏に特化していて、スケールなども細かく設定できます。
演奏はかなりリアルです。
使っているピアノ音源が優秀なのもあると思いますが、「人間っぽい」演奏がちゃんとできています。
「Gain」スライダーを使えば、演奏の「激しさ」を簡単にコントロールできますし、演奏中にスケールを変更すれば展開も作れます。
もちろん「人間に不可能」な演奏もできます。
動画では、演奏が速すぎて低音が地獄のようになっています。
でもあんまり違和感ありませんね。
Magentaのデモの中ではこのアプリに一番驚かされました。
「１つの到達点」みたいなのにたどり着いているのはこれだけだと思いました。
可能性を感じるものは他にもあるんですが、まだ発展途上という感じのものが多いです。
（すごさが分かりにくい・私がわかってないだけかもしれませんが）
まとめ
実際に色々使ってみたりYoutubeでデモを見たりしましたが、やっぱりAIには「まだ」できないことが多いですね。
個人的には、MIT（マサチューセッツ工科大）では機械と人間のセッションの実験なんかもやっているみたいなので、いい感じにできるようになってほしいです。
（友達がいないので）