ピアノ演奏の音楽表現を人工知能で認識―演奏の類似性を数値化して比較：筑波大学
(2019年4月10日発表)
筑波大学と大阪大学の研究グループは4月10日、人の感じる音楽の感性を数値化し、演奏の類似性を数値で比較できる人工知能技術を開発したと発表した。自分の演奏は誰の演奏に似ているか、目標とするピアニストの演奏との類似性はどうか、といったことを定量的に比較できる。ピアノコンクールの人工知能による採点や音楽表現の練習サービスへの展開などが期待されるとしている。
研究グループは今回、ピアノの演奏を対象に、ピアノ演奏の音楽表現を人工知能で認識させる研究に取り組んだ。
演奏をデジタル化する技術としては、MIDIと呼ばれる標準規格が国際的に使われている。これによってデジタル化された演奏データには、打鍵タイミング、打鍵の強さ、音の長さといった情報が時間軸で記録されており、これに音色が加わると様々な楽器の音になる。
研究グループはこのMIDIデータに含まれる打鍵タイミングに着目し、楽譜通りに作った「基準演奏MIDIデータ」と、実際に演奏者が弾いた「ユーザー演奏MIDIデータ」を用意して比較検討した。
その結果、基準演奏の打鍵タイミングと、「ユーザー演奏MIDIデータ」に含まれる打鍵タイミングとの時間差を使うと、音楽性の類似の程度を表すことができることを見出した。さらに、「ユーザー演奏MIDIデータ」に含まれる打鍵の強さ、音の長さの要素を加えると、人の感じる演奏表現の違いを定量化できることが分かった。
演奏から得られるこの時系列のデータセットに、機械学習アルゴリズムを適用し、音楽性の類似性を数値化することに成功した。
音楽表現の数値化を可能にする今回の研究成果は、文字と映像によるこれまでのコミュニケーションを超越した新しいコミュニケーション手段の構築につながるとしている。
今回の研究成果はローランド（株）が提供するアプリ「Piano Every Day」に搭載され、4月10日のアップデートから利用できるという。