CVRNNを用いた演奏スタイルを制御可能な演奏表情付け

近年, 深層学習を用いたピアノ演奏生成の研究が進展し, 楽譜情報に基づいて人間らしい演奏表情を付与する試みが多数報告されている. 一方で, 多くの既存研究は, 生成結果をユーザの意図に沿って再現性高く調整することには依然として課題が残る.そこで本研究では, 条件付き変分リカレントニューラルネットワーク(ConditionalVariational Recurrent Neural Network; CVRNN)を基盤とし, 演奏表情の制御性と潜在表現の解釈可能性を高めるための二つの拡張手法を提案する.第一に, 演奏全体の大域的な統計量(平均テンポ, 平均ベロシティ)を低次元のスタイルベクトルとして条件入力に追加し, 推論時にこのベクトルを操作することで, 演奏の速度感や強弱感を明示的に調整可能な生成モデルを構築する.第二に, 学習済みCVRNN の潜在変数に対して, 目的とする演奏属性(テンポ, ベロシティ)と相関する方向ベクトルを線形回帰により推定し, さらに直交化を用いて属性間の干渉を低減する事後的制御手法を提案する. これにより, 再学習を伴わずに「テンポを保ったまま強弱のみを変える」といった操作可能性を検証する.評価として, ピアソン相関係数を用いて定量化する客観評価と, 聴取実験による主観評価実験1、実験2を行った.客観評価では, テスト曲から抽出した各サンプルについて, 先頭20 ノートをプライミング区間として正解の演奏特徴量を入力し, 続く40 ノートをモデルに生成させた. 生成区間に対して, 正解系列と生成系列のピアソン相関係数を特徴量ごとに算出し, Zero 条件(z = 0)とPrior 条件(z ∼ p(z))を比較した. その結果, Duration の相関が最も高く(0.54–0.56), Velocity がそれに続いた(0.43 前後)一方, Timing とTempo は0.30 前後に留まった.主観評価(実験1)では, 同一楽曲について「楽譜通り(score)」「人間演奏(Human)」「生成演奏(Proposed)」を提示し, 7 段階で人間らしさや表現の豊かさなどを評価した.人間らしさはProposed が4.12 でscore1.92 を大きく上回り, 表現の豊かさもProposedが4.46 とHuman4.78 に近い値を示した. したがって, 提案モデルは機械的な演奏から改善しつつ, 一定の自然さ・表現力を持つ演奏を生成できることが示唆された.主観評価(実験2)では, スタイルベクトルを4 象限に対応させて生成した「激しく」「軽快に」「穏やかに」「重く」の演奏をランダムに提示し, 被験者に最も適切な印象語を4 択で選択させた. 意図した印象が選ばれた割合は「軽快に」83.8%, 「穏やかに」77.5%,「激しく」62.5%, 「重く」55.0% であった. この結果から, 平均テンポ・平均ベロシティの2 次元スタイル条件により, 速度感と強弱感をある程度制御できることが確認された. 一方で, 「重く」と「穏やかに」の混同(重く→穏やかに25.0%)なども見られ, 平均統計量だけでは印象の分離が不十分な場合があることも示唆された.