Special
＜Billboard JAPAN×NTTデータ＞チャートデータ×脳情報から“未来のヒット予測”は可能なのか
フィジカルからデジタルへ。所有から接触へ。音楽の楽しみ方はストリーミング・サービスの台頭により、いまだかつてないほど多様化・複雑化したと言える。そんな現代において“いま本当にヒットしている音楽”を特定することは、決して容易なことではない。この難題に対してBillboard JAPANは、複数のデータからなる総合ソング・チャート“HOT 100”を立ち上げ、必要に応じて構成指標のアップデートを行いながら、音楽の“社会的浸透度”を数値化することで向き合ってきた。
一方で、脳科学の事業応用に取り組むNTTデータおよびNTTデータ経営研究所は、動画を視聴時の脳活動およびその知覚内容を推定する『NeuroAI』を開発。その基盤技術が2020年の米国人工知能学会（AAAI-20）に採択されるなど、世界に先駆けた脳情報ビジネスの推進を行っている。
そこで両者は、「チャートデータ」と「楽曲の脳情報化技術」を融合させる共同研究開発プロジェクトを2019年9月にスタート。約1年間のトライ＆エラーを経て、世界的にも類を見ない新たな「音楽ヒット分析」の手法を開発した。研究の大まかなプロセスは以下の通り。
①楽曲の脳情報化による新たな特徴の獲得
②上記の結果にチャートデータなどを加え、ヒットソングの特徴を可視化
③未来の音楽トレンドを予測
※対象楽曲：2016年12月から2020年5月までのチャートデータおよびチャートイン楽曲
新たな楽曲特徴の獲得
NeuroAIとは、映像や音声から人間の脳活動を推定する技術。その応用版となるNeuroAI-Musicは、音楽を聴いている時の脳活動をシミュレートするもので、本研究では楽曲の1秒ごとの脳活動をその音声信号から1000次元で推定し、特徴化することに成功した。これにより、ロック、ヒップホップ、ジャズなどの形式的な音楽ジャンルでもなく、「かっこいい曲」「切ない曲」「元気をもらえる曲」といったような主観的な評価でもない、脳に潜在的に表現されている楽曲特徴を定量的に抽出することが可能となった。
以下のプレイリストは、最新の音楽シーンを代表する3つのヒットソングを基準とし、脳情報から獲得した楽曲特徴の類似度が高い楽曲をリスト化したものだ。要は「聴いた時に脳が感じる刺激が似ている楽曲」を集めたプレイリストだと思ってもらえればいい。ストリーミング・サービスや動画プラットフォームの多くは、プレイリスト生成やレコメンドを「ユーザーのアクティビティ」に基づいたアルゴリズムで行っているが、上記の技術を用いることで「今まで聴いてこなかったようなタイプの音楽」からお気に入りの楽曲と出会えることが期待できる。
『NeuroAI Selected Playlist』特定の曲と類似した脳情報表現が推定された楽曲をリスト化
「夜に駆ける」編はこちら
「香水」編はこちら
「白日」編はこちら
またNeuroAIは、これまでCMの印象などを予測する広告評価サービスとして活用されてきたこともあり、音楽業界においてもタレントキャスティングやCMタイアップソングの選定をサポートする技術として、主に広告代理店を中心とした企業に提供できるサービスの実現も目指していく。
ヒットソングの特徴を可視化
では、チャートで上位にランクインする楽曲の特徴を抽出すれば、脳情報の観点から新たなヒット分析ができるようになるのではないか。今回はより精度を上げるため、脳情報に加えてチャートデータ、歌詞、コード進行を加味し、Billboard JAPANの“HOT 100”で高ポイントを獲得する楽曲の特徴を定量化し、週単位で「その週にどんな特徴を持つ楽曲が上位にランクインしたか」を示すチャート予測モデルを組み立てた。
(A)週単位のチャートイン楽曲のポイントを目的変数、「脳情報・歌詞特徴・コード進行特徴・アーティストの前週のチャートデータ（通常のチャートデータと共にzscore化したトレンド指標も利用）」を予測子として、予測・説明するモデルを構築した。週単位×指標単位で実施。(B)モデル構築に用いたLASSOアルゴリズム。機械学習の中でも今回のような多次元データを利用した予測モデルを構築する際に利用されるスパースモデリングの一種。予測に関係ない変数は切り捨てられ、重要な予測子のみが選択される。N:特定の週の特定のチャートポイントデータがある楽曲数、yi:曲 iの特定の週の特定のチャートポイント、xi:曲iの特徴データ (楽曲特徴p次元分のベクトル)、β:モデルのウェイト。楽曲特徴 p次元分の長さを持つベクトル、β0:切片、λ:正則化パラメータ。10分割交差検定で最小誤差を実現したλを採用した。
例として、そのチャート予測モデルを用い、2020年度上半期における“HOT 100”の実際のランキングと、「楽曲特徴（脳情報・歌詞特徴・コード進行特徴）のみ」で再構築したランキングを比較してみる。地上波TV番組などでの露出も多い有名アーティストの楽曲が多く並ぶ前者のランキングに対し、後者のランキングにはwacci、ヨルシカ、iri、れるりりなど、今後の飛躍に期待される新進気鋭アーティストの楽曲もエントリーしている。これらの楽曲も特徴だけで言えば、実際に上半期にヒットした楽曲と同程度のヒットのポテンシャルを備えていたと言えるだろう。
Billboard JAPAN HOT 100の2020年上半期ランキングと楽曲特徴のみからトレンドを評価したランキング
未来の音楽トレンドを予測
上記の週単位でのチャート予測モデルの時系列変化を「トレンドの変化」と捉え、過去の変化パターンから未来にトレンドとなる楽曲特徴の予測を試みた。例として、2020/3/16週までのチャート予測モデルを学習させたLSTMモデル（ニューラルネットワークの一種で、長期の時系列データを学習できる）により、未来のチャート予測モデルを予測。その結果、2週間後の2020/3/30週の予測と実際のポイントの相関係数は0.737となり、高い精度で予測できていることが分かった。このモデルを使用した場合、未学習の期間におけるチャート予測でも、4週間程度は高いレベルで相関係数を保つことが確認されている。
(A)チャートモデルによる予測（赤）とLSTMで予測されたモデルによる予測（青）の精度を、実際のチャートデータとの相関で示した。点線は学習データとテストデータの境界を示す。未学習のテストデータにおいても、4週間程度は精度が学習データと同様のレベルで維持されているが、それ以降は線形に下がっていった。(B)未学習データの2週間目時点である2020/3/30週の実際のチャートデータとLSTMで予測されたモデルによる予測のチャートのTOP20を示した。予測対象の楽曲は解析対象とした2020/5までの楽曲。(C)同じく3/30時点の実際のチャートデータとLSTMで予測されたモデルによる予測ポイントのプロット。精度は相関係数で0.737。
次に、チャートポイントを標準化することで「急に聴かれるようになった曲」を示す急上昇トレンド指標（急上昇ランキング）で同様の予測を実施。すると、今度は4か月程度先の実際と予測も高い相関係数を保った。以下は、2020/7/20週の急上昇ランキングの実際と予測で、コロナ禍におけるステイホーム期間でブレイクスルーを遂げたYOASOBIやRin音、7月末にアルバムをリリースしたヨルシカなどの急上昇も予測できていることが分かった（※対象楽曲は2020/5までにチャートインしていたもののみであることに注意。また、学習自体は2020/3/30週までだが、予測には実際のチャートデータ（7/13週）も利用している。つまり「予測式の予測」には成功したが、最終的なランキングの予測には実際のチャートデータも用いている）。
(A)実際のチャートポイントのイメージ。すでにヒット曲を持っているアーティストは絶対的なポイントが高く、新人アーティストが急激にスコアを伸ばし新たなトレンドを形成してもポイントでは敵わない。(B)アーティストの最初のデータ（2016/12/5週）から(A)で示されるそれぞれの該当週までのチャートポイントを標準得点（偏差値などに使われる平均が０、標準偏差を１にする変換）に変換したもの。これにより、「急にチャートに登場した」曲のポイントが上がる。
(A)チャートモデルによる予測（赤）とLSTMで予測されたモデルによる予測（青）の精度を、実際のチャートデータ（急上昇トレンド指標）との相関で示した。点線は学習データとテストデータの境界を示す。未学習のテストデータにおいても、4か月程度は精度が維持・向上していた。(B)未学習データである2020/7/20週の実際のチャートデータとLSTMで予測されたモデルによる予測のチャートのTOP20を示した。予測対象の楽曲は解析対象の2020/5まで、かつその週にチャートインした楽曲のみ。
今後について
これらの研究成果に基づき、Billboard JAPANとNTTデータおよびNTTデータ経営研究所は、レコード会社、音楽出版社、マネジメント会社、広告代理店、配信プラットフォーマーなど、企業に向けた新サービスのトライアル提供を開始していくとともに、引き続き研究開発を進め、さらなる精度向上を目指す。
※「NeuroAI」は株式会社ＮＴＴデータの登録商標です。その他の商品名、会社名、団体名は、各社の商標または登録商標です。
