今後　生体データを使った表現はすごく増えてくるでしょうね

−−今回、Dentsu Lab Tokyoの皆さんには、ライブ体験の拡張をテーマにした【Live Music Hackasong】で、生体データを提供していただきました。そもそも生体データとは何ですか？

木田東吾（クリエーティブ・テクノロジスト）：脳波のデータや、筋肉を動かした時の体内の電気の変化、脈拍など、体内で起こっている様々なできごと全てです。

−−なぜライブをテーマにしたハッカソンで、生体データを使おうと思われたのでしょうか。

木田：元々、このようなデータは医療従事者の人達が使うものでしたので、病院でfMRIなどを使って測定しないといけないなど、簡単に見られるようなデータではありませんでした。ところが、今　生体データを取得するための機器が非常に安価になり、医療に携わる人以外もデータを取れるようになってきました。例えば、コンピューターも昔はそうでしたよね。

−−と、いうと？

木田：1960年代、コンピューターというのは大学の研究室でしか扱うことができないものでしたが、アップル社がマッキントッシュを発売したことをきっかけに、どんどん個人でも使えるようになり、パーソナルコンピューターとして浸透していきました。それと同じことが、今　生体データにも起こっているんです。そしてこれは、生体データに限ったことではありませんが、今までアクセスできなかったものを扱えるようになる時というのは、様々なチャンスや面白いことができうる可能性が潜んでいます。そんなチャンスの中に、生体データというのも1つのトピックスとして、あり得るのではと思い、今回　生体データを提供することにしました。

菅野了也（クリエーティブ・テクノロジスト）：医療以外に活用されている事例として、身近なものはライフログです。今まで運動量を測るのは万歩計でしたが、距離や消費カロリーを測れるようになり、今は脈拍や睡眠状態など健康状態も測れるようになってきましたよね。自分の身体の中が、どのようになっているのかを追えることで、進歩が身近になってきているなと感じています。

−−エンタテインメントと生体データを結びつけている事例は、ありますか？

菅野：例えば、心臓の鼓動を特定の物体に同期させて、自分の鼓動を手の中で感じたり、他の人に触らせる作品など、面白い取り組みがたくさんあります。

木田：なので、今　世界中の人がこの切り口を表現に使えるんじゃないかということを考えていると思います。例えば、最近DNAも簡単に調べることができるようになってきて、自分が将来かかるかもしれない疾病を予測できる等の研究開発が進んでいます。そして、DNAのデータをアートに転用しようとしている人もたくさんいて、バイオアートという分野が生まれてきています。

−−DNAとアートですか？

木田：日本人にも福原志保さんという有名なバイオアーティストがいらっしゃるんですが、その人の代表作が、亡くなった人のDNAを樹木に入れ込んだ“生きた墓標”です。DNAを入れたとしても、見た目は普通の木と同じです。ただ遺伝情報を調べると、たしかに亡くなった人のDNA情報が含まれていて、その木は亡くなった人のDNAを保持したまま成長していくんです。その結果、無機質なお墓ではない、新たな墓標ができあがるというものです。なので、今後　生体データを使った表現はすごく増えてくるでしょうね。

−−今回、ハッカソンで提供される生体データは、具体的にどのようなものですか。

木田：ハッカソンに向けて事前に行った実験では、脳波と演奏時の筋電データを取りました。筋電データは、フットペダルを踏んだ際の筋肉の動きや、腹筋や、発生時の口の周りや頬の動きなど、複数の種類を取得しました。

菅野：筋電データは、同じ動きでも筋肉の場所によって意味が全然違ってきます。なので様々な表現が考えられるかなと思いました。

−−取得自体には、どれくらいの時間がかかるものなのでしょうか？

木田：取得自体は、そんなに難しくありません。筋電センサーを体に貼ったり、脳波を取得できるヘルメットをかぶったりしてもらえば、あとはレコードボタンを押すだけです。ハッカソンでは、どんな風にこのデータを使うのか、僕たちも当日にならないと分かりませんが、ライブ体験がテーマになっているので、リアルタイムに見せることもできるような仕様にしています。ちなみに、これが脳波を事前に取得した実験の時の映像です。

菅野：赤が脳の興奮している部分で、青が脳のリラックスしている部分を示しています。

−−1曲を演奏している間に、こんなにもめまぐるしく脳は動いているんですね。

木田：ライブに行くと、アーティストの歌声や楽器の音色だけでなく、演奏している時の表情や体の動きなど、色んな視点でアーティストの表現を感じることができますよね。でも、アーティストの頭の中で、何が起こっているかということは誰も知りようがありません。ある種のフロンティアのようなものでした。脳波を可視化させることで、もちろんアーティストの心理が明らかになるとまでは言えませんが、少しでも感じることができて面白いなと思いましたね。

テクノロジーが進化しても受け取るのは人間であるということから離れてはいけない

−−SETAさんのデータを見た時は、いかがでしたか？　心理状態を想像できた瞬間は、あったのでしょうか。

木田：無心で演奏をしてくださいとSETAさんにお願いをした時、青色の落ち着いた脳波が観測できていたのですが、彼女のピアノの音が一瞬ズレたんです。その直後に、脳波が全部赤色(活発)になりました。演奏が終わったあと「1回間違えてから、鍵盤に注意が行っていたのではないですか？」って聞いたら、その通りでした。

SETA：ピアノを演奏することは、とても脳に刺激があって老後の趣味にも良いと言われています。自分の脳波を見るのは今回が初めてでしたが、脳波が何も動かないことはないだろうと思っていました。でも、間違えた瞬間の心理状態を当てられた時は、フルヌードにされたような気持ちになって、とても恥ずかしかったです。

木田：とはいえ、この脳波を見てもSETAさんが具体的に何を考えているかは分かりませんし、見ている僕たちの解釈に委ねられています。でも、そんな解釈の余地があるからこそ面白いですよね。今回、たまたま当たりましたが、逆に活発な脳波を見た時、SETAさんは本当はピアノを間違えないよう集中しているのに、僕は「ものすごく音楽の世界に没頭しているんだな」と、読み取るかもしれません。そもそも音楽や絵画など、表現は全てそうですよね。表現されたものがあって、見る人それぞれの解釈がある。そこに微妙なズレがあるからこそ、面白さがありますから。

SETA：そう考えると、ロマンチックですね。

菅野：他には、キーボードなしで歌った時とキーボードを弾き語りした時の比較や、人前で歌った時と、お風呂場など1人でリラックスしている時に歌った状態の脳波などを比較してみると、また違うことが分かるかもしれませんね。あとは作曲中の脳波も、見てみたいですね。フレーズが思い浮かんだ瞬間の脳波の反応とか。

−−今回はSETAさん1人のデータですが、バンド全員の脳波を測定しても面白そうですね。

菅野：全員興奮しているのに、1人だけ冷めていたり。

木田：逆にすごく激しい演奏をしているのに、頭の中は極めて冷静な人もいるでしょうし。そうやって、思考の癖を垣間見ることができると面白いですね。脳神経科学の研究というのは、こういうことの繰り返しだと思います。ある限定された状況で、ウサギの絵を見せた時と犬の絵を見せた時の反応の違いを論文にまとめたり。でも楽器を弾いている時、アカペラの時、作曲している時の脳波を比較してみるという発想にはなかなかならないのでは、ないでしょうか。なので、このように脳波を表現手段に使った結果、逆にサイエンス側にも新たな知見が生まれるのではないかなと思いますし、そこにもすごく可能性を感じています。それに今回実験したのは脳波と筋電データの2種類だけですが、生体データはもっと膨大にあります。なので、今回の実検を通じて人間の身体はデータの宝庫だなと思いました。

−−今回のハッカソンのテーマは「ライブ体験の拡張」です。約10チームが最終審査で発表をしますが、発表予定のアイディアを見てみると、「アーティストの演奏を補完する技術」と、「観客の体験とライブを融合する技術」の2つの切り口がありました。皆さんは、今後　どちらの技術に未来を感じますか？

木田：ライブの歴史を振り返ってみても、常に両方のアプローチが存在していましたし、どちらにも道は広がっていると思います。例えば、地声では声が届かないから「アーティストの演奏を補完する技術」としてマイクは生まれました。そしてコール＆レスポンスという体験を拡張するものとして、ペンライトが使われるようになりました。そして最近ではARやVRを使って、その場にいない観客の体験を拡張したり、AIと人間が一緒にDJをするという新たな体験も生まれてきています。なので、どちらかに限定されるのではなく、多種多様に広がっていくと考えています。

−−生体データも、どちらのアプローチにも使えそうですもんね。

SETA：お客さんの生体データを使うっていうのは、どうですか？　体調が悪くて80点の演奏しかできない日も、お客さんの盛り上がりによって、80点のライブが100点や120点になるかもしれない。

木田：カンヌ国際広告祭には、新しい色んな映像ディレクターの最新作を一気に紹介する名物セミナーがあるんですが、4年前に参加した時に、入り口でリストバンドを渡されたんです。なんだろうと思ったら、脈拍を測って、そのデータをWi-fiで飛ばすIOTでした。毎回、セミナーが終わった後に観客の脈拍を分析していたらしくて。

−−ある種、ものすごく正確なアンケートですね。

木田：そうですね。脈拍データを見て、どの映像が一番反応したか測定していたそうです。なので、今　SETAさんがおっしゃったようなことも世界では実現し始めていて、身近になるのも意外とそう遠くないかもしれない。あとは　どう発展させていくことなのかなと思います。

−−今後、取り組んでいきたいことは何ですか？

木田：音楽ではないですが、大きな空間にどう人を惹きこむかということに取り組んでいます。実際に触ったり、VRゴーグルをつけたりするのではなく、30メートル×30メートルくらいの大きな空間に入った時に、すごいと思わせるにはどうしたら良いかというプロジェクトです。

−−面白そうですね

木田：いずれにせよ、テクノロジーが進化しても受け取るのは人間であるということから離れてはいけないなと思っています。「十分に発達した科学技術は、魔法と見分けがつかない。」というSF作家アーサー・C・クラークの言葉がありますが、「魔法と見分けがつかない」ということがテクノロジーの行き着く先だと思います。人の心をきちんと掴んで、表現として完成しているということですから。なので、素晴らしいテクノロジーを搭載していたとしても、受け手が面白いと感じるかどうかを追及することを忘れてはいけません。なので、VRやARといったテクノロジーも、今まで様々な偉人たちが作り上げてきたものと何ら変わらないと思います。

菅野：僕は、今コンテンツが画面の中に集中してきて過多になってきているように感じるので、IOTなども使いながら実際に体を動かすような、現実空間と連動したものを作っていきたいと思っています。でも木田さんが言うように、僕たちの目的は新しいということだけではなく、“心を動かす”ことです。なので、“新しくて心が動くものを作る”ということを追求し続けていきたいなと思っています。

左から　菅野了也・SETA・木田東吾