「聞こえた音、思い出した音」を脳波から音で再現する技術を開発 脳内の音声処理機構の理解に向けて

要点

• 脳波信号から音声を直接再構築する手法を開発
• 音を聞いている時、思い出した時に活動する脳領域の違いを示唆
• 脳内聴覚や音声、および言語処理の客観的評価に脳波を利用できる可能性

概要

東京工業大学 科学技術創成研究院の吉村奈津江准教授（科学技術振興機構さきがけ研究員兼務）、明石航大学院生（研究当時）、神原裕行助教、緒方洋輔特任助教（研究当時）、小池康晴教授、ルドビコ・ミナチ特定准教授は、頭皮で記録された脳波信号（EEG）^[用語1]から音声を直接再構築するために有望な手法を開発した。

参加者が2つの母音「ア」と「イ」を視聴後に思い出したときに記録されたEEGを用いて、聞かせた音源のパラメータを畳み込みニューラルネットワーク（CNN）^[用語2]によって推定した。推定されたパラメータを用いて復元した母音の音声は非常に明瞭で、実際に視聴した者とは別の参加者が音声の弁別を行ったところ、85%を超える認識率を示す音声だった。さらに、音源パラメータの推定のためにCNNが抽出した脳波の特徴は、何の音かを特定するために使われる脳内の聴覚経路（Whatストリーム^[用語3]）に含まれる領域であり、この手法の脳科学的妥当性も示された。

この抽出された特徴を調べることで、音声を聞いている時とそれを想起している時の脳活動領域の違いがさらに示唆された。この手法はその人がどのように聞こえているか、聞こえていないのか、を客観的に把握し、さらに脳のどこを使っているのかを調べられる可能性があるため、EEGを利用した脳内の聴覚・音声・言語処理の評価が可能になる効果が期待される。

本研究は、ドイツ科学技術誌「Advanced Intelligent Systems（アドバンスド・インテリジェント・システムズ）」に1月7日（現地、ドイツ時間）に掲載された。

研究成果

32ヵ所の脳波信号（EEG）電極から、母音の「ア」、「イ」、および白色雑音を聞いているときと、その後、聞いた音声を想起しているときのEEGを記録し、聞かせた音源のパラメータ信号をEEGから畳み込みニューラルネットワーク（CNN）を用いて推定して音源を復元した。復元された音声が耳で聞き分けられるかどうか聞き取り判別試験を行ったところ、全ての参加者の脳波データにおいておおよそ8割程度の判別が可能だった。

このような高い精度でCNNが音声情報を抽出できたということは、CNNが音源推定に利用した脳の領域と信号の時間的なタイミングは、脳内の音声処理過程を間接的に反映していると考えられる。その領域を調べた結果、脳内の聴覚処理において、何の音かを検知するための信号が処理される「Whatストリーム」と呼ばれる脳領域群が主に使われていることがわかった。

これはコンピュータが抽出した脳内の特徴が脳科学的にも妥当であったことを示唆している。さらに興味深いことに、音を聞いている時と音を思い出した時でCNNが抽出した脳領域に違いがあり、個人ごとの脳領域の違いもみられた。2種類の母音の違いだけを調べた研究だが、この技術をさらに進歩させることで、個人の脳内の聴覚・音声・言語処理のさらなる理解に貢献できるものと期待される。

背景

コンピュータ処理技術の飛躍的な革新に伴い、脳活動信号から脳内の情報を読み出すブレイン・コンピュータ・インタフェース^[用語4]に関する研究が近年、盛んに進められている。この技術を用いて、脳内の情報処理過程を知るために研究者が何十年にもわたって注目してきた課題が次第に明らかになってきた。

音声情報の読み出しに関しては、電極を頭蓋骨下の脳皮質表面に埋め込む手術を伴う皮質脳波信号（ECoG）^[用語5]を使用して聴覚処理に関連する脳領域から直接信号を取得し、それによって音声合成が試みられている。しかし深層学習^[用語6]など、機械学習の最近の進歩にもかかわらず、ECoGを使用しても、聞き取りやすい音声の合成は依然として困難な状況である。

経緯

吉村准教授らの研究では、EEGから脳内の神経活動を機械学習により推定し、筋活動、指の動きなど、これまでEEGからでは困難だと考えられてきた情報を抽出することに成功してきた。今回の研究では、音声認識や音声合成に用いられているメルケプストラム^[用語7]という音声情報を表現しているパラメータをCNNモデルで推定し、物理的に提示または想起された母音をEEGから合成することができた。

今後の展開

耳で聞き分けられる聴取性能の高い音声をEEGから再構成できたため、本人がどのように聞こえているかを第三者に伝えることができる可能性があり、聴覚検査の客観的な手法として使える可能性がある。また、脳のどの領域が聴覚・音声・言語処理に関係しているのかについての理解を深め、ブレイン・コンピュータ・インターフェイスなどのさまざまな将来のアプリケーションへの道を開く可能性がある。

論文情報

掲載誌 :	Advanced Intelligent Systems
論文タイトル :	Vowel Sound Synthesis from Electroencephalography during Listening and Recalling
著者 :	Wataru Akashi, Hiroyuki Kambara, Yousuke Ogata, Yasuharu Koike, Ludovico Minati, Natsue Yoshimura*
DOI :	10.1002/aisy.202000164

• プレスリリース 「聞こえた音、思い出した音」を脳波から音で再現する技術を開発 —脳内の音声処理機構の理解に向けて—
• 脳波のような複雑な信号を読み解く新手法｜東工大ニュース
• 100ミリ秒以内に脳波から運動意図を高精度に推定する方法を考案｜東工大ニュース
• アリのような動きをする六脚ロボットを制御｜東工大ニュース
• 小池・吉村研究室
• 研究者詳細情報（STAR Search） - 吉村奈津江 Natsue Yoshimura
• 研究者詳細情報（STAR Search） - 神原裕行 Hiroyuki Kanbara
• 研究者詳細情報（STAR Search） - 小池康晴 Yasuharu Koike
• 研究者詳細情報（STAR Search） - Ludovico Minati
• 東京工業大学 科学技術創成研究院 （IIR）
• 工学院 情報通信系
• 科学技術振興機構（JST）戦略的創造研究推進事業さきがけ
• 研究成果一覧