研究紹介
研究の特徴
音声の生成と知覚を統合的に理解することを目的とし、調音運動、聴覚フィードバック、神経活動の相互作用に着目した研究を行っている。特に、音声信号処理と神経科学を横断するアプローチにより、基礎的メカニズムの解明と応用技術の創出を両立している点に特徴がある。さらに、音声の特異性を明らかにするため、他の感覚運動系との比較研究にも取り組み、ピアノやバイオリンなどの楽器演奏における聴覚フィードバックの解析を進めている。
聞くと話すの脳科学
人間の「話すこと」と「聞くこと」は、それぞれ独立した機能ではなく、密接に結びついていることが知られている。例えば、発話の際には自分の声を聴覚的にモニタし、誤りがあれば即座に修正することができる。また、外国語音声の学習においては、聞くことが発音の改善につながる転移効果も報告されている。
こうした現象の背景には、発話の獲得過程において、発話運動と、その結果として生じる音を聴覚で知覚する経験が繰り返され、その対応関係が脳内に形成されることがあると考えられる。音声を感覚運動系の一つとして捉え、その仕組みを解明することは、人間の音声情報処理メカニズムの理解にとどまらず、こうした知見に基づく音声特性の定量化や制御を通じて、音声を用いた診断、訓練、治療などの応用技術の開発にもつながると考えられる。
このため、音声から調音運動を逆推定するモデル化、外国語学習における発話リズムの役割を検証するための音声変換技術の開発、発話中の音声をリアルタイムに変換して話者にフィードバックするシステムの構築、さらに脳機能計測を組み合わせた実験など、多角的なアプローチにより研究を行っている。
発話と楽器演奏の感覚フィードバック
音声は人間のコミュニケーションを支える高度な機能であり、その意味で特別な感覚運動系であると考えられる。しかし、その特異性を明らかにするためには、音声のみを個別に調べるのではなく、他の感覚運動系との比較が重要である。
そこで、ピアノやバイオリンの演奏時にフィードバック音を変換して演奏者に返す実験を行い、発話と楽器演奏における聴覚フィードバックの共通点と相違点を検証している。発話では、口唇や舌といった調音器官を話者自身が直接視認することができないのに対し、多くの楽器演奏では楽器を操作する手の動きを視覚的に確認することができる。したがって、発話は楽器演奏と比較して、より強く聴覚フィードバックに依存している可能性があると考えられる。こうした比較を通じて、音声に特有の感覚運動制御メカニズムの理解を深めることを目指している。
関連動画
- 脳からみた聞くと話すの共通性〜音声変換技術と脳機能計測による人間の音声コミュニケーションの仕組みの解明〜（CS研オープンハウス2018 研究講演）
- それっぽくしゃべります〜日本人英語の発話リズムをネイティブっぽく変換〜（第3回 ガチ・ニコ生セミナー）