NTTコミュニケーション科学基礎研究所 研究内容紹介 人間情報研究部02

title_research.gif

index_e.gif

title_human_icon.gif
title_human_e.gif
title_human_3.gif

「聞く」と「話す」の密接な関係

言葉を聞き取るメカニズムの解明

話し言葉は人間のコミュニケーションの基本的手段のひとつです。話し言葉の聞き取りは、習熟した言語であれば、通常たやすく行えます。しかし、その背後にある脳のメカニズムに関しては、まだまだ謎が多く残されています。私たちは、発声時の口の動きの計測、聞こえ方の分析、脳活動のイメージングなど、さまざまな手法を組み合わせて、この謎の解明を行っています。その結果、話し言葉を聞き取る際に、脳は、言葉を話すときの口の動きの情報を参照しているらしいことがわかってきました。

■将来どのように役に立つのか

今日、コンピュータによる自動音声認識技術は高い水準にありますが、それでも、さまざまな環境や話者に対する柔軟性という点では、まだまだ人間には及びません。人間がどのような原理で話し言葉を聞き取っているかを解明すれば、自動音声認識技術にも重要な示唆が得られるでしょう。また、本研究の成果は、外国語の習得、脳障害による失語症からの回復など、人間の話し言葉の聞き取り能力を高める効果的な方法の開発にも役立つと期待されます。最終的には、話し言葉の言語的内容だけではなく、声に込められた感情やニュアンスを理解するメカニズムの解明にもつなげていきたいと考えています。

human_2_1j.jpg

■錯覚を生み出す脳活動

同じ単語を繰り返し聴取すると、聞こえ方が次第に変化していくという錯覚が生じます。このような聞こえ方の変化に同期した脳活動を、機能的磁気共鳴イメージング法(fMRI)を用いて捉えました。顕著な活動が見られた部位には、大脳左半球のブローカ領域や島領域など、話し言葉の生成や口の動きの制御に関連する領域が含まれていました(右写真)。聞こえ方の変化回数が多い人ほど、ブローカ領域の活動が強いこともわかりました。言葉の聞こえ方は、言葉を話すためのメカニズムの影響を受けているのです。

human_2_2j.jpg

■口の動きと聞き分けの相関

母音を発声するときの口の動きと、発声された音響信号を同時に計測し(右写真)、両者の関係を分析しました。これにより、同じ量の口の動きに対して、音響信号が大きく変化する部分(右グラフの赤い部分)と少ししか変化しない部分(同、青い部分)を特定することができました。次に、母音のわずかな音響特性の違いを聞き分ける実験を行ったところ、口の動きの割に音響信号の変化が大きい部分では聞き分けが難しくなることがわかりました。母音の聞き分けは、口の動きの特性を反映しているのです。

human_2_3j.jpg