| 10 |
興味のある話題に聞き耳を立てる意味で音声を分離抽出する新しい信号処理技術ConceptBeam 
|
|---|
| どんな研究 |
音や画像やテキストなどに表現され伝達される情報の「意味」を計算機上に表現し活用する技術を研究しています。本展示ではその一例として、複数の話者や話題が混在した音声信号から、音声、画像、テキストのどれかで指定した「意味」にマッチする話題の信号を取り出す技術を紹介します。 |
|---|---|
| どこが凄い |
複数話者の音声から目的の信号を取り出す方法として従来は専ら信号自体の性質(音の到来方向、信号源の独立性等）を用いる方法が研究されてきました。これに対しConceptBeamは話の内容(意味）に基づいて目的の信号を取り出せる、信号処理に意味理解を融合した世界初の技術です。 |
| めざす未来 |
情報があふれる時代、有益な情報を抽出・選択することの重要性が高まっています。伝統的な信号処理やパターン処理に新たに意味処理を導入することで、多種の情報に対して興味のある情報を高速かつ的確に特定し、取り出し、活用できる社会の実現をめざします。 |
[1] Y. Ohishi, M. Delcroix, T. Ochiai, S. Araki, D. Takeuchi, D. Niizumi, A. Kimura, N. Harada, K. Kashino, “ConceptBeam: Concept Driven Target Speech Extraction,” in Proc. ACM Multimedia, pp.4252-4260, 2022.
[2] M. Delcroix, K. Zmolikova, 木下慶介, 荒木章子, 小川厚徳, 中谷智広,“SpeakerBeam: 聞きたい人の声に耳を傾けるコンピュータ──深層学習に基づく音声の選択的聴取,” NTT技術ジャーナル, Vol. 30, No. 9, pp. 12-15, 2018.
柏野 邦夫（Kunio Kashino）
メディア情報研究部 生体情報処理研究グループ