研究展示

人間の科学

23

鳥の声で喋り、水の泡で演奏する

聴覚信号処理モデルを用いた音のテクスチャ変換

どんな研究

ブクブク泡立つ水音や森の木々のざわめきのように、自然な環境音からは、それぞれ特有の質感が感じられます。音声や音楽に、このような質感を人工的に持たせる方法を開発しました。画像の質感を操作する研究から着想を得て、その方法を音に適用できるように発展させました。

どこが凄い

音が聴こえるメカニズムを考慮した計算モデルを用いて、聴感上効果的な質感操作が実現できました。この質感操作の仕組みは、画像の質感操作と同じ枠組みで構成されています。これにより、見た物と聴いた物の質感が、脳内で類似した機構で処理される可能性が強く示されました。

めざす未来

学術的には、モデルのなかで生じている状態を、実際に人が音を聴いているときの脳活動と比較することで、音の質感知覚メカニズムの理解につながります。応用の観点からは、実際は存在しない声で喋ったり、実際には存在しない楽器で演奏したりすることができる可能性があります。

関連文献

  • [1] T. Koumura, H. Terashima, S. Furukawa, “Chimeric sounds with shuffled “texture” and “content” synthesized by a model of the auditory system,” in Proc. International Symposium on Universal Acoustical Communication, 2018.
  • [2] 上村卓也, 寺島裕貴, 古川茂人,“聴覚系モデルを用いた音のテクスチャ変換,”第31回人工知能学会全国大会, 2017.

ポスター

アイコンをクリックすると、展示ポスターのPDFが開きます。
PDFの表示にはAdobe Acrobat Reader等のPDF閲覧表示が必要です。

当日の様子

連絡先

上村 卓也(Takuya Koumura) 人間情報研究部 感覚共鳴研究グループ
Email: