高精彩色情報処理の研究 High fidelity color reproduction and analysis

高精彩色情報処理の研究

多原色カメラで物の色と形を正確に再現

市販されているデジタルカメラで写真を撮影した際に、モニタ上に表示される色が本物の色と異なる、といった経験はないでしょうか？これは医療分野や美術品の記録（アーカイブ）と言った分野では非常に大きな問題となります。私たちは従来の三原色（赤、緑、青）を超える、四原色以上（マルチバンド）で被写体の色を記録し、正確に色を再現・分析する技術の開発を行っています。現在、市販のデジタルカメラと特殊なカラーフィルタを組み合わせた静止画用６バンドカメラと、多眼ステレオカメラとフィルタを組み合わせたステレオ式マルチバンド動画カメラの開発を進めています。


（マルチバンド撮影とは）
従来の３バンド（RGB）カメラでは、被写体表面で反射された可視光波長域の光を赤・緑・青の３領域に分割し色信号として記録しています。この波長方向の分割数を４以上にして記録した画像をマルチバンド画像と呼びます。この方法は可視光波長領域のみではなく、紫外・赤外波長領域にも拡張可能です。赤外・紫外・可視光成分を組み合わせることで物体表面属性の分析精度の向上が期待できます。

将来どのように使われるのか

従来の３バンド撮影では、記録できる色の範囲や細かさに制限があり、鮮やかな色や微妙な色の記録精度が不十分です。また、被写体の色の見えは、撮影時の照明光の種類に大きく依存します。異なる照明条件下で撮影された被写体の、より詳細な色の分析を行う際には照明光の影響を除去する必要があります。マルチバンド画像からは各波長での反射率分布を表す分光反射率（スペクトル反射率）を画素から推定することが可能です。この分光反射率は物体表面の材質に固有で、照明光の影響を受けません。３バンドでは分光反射率の推定精度が不十分な場合が多く、撮影画像のバンド数を増やすことにより推定精度が向上します。推定された分光反射率を利用することで、様々な光源下での色を正確に再現することも可能です。

２ショット型６バンド撮影システム（静止画用システム）

従来手法であるNMFモデルでは、音響信号処理への適用にあたり、振幅スペクトルが加法的であるという近似を用いていたため、既存の信号処理との適合性に限界がありました。そこで私たちは、その原理を根本から再構築し、時間領域でパーツ獲得機能を実現した新しいスパース信号処理の枠組みである「複素NMF」と呼ぶ新手法を考案しました。

１ショット型ステレオ式マルチバンド撮影システム（動画撮影も可能）

上述の２ショット型撮影システムでは動いている被写体や動画の記録ができません。そこで、ステレオカメラの技術とマルチバンドカメラの技術を組み合わせた、１ショット型ステレオ式マルチバンド撮影システムを提案しています。１ショットで撮影できるため、動いている被写体や動画へ適用できるほか、３次元形状の推定も可能です。本システムでは色特性の異なる多視点の撮影画像から仮想的に１視点からのマルチバンド画像を生成します。現在、この多視点画像から１視点画像に高精度に変換する技術の研究と、その精度向上・高速化に関する技術開発に取り組んでいます。