HOME / 研究展示 / 写真の奥行を推定し、ボケ度合を自在に変えられます
研究展示
メディアの科学
15

写真の奥行を推定し、ボケ度合を自在に変えられます

写真群のみから未知の奥行とボケ効果を学習する深層生成モデル

写真の奥行を推定し、ボケ度合を自在に変えられます
どんな研究

ヒトは写真を見れば経験や知識から奥行や写真のどこがボケているかを推定することができますが、コンピュータにはそうした経験や知識がないため容易ではありません。これに対して、本研究では、カメラの絞りにおける光学的制約を組み込んだ深層生成モデルを新たに構築することで写真の奥行を推定しボケ効果を制御することを可能にしました。

どこが凄い

一般に三次元推定器を学習するためには、特殊な機器で三次元情報を収集する必要がありました。一方、本技術で学習に必要なデータはWeb上で見かけるような一般的な写真だけであり、奥行やボケ効果の情報は必要ありません。本技術は世界で初めて写真のみから未知の奥行とボケ効果の学習を可能にしました。

めざす未来

私たちは三次元世界で生活をしており、ヒトと親和性の高いコンピュータを実現するためには三次元世界を理解可能なコンピュータの実現が不可欠です。本技術は学習に必要なデータの収集コストを削減し、三次元情報を活用した様々な応用上の障壁を低減できるものであり、コンピュータによる三次元世界の理解において新たな可能性を切り拓く技術であると期待しています。

写真の奥行を推定し、ボケ度合を自在に変えられます
関連文献

[1] T. Kaneko, “Unsupervised learning of depth and depth-of-field effect from natural images with aperture rendering generative adversarial networks,” in Proc. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR2021), pp. 15679?15688, 2021.

[2] T. Kaneko, “AR-NeRF: Unsupervised learning of depth and defocus effects from natural images with aperture rendering neural radiance fields,” in Proc. 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR2022), 2022 (to appear).

展示説明ムービー
動画の公開は終了いたしました。ご了承くださいますようお願いいたします。
Q&A
Q&Aの公開は終了いたしました。ご了承くださいますようお願いいたします。
ポスター
連絡先

金子 卓弘(Takuhiro Kaneko) メディア情報研究部 メディア認識研究グループ

Email: cs-openhouse-ml@hco.ntt.co.jp

他の研究展示はこちら