Blog

2018年9月18日 Stereoscopic Neural Style Transfer(立体的なニューラルスタイル変換)

■概要
本稿では3D映画やAR/VRの新たな需要に対応する立体視でのニューラルスタイル変換を新たな試みとして紹介します。まず、画像の左右のビューに対して別々に既存の単眼式ニューラルスタイル変換を適用することを慎重に検討します。これによって元の視差が最終的な変換結果として一貫性を十分に保つことができなく、見る人が3D疲労を引き起こす原因となることが明らかにしました。我々はこの問題に対処するために、非閉塞領域における双方向視差の制約を強制することで、広く使われているスタイル損失関数に新たに視差損失を組み込みます。実用的なリアルタイムな解決法として、我々はスタイル変換のサブネットワークと視差サブネットワークを共同で学習し、それらの特徴レベル中間ドメインに統合することによって最初のフィードフォーワードネットワークを提案します。我々の視差サブネットワークは同時双方向視差およびオクルージョンマスク推定のための最初のネットワークでもあります。最後に、時間的な一貫性と視差の一貫性を考慮することによって、我々のネットワークは効果的に立体映像に拡張されます。我々の提案手法が定量的および定性的に基準としたアルゴリズムより明らかに優れていることを示します。

■論文URL
https://arxiv.org/abs/1802.10591

■著者 / 所属機関
Dongdong Chen/University of Science and Technology of China
Lu Yuan/Microsoft Research
Jing Liao/Microsoft Research
Nenghai Yu/University of Science and Technology of China
Gang Hua/Microsoft Research

■投稿日
2018/2/28

■採択された学会名
CVPR 2018

一覧に戻る