 |
High-frequency shape recovery from shading by CNN and domain adaptation |
構造化光を用いた3次元復元手法はシステムが簡単で、動いている物体を撮影できることから、その重要性が高まっている。しかし、この手法では、空間情報を符号化するために投影パターンの一定範囲が必要となるため、高周波数の形状を捉えることができず、まばらな形状しか捉えることができない。補間により高密度化すると、物体表面の小さな凹凸や高周波形状は失われ、滑らかな形状が復元されてしまうという問題があった。本論文では、構造化光を用いた3次元復元手法で計測された形状を、深層学習を用いて画像から高周波形状を復元する手法を提案する。
RGB画像には物体表面の陰影情報が含まれているため、陰影から表面形状を推定することができる。Shape from Shading手法では、照明位置の異なる複数の画像が必要であるが、本研究では、1枚の画像から形状を復元する学習ベースのアプローチを提案する。陰影から形状を推定するには、大域情報と局所情報が必要であり、さらに、高解像度な出力が必要であるため、スキップコネクションを持つオートエンコーダーをディープネットワークの構造として採用した。また、公開されている3次元形状データセットでは、高周波形状のデータの割合が小さいため、そのような形状の学習には非効率である。そのため、正弦波を重ね合わせて様々な高周波形状を作成するモデルを構築し、目的の形状の学習に適した合成データセットを作成した。十分な量の合成データとドメイン適応を用いた高周波形状のための新しい学習法を提案する。定量的な実験結果を示し、提案手法の有効性を確認した。 
靴底の実験結果。緑色で示すGround Truthのように表面に高周波な形状があるが、水色で示すLow-resのように従来手法の復元結果では高周波形状が復元できておらず滑らかな形状になっている。それに対して、黄色で示す我々の結果では、高周波形状が復元されているのが確認できる。 
Resources
Data: DropBox(High-frequency shape dataset and pre-trained model) Publications
|
| Computer Vision and Graphics Laboratory |