 |
Surface Normal Estimation From Optimized and Distributed Light Sources Using DNN-Based Photometric Stereo |
高密度な法線推定手法である照度差ステレオ法では，理論的には3枚の異なる光源方向の陰影画像から法線復元が可能である．しかし，鏡面反射を含む材質や，大域光やノイズの存在する実環境ではロバストな法線復元のために多数の陰影画像が必要となるため，計測のために多数の光源を配置し，校正しなければならない．本研究では任意光源を生成可能な拡散板を利用した近接光源セットアップによる簡易な計測手法を提案する．また，深層学習により光源分布を学習し，少数の計測から効率的に法線推定する．
計測セットアップはカメラ，プロジェクタ，および，拡散板から構成される．プロジェクタによりパターンを投影された拡散板は発光し，その透過光が対象物体を照明する．拡散板を利用することで物体の近接して複数の光源を配置できる．また，投光する面積を広げることで面光源を生成し，隠れがすくない計測を実現できる． 
パターンの学習には微分可能レンダリングと畳み込みニューラルネットワークから構成されるフレームワークを用いる．前段のレンダリングモジュールでは，三次元形状を入力とし，重みで表現された光源下の陰影画像を生成する．後段の照度差ステレオネットワークでは陰影画像を入力とし，法線を出力する．学習は合成画像を用いてEnd-to-endで行われる．また，光源の配置・姿勢を入力パラメータとすることで，異なるセットアップに対して同じモデルを再学習なしで利用することが可能である． 
シミュレーション実験の結果．様々な材質に対して先行研究よりも高精度で法線推定可能なことが確認された．特に，セルフオクルージョン領域や鏡面反射が生じる領域において正しい法線が推定されており，パターン化された面光源を用いた効果が表れている． 
実環境においても定性的に十分な精度で法線可能であることが確認された．球形状における法線推定精度は先行手法よりも高いことが確認された． Publications
|
| Computer Vision and Graphics Laboratory |