 |
U-netによる投影パターンの高密度化および対応付の改善によるワンショット三次元形状計測の高精度化 |
三次元形状計測は様々な分野で利用され、高精度かつ安定した形状計測が求められている。
計測手法の中に能動ステレオ法がある。能動ステレオ法はプロジェクタとカメラだけで構成され、
取得した1枚の画像から計測が行えるため、小型で高速な計測が可能である。
しかし、投影パターン内のノードと物体上の投影されたパターン内のノードとの密な対応関係を得ることは
困難である。
既存手法では三つの深層学習を利用して、高密度化を行っていた。 繰り返しのある投影パターンにおいて各ピクセルのフェーズ情報を獲得する学習手法、 投影されたパターンを撮影した画像から特徴量を得る学習手法、 そして、得られた特徴量を用いてピクセル単位で投影パターンとの対応点を推論する学習手法である。 我々はそこからさらに3つの手法を加え、高精度な形状計測を行った。 
1. コンピュータグラフィクスによる効率的な事前学習深層学習の学習データを実画像から得る場合、手間がかかる。 そこで提案手法ではCGを使って学習データを作成する。 様々な形状を想定し、様々な空間周波数を持つ波面や、特に細かい凹凸に対処できるように、高周波な階段状の物体に対してパターンを投影して学習データとする。 また、学習データには撮影環境を想定したノイズを加える。ノイズを加えた学習データを作成することで、センサに由来するノイズや，レーザープロジェクタに由来するスペックルノイズなどのノイズに対しても頑強なフェーズ推論を行う。
2. MRF最適化による対応点推定能動ステレオ法による形状計測では投影パターンと入力画像中の投影パターンとの対応付けを正確に行うことが重要である。 この問題は、マルコフ確率場(MRF)に従う最適化問題として捉えることができる。 ノード推定が正しく行われたとすると、入力画像における対象ノードと近傍ノードの接続関係は、投影パターン上のノード間の接続関係と同じである。 GCNによる推論により得られた対応ノード候補うち、この条件を最も満たすノードが、最終的に推論されたノードとする。
3. 画素単位のフェーズ補正U-Netによるフェーズ推定は、投影パターン上のドットの疎な分布基づいているため、高い空間周波数の表面に現れるフェーズを推定することは困難であり、誤差が発生しやすい。 そこで、パターン内のライン位置に基づいてフェーズを補正する手法を提案する。 理想的な位相は鋸波でノード間を0から1の値をとり、なめらかに変化する。 U-Netで推定した位相値と0.5（線上の理想的な位相値）の差を位相の補正値と見なし、この補正値に対して、ガウス分布に従うものと仮定して補正マップを作成する。
様々な形状の計測結果。 本手法により物体の細かい凹凸がはっきり高密度に計測されていることが確認できる。 
Publications
|
| Computer Vision and Graphics Laboratory |