 |
ライトフィールドカメラによる屈折フリー画像生成 |
近年, 水中のロボットビジョン・スポーツ科学等の分野で水中物体の3次元復元に対する需要が高まっている.
しかし水中計測においては, 通常カメラは防水のハウジングに格納されるため, その表面で屈折が発生し, 非中心射影になる.
そのため, 中心射影を仮定する多くの3次元復元手法を適用することが困難である.
そこで, 本研究ではライトフィールドカメラを用いて撮影された水中画像から, 屈折の影響を取り除いた屈折フリー画像を生成する手法を提案する.
ライトフィールドカメラは通常のカメラと異なり, 非中心射影の光線を収集し分解することが可能であるため, 屈折によって曲げられた光路を幾何的に計算し, 投影位置を移動させることで屈折フリー画像を生成することができる.
提案手法は, その後の3次元復元アルゴリズムに関係が無いため, パッシブステレオやStructured-Lightなど様々な復元手法を適用することが可能である.
ライトフィールドカメラを用いた屈折フリー画像生成手法
ライトフィールドカメラは図のようにメインレンズ, Micro Lens Array (MLA), 画像平面によってモデル化される. ここで, メインレンズはThin-lensモデル, MLAは中心射影モデルに従うと仮定する. また, カメラの正面には水中との境界面が存在し, その位置姿勢は校正済みとする. 赤い線で示された光線が観測されているとき, これは水中のある3次元点から屈折して到達している. 赤い光線が中心射影であると仮定すると, オレンジの実線で示された光線が観測されているはずである. しかし, 実際にはオレンジの光線は屈折し, 点線で示されるように画像平面上の別の点で観測されている. そこで, この投影位置を幾何的に計算し, その位置の画素を赤い光線の投影位置に移動させることで屈折フリー画像を生成できる. 実際には, MLAの中心を通過しないオレンジの光線を分解することはできないため, 代わりにそれに最も近く, かつMLAの中心を通過する緑の光線を使用する. 近い光線を選択する際には, 光線の角度, 屈折面上の通過位置を考慮したメトリックを定義し, それを最小化するものを選んでいる. 以下に, 提案手法によって生成された屈折フリー画像の例を示す. 
水中3次元復元への応用提案手法はその後の3次元復元アルゴリズムとは無関係であるため, 様々な手法を適用可能である. ここでは, パッシブステレオとStructured-Lightを適用した例を示す.
関連コード
Publications
|
| Kawasaki Laboratory |