近年，水中での構造物点検・水中生物学等の分野に貢献可能な水中３次元計測が注目を集め，活発に研究及び開発が進められている．
水中における３次元計測では光の減衰・屈折現象を考慮する必要があり，それらを解決する有力な手法の一つとして，緑色十字平面レーザを用いた手法が注目されている．
この手法では，光減衰率が低い緑色の光を能動的に与えることで減衰問題が解消可能で，レーザ投影面と屈折面が並行な場合には屈折現象も無視することができる．
しかし，水中では水流の影響で校正器具と撮像系の固定はできず，空中において一般的なキャリブレーション方法を用いることはできない．
また，レーザが単色であるため輝度値によるレーザの対応付けも困難である．
本研究ではこれらの課題を解決する堅牢な自校正手法及び３次元復元を提案することを目的とする．
仮想的な平面レーザによる屈折問題の解消
通常，水中においては屈折現象が伴うため，投影式は屈折平面上の投影位置に関する4次元方程式になってしまい最適化は困難である．
しかしながら平面レーザを用いた場合，その屈折面をレーザの投影面に対して平行に設置することで，屈折後の光線に対して仮想的な平面レーザを再構成することが可能となる．
したがって，平面レーザに関しては屈折現象を無視して透視投影モデルとして表現することができる．
仮想的な平面レーザ
平面十字レーザを利用した自校正
キャリブレーションには一般的な手法であるバンドル調整を用いた．
通常，バンドル調整では複数台のカメラに対して点群を再投影してその誤差を最小化するが，提案手法では屈折を無視できないカメラには再投影せず，そのカメラ光線から計算された３次元点を屈折を無視できる平面レーザに再投影してその誤差を計算した．
これによって，前述の4次元方程式になってしまう投影式の最適化を回避することができた．
バンドル調整では，カメラで撮影した画像上の平面レーザ同士の交点に加え，レーザの端点も既知のパラメータとして利用している．
撮像系のジオメトリ（黒字：既知のパラメータ，赤字：未知のパラメータ）
レーザの検出と対応付け
３次元復元は光切断法によって行った．
光切断法を利用するにはレーザの情報を取得する必要がある．
まず，レーザの検出にはU-NetをベースとしたCNNを利用しており，撮影したRGB画像を曲線左，曲線右，背景画像の3ラベルに分類するセマンティック・セグメンテーションのタスクとして検出している．
加えてレーザの対応付けも必要である．
提案手法ではレーザの色が全て緑色であり輝度値による対応付けが困難なため，平面レーザが構成する交線と画像上のレーザ交点による拘束を利用している．
CNNによるレーザ検出
３次元直線による拘束を用いたレーザと交点の対応付け
水中での実実験
提案手法の有効性を示すため，水中でマネキンの３次元復元を行った．
VIDEO
Publications
Genki Nagamatsu, Takaki Ikeda, Takafumi Iwaguchi, Diego Thomas, Jun Takamatsu, Hiroshi Kawasaki,
Self-Calibration of Multiple-Line-Lasers Based on Coplanarity and Epipolar Constraints for Wide Area Shape Scan Using Moving Camera,
In Proceedings of the 26th International Conference on Pattern Recognition (ICPR), 7 pages, 2022.
Genki Nagamatsu, Jun Takamatsu, Takafumi Iwaguchi, Diego Thomas, Hiroshi Kawasaki
Self-calibrated dense 3D sensor using multiple cross line-lasers based on light sectioning method and visual odometry ，
IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS), 7pages, 2021
