内視鏡を使った診察では，腫瘍などのサイズの計測が要求されている．
より正確な計測を行うために，内視鏡カメラに投光器を取り付けた能動ステレオ法による3次元内視鏡システムの開発が進められている．
従来手法の問題点として，3次元再構成の成功は内視鏡カメラによって撮影された画像からの投影パターン特徴抽出の安定性に依存することが挙げられる．
本研究では従来の画像処理ベースでの特徴抽出を全層畳み込みのFCN(U-Net)による学習ベースの手法に改訂することで，より安定的な特徴抽出を行う．
学習ベースの特徴抽出では，縦の格子線からの線抽出，および横の格子線からの交点およびコード抽出が可能となるようU-Netによる訓練を行い，
これらを腫瘍といった生体組織の安定的な3次元再構成に首尾よく適用する．
3次元内視鏡システム
3次元再構成に必要なパターン特徴
能動ステレオ法では計測対象物体に投影した格子パターンと撮影した観測画像との対応を取ることで物体の3次元位置を算出するため，
観測画像内の投影パターンの特徴抽出を安定的に行う必要がある．
本システムでは能動ステレオ法の投影パターンとして，ぼけ等にロバストな段差をつけた格子パターンを使用しており，
各交点において規則的に並んだ3種類の段差を正確に当てはめることで3次元再構成へと繋げられる．
抽出したい投影パターン特徴
学習ベースの特徴学習・抽出
FCN(Fully Convolutional Network)とは，全層が畳み込みで構成されたニューラルネットワークであり，その一種であるU-Netは主に医療画像のセグメンテーションで用いられる．
U-Netを3次元内視鏡の特徴抽出システムへ実装するにあたり，
線抽出では「線領域(右or上側)」「線領域内(左or下側)」「線領域外」を，
コード抽出では3種類の段差を，それぞれ3つのラベルに当てはめて学習を行う．
線の教師画像作成時には，線領域に幅を持たせた上で2つのラベルに分割を行う．
この処理により特徴量の変化を緩やかにさせることで学習効率を上げられ，また2つのラベルの境界を線位置とすることで，出力される線の途切れを抑えられる．
学習データの例
|
U-Netによる投影パターン特徴抽出
|
使用したU-Netのアーキテクチャ
ヒトの癌腫瘍切除切片の計測
提案手法の有効性を示すため，ヒトの癌腫瘍の切除切片にパターンを照射し内視鏡で撮影を行い，学習済みのU-Netを用いて特徴抽出を行った．
デコード・3次元再構成結果
Publications
- Ryo Furukawa, Masahito Naito, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Hiroshi Kawasaki，"HDR image synthesis technique for active stereo 3D endoscope system."，International Conference of the IEEE Engineering in Medicine and Biology Society(EMBC2017)，pp.1-4，2017
- Ryo Furukawa, Masahito Naito, Daisuke Miyazaki, Masashi Baba, Shinsaku Hiura, Yoji Sanomura, Shinji Tanaka, Hiroshi Kawasaki，"3D Endoscope System Using Asynchronously Blinking Grid Pattern Projection for HDR Image Synthesis."，Computer Assisted and Robotic Endoscopy and Clinical Image-Based Procedures(CARE2017)，pp.16-28，2017
- Ryo Furukawa, Masaki Mizomori, Shinsaku Hiura, Shiro Oka, Shinji Tanaka, Hiroshi Kawasaki，"Wide-area shape reconstruction by 3D endoscopic system based on CNN decoding, shape registration and fusion."，OR 2.0 Context-Aware Operating Theaters, Computer Assisted Robotic Endoscopy, Clinical Image-Based Procedures, and Skin Image Analysis(CARE2018)，pp.139-150，2018
|
