近年，imageing plethysmography(iPPG) とカメラを用
いた生体信号の検出が，比較的容易で柔軟な非接触計測手
法として注目されている．このような iPPG とカメラの組
み合わせは，自動運転車，新生児モニタリングや遠隔医療
等多様のアプリケーションに統合可能であり実用化が進め
られているものの，カメラや検出対象がそれぞれ自由に可
動するため，安定した計測が困難という問題がある．そこ
で２次元特徴を追跡することでこの問題を解消する研究が
行われているが，ダイナミックな動きの際に不安定となる．
本論文では，3 次元の顔形状を追跡に用いることで，動き
に頑健な手法の構築を目指す．
アルゴリズムの流れ
３次元追跡手法利用したiPPG
深度情報をから 3 次元点群情報を取得し，
より高精度な顔追跡を行うことで，動きに対する rPPG の
堅牢性を向上させる手法を提案する．
提案手法では，rPPG を RGBD 画像系列から
計算する．剛体変換パラメータは，Iterative Closest Point
(ICP) アルゴリズムを用いて推定する．全フレームで
観測できるピクセルのマスクである Visible-Mask は，全
フレームで推定された剛体変換パラメータを使用して生成
する．剛体変換パラメータを用いて変換し画像平面に投影
したパッチと Visble-Mask を利用して，輝度系列を計算す
るためのパッチマスクを作成する．画像系列内のある 1 フ
レームを参照フレームとして定義する．参照フレームの点
群データは位置合わせの際の参照点群として利用される．
参照フレームでは参照パッチマスクと参照パッチマスクの
点群データも設定されている．参照パッチの点群データを
推定された剛体変換パラメータを用いて剛体変換し，その
点群を画像平面に投影することで参照パッチマスクの追跡
を行う．
３次元点群の位置合わせ
参照フレームの点群と他のフレームの点群を位置合わせ
するために点群に ICP アルゴリズムを適用する．剛体変
換パラメータの推定には 対応点探索距離に関してマルチ
スケールな ICP アルゴリズムを用いた．マルチスケール
な ICP では，まずグローバルな範囲に関して位置合わせ
を行い，次にローカルな範囲に関して位置合わせを行う．
位置合わせの流れ
オクルージョン領域の無効化
提案手法で追跡のために利用する参照パッチは固定され
ているため，被験者の動きにより参照パッチの一部が隠れ
る場合がある．このようなオクルージョンにより，輝度系
列に含まれるノイズが大きくなり心拍推定の精度が低下
する．この問題の解決のためオクルージョン領域を削除す
る必要がある．各フレームの剛体変換パラメータを推定し
た後，推定したパラメータにより参照フレームの点群を剛
体変換する．変換された参照フレームの点群内の点がカメ
ラ位置から見て，他の点群により隠れている場合，それら
の点をオクルージョンとして削除する．
観測パッチの作成
心拍数推定に用いる輝度系列の各輝度はパッチ内の平均
輝度値を用いる．このパッチを作成するために 68 個の顔
のランドマークを利用した．輝度計算に用いる顔パッチの
位置は非常に重要であり，額と両頬は rPPG 信号を抽出す
ることに適した領域であることが知られている．実験
時の全被験者は額の領域が髪の毛で隠れていたため，この
研究では頬のパッチのみを利用した．参照フレームに対し
て顔のランドマークを利用して頬領域の Raw-Mask を作
成する．Raw-Mask と Visible-Mask の両方で観測された
ピクセルは観測パッチとして利用される．上記のようにし
て得られた観測パッチは穴が存在する場合があるため，モ
ルフォロジー変換を用いて穴埋め処理を行った．心拍推定
のための輝度系列作成には，このようにして得られた観測
パッチ内のピクセルの平均輝度値を用いる
提案手法の３次元追跡手法と従来の２次元追跡手法を比較した結果，
提案手法による追跡の有効性が示された．
提案手法(３次元追跡)と2次元追跡手法の比較.(左)静的な被験者での結果 (右）動的な被験者での結果
Publications
|
