What it is about

実画像の Shape-from-Shading を DNN に学習させる際のデータとして,単純なプリミティブ (球,立方体,等) を用いて作成された 3D データを用いる手法を提案.

Why it is worthy researching

既存手法では全て人手で作成されたデータを用いていた.

提案手法ではシンプルなプリミティブを組み合わせて複雑な形状のデータセットを適宜作成して, DNN の学習を行うことでデータ不足を解決する. トレーニングに外部データセットを用いることなく,実画像に対する Shape-from-Shading において State-of-the-Art (SoTA) を達成.

Key idea

Shape Representation

初期形状は球,円柱,立方体,円錐の4つの形状で構成されており,それらは以下の函数で表すことができる.

Screenshot from 2019-08-30 06-38-36

Computation graph で表現すると以下のようになる.
Screenshot from 2019-08-30 00-57-03

形状変換(平行移動,回転,拡大縮小)

Screenshot from 2019-08-30 00-57-16

形状結合

Screenshot from 2019-08-30 00-57-23

進化アルゴリズム

形状変換と形状結合を繰り返すことでより複雑な形状へ進化させる.
Computation graph が大きくなりすぎないように(制約がなければ平均計算コストは指数関数的に増加する),計算回数が線形になるようにグラフの成長を制限する.また,形状結合前後で変化がほぼ無いケースを検出し排除する等,進化が遅くならないようにする.

バリデーションを実画像で行うため,実画像が持つ形状とかけ離れた形状を持つトレーニングデータは捨てられる.

Screenshot from 2019-08-30 07-30-14

shape-from-shading ネットワークは Stacked Hourglass Network を使用している.

Screenshot from 2019-08-30 07-20-29

How it is validated (experimental setup and results)

MIT-Berkeley Intrinsic Image データセットを用いて SIRFS (Shape, Illumination, and Reflectance from Shading) と比較
提案手法は形状のみを進化させテクスチャは進化させないので,テクスチャレス画像を使用した SIRFS と比較する

Screenshot from 2019-08-30 00-57-52

他の手法(ランダム, SIRFS, ShapeNet) との比較

Screenshot from 2019-08-30 07-33-59

Limitations

結局,トレーニングでも表面法線の ground truth を含むデータセットは必要?

What you thought

プリミティブから 3D データを構築するごとに DNN が fine-tuning されていくため,最適な結果を見つけるためにはいくつかの重みで検証する必要がある.

Papers to read before and after the work

Stacked Hourglass Networks for Human Pose Estimation

Realistic Adversarial Examples in 3D Meshes
MeshAdv: Adversarial Meshes for Visual Recognition
Learning to Generate 3 D Training Data through Hybrid Gradient