[論文読み] Shape from Shading through Shape Evolution

2019-08-29
#paper #cv
  1. What it is about
  2. Why it is worthy researching
  3. Key idea
  4. How it is validated (experimental setup and results)
  5. Limitations
  6. What you thought
  7. Papers to read before and after the work

What it is about

実画像のShape-from-ShadingをDNNに学習させる際のデータとして、単純なプリミティブ (球、立方体、等)を用いて作成された3Dデータを用いる手法を提案。

Why it is worthy researching

既存手法では全て人手で作成されたデータを用いていた。

提案手法ではシンプルなプリミティブを組み合わせて複雑な形状のデータセットを適宜作成して、 DNNの学習を行うことでデータ不足を解決する。 トレーニングに外部データセットを用いることなく、実画像に対するShape-from-ShadingにおいてState-of-the-Art (SoTA) を達成。

Key idea

Shape Representation

初期形状は球、円柱、立方体、円錐の4つの形状で構成されており、それらは以下の函数で表すことができる。 Screenshot from 2019-08-30 06-38-36 Computation graphで表現すると以下のようになる。 Screenshot from 2019-08-30 00-57-03

形状変換(平行移動、回転、拡大縮小) Screenshot from 2019-08-30 00-57-16

形状結合 Screenshot from 2019-08-30 00-57-23

進化アルゴリズム

形状変換と形状結合を繰り返すことでより複雑な形状へ進化させる。 Computation graphが大きくなりすぎないように(制約がなければ平均計算コストは指数関数的に増加する)、計算回数が線形になるようにグラフの成長を制限する。また、形状結合前後で変化がほぼ無いケースを検出し排除する等、進化が遅くならないようにする。

バリデーションを実画像で行うため、実画像が持つ形状とかけ離れた形状を持つトレーニングデータは捨てられる。 Screenshot from 2019-08-30 07-30-14

shape-from-shadingネットワークは Stacked Hourglass Network を使用している。 Screenshot from 2019-08-30 07-20-29

How it is validated (experimental setup and results)

MIT-Berkeley Intrinsic Image データセットを用いて SIRFS (Shape, Illumination, and Reflectance from Shading) と比較 提案手法は形状のみを進化させテクスチャは進化させないので、テクスチャレス画像を使用したSIRFSと比較する Screenshot from 2019-08-30 00-57-52

他の手法(ランダム、 SIRFS, ShapeNet) との比較 Screenshot from 2019-08-30 07-33-59

Limitations

結局、トレーニングでも表面法線のground truthを含むデータセットは必要?

What you thought

プリミティブから3Dデータを構築するごとにDNNがfine-tuningされていくため、最適な結果を見つけるためにはいくつかの重みで検証する必要がある。

Papers to read before and after the work

Stacked Hourglass Networks for Human Pose Estimation

Realistic Adversarial Examples in 3D Meshes

MeshAdv: Adversarial Meshes for Visual Recognition

Learning to Generate 3 D Training Data through Hybrid Gradient