[In progress] Hierarchical Human Parsing with Typed Part-Relation Reasoning

[Yagami360]

0. 論文情報・リンク

• 論文リンク：https://arxiv.org/abs/2003.04845v2
• 公開日時：2020/03/10
• 組織 :
• 被引用数（記事作成時点）：3 件
• 実装コード：https://github.com/hlzhu09/Hierarchical-Human-Parsing
  • 公式実装が公開されているが、学習済みチェックポイントが公開されていないので、推論コードが動かない
• Publication :

1. どんなもの？

• decomposition（全身→上半身＋下半身への分割などの上位から下位への分割操作）, composition（上半身＋下半身→全身への統合などの下位から上位への統合操作）, dependency（頭、上半身などの互いに接続関係にある部位間での操作）の３つの関係性をグラフ構造に織り込むことで、人物パース画像の品質を向上されたグラフ畳み込みベースの人物パースモデル
  

2. 先行研究と比べてどこがすごいの？

• 従来のグラフ構造を利用した人物パースモデル（Graphonomyなど）では、単一の関係性（例：頭と上半身などの互いに連結関係にあるノード）のみでグラフ構造を構築していた。
  しかしながら、この方法では、単一の関係性（例：頭と上半身などの互いに連結関係にあるノード）のみでグラフ構造が構築されるために、学習時のグラフ構造と推論時のグラフ構造にギャップがある場合に、人物パース画像の品質が劣化する（＝汎化性能が低い）という問題などが存在する。
  本手法では、decomposition（全身→上半身＋下半身への分割などの上位から下位への分割操作）, composition（上半身＋下半身→全身への統合などの下位から上位への統合操作）, dependency（頭、上半身などの互いに接続関係にある部位間での操作）の３つの関係性をグラフ構造に織り込み、更に反復アルゴリズムでグラフ構造の構築を行うことで、これらの問題を解決し、人物パース画像の品質を向上させている。

3. 技術や手法の"キモ"はどこにある？

• アーキテクチャの全体像
  
  上図は、本手法でのアーキテクチャの全体像を示した図である。
  このアーキテクチャは、以下の主要なコンポーネントから構成されている。

  1. 入力画像の埋め込み / (c) Image-node feature projection
     入力画像を埋め込み空間へ埋め込む

  2. 人物画像のグラフ構造の構築 / (d) None embedding initialization, (e)
     decomposition, composition, dependency の３つの関係性をグラフ構造に織り込む

  3. Iterative inference over human hierarchy / (e) Relation-typed massage aggregation
     反復アルゴリズムでグラフ畳み込みを行うことで、グラフ構造の近似精度を高める？

  4. xxx

• 入力画像の埋め込み
  まず、入力画像を DeepLab V3 などの backbone network で埋め込み空間へ埋め込む。
  このことを定式化すると、以下の式のようになる
  

• 人物画像のグラフ構造の構築（Typed human part relation modeling）
  一般的な人物パース画像のグラフ構造の構築では、以下の式に従って、グラフ構築の構築が行われる。
  
  しかしながら、この方法では、単一の関係性（例：頭と上半身などの互いに連結関係にあるノード）のみでグラフ構造が構築されるために、学習時のグラフ構造と推論時のグラフ構造にギャップがある場合に、人物パース画像の品質が劣化する（＝汎化性能が低い）という問題が存在する。

  

  本手法では、上図のように、decomposition, composition, dependency の３つの関係性をグラフ構造に織り込む

  1. decomposition
     全身→上半身＋下半身への分割などの上位から下位への分割操作
  2. composition
     上半身＋下半身→全身への統合などの下位から上位への統合操作
  3. dependency
     頭、上半身などの互いに接続関係にある部位間での操作
  
  具体的には、decomposition, composition, dependency それぞれに対して、以下の式に従って、グラフ構築の構築を行う。

  1. decomposition 操作でのグラフ構築の構築
     decomposition 操作の場合では、(2) 式は、以下の式のようになる。
     

  2. composition 操作でのグラフ構築の構築
     composition 操作の場合では、(2) 式は、以下の式のようになる。
     

  3. dependency 操作でのグラフ構築の構築
     dependency 操作の場合では、(2) 式は、以下の式のようになる。
     

• Iterative inference over human hierarchy
  従来のグラフ構造を利用した人物パースモデルでは、以下の式のように、親ノード u （またはその隣接ノード Nv）からの情報を考慮したグラフ畳み込み？で、頂点の表現 h_v を構築している。
  

  一方本手法では、以下の式のように、decomposition, composition, dependency でのノード表現を、反復的に（t=1~T）更新する反復アルゴリズムを採用している。
  この反復手法により、グラフ構造の近似精度が高まり、人物パース画像の品質を更に高めることが可能となる？
  ※ 一般的に、グラフ理論の知見として、近似精度を向上させるためには、反復アルゴリズムのほうが望ましい
  

• 損失関数
  本ネットワークは、以下の損失関数に従って、end2end に学習される。
  

4. どうやって有効だと検証した？

• 既存のモデルとの定性比較検証
  
  既存のモデルと比較して、より高品質なセグメンテーション画像を生成できている。

• 既存のモデルとの定量比較検証
  
  既存のモデルと比較して、より高品質なセグメンテーションスコアを実現している。

• グラフの関係性と反復アルゴリズムの反復回数での ablation study
  
  既存の単一のグラフ構造モデル（Baseline）より、本手法の decomposition, composition, dependency でのグラフ構造のほうが品質スコアが向上している。
  また反復アルゴリズムを採用することで、品質スコアが向上している。

5. 議論はあるか？

• decomposition, composition, dependency それぞれに対しての、グラフ構築の式がよく理解できなかった。
• Iterative inference over human hierarchy での反復アルゴリズムがよく理解できなかった。
• 公式実装が公開されているが、学習済みチェックポイントが公開されていないので、推論コードが動かない

6. 次に読むべき論文はあるか？

• xxx

7. 参考文献

• xxx