[JPPNet] Look into Person: Joint Body Parsing & Pose Estimation Network and A New Benchmark

[Yagami360]

0. 論文情報・リンク

• 論文リンク：https://arxiv.org/abs/1804.01984
• 公開日時：2018/04/05
• 被引用数（記事作成時点）：96 件
• 実装コード：https://github.com/Engineering-Course/LIP_JPPNet
• プロジェクトページ : http://www.sysu-hcp.net/lip/
• Publication : T-PAMI 2018 [IEEE Transactions on Pattern Analysis and Machine Intelligence]

1. どんなもの？

• 人物パースモデルや姿勢推定モデル用の多様で大規模なデータセットである LIP データセットを提供し、マルチスケールでの特徴量を取り込んだ人物パースネットワークと姿勢推定ネットワークの end2end な共同ネットワークである JPPNet を提案。人物パース画像の品質を大きく向上させている。
  
  

2. 先行研究と比べてどこがすごいの？

• 既存の人物パースモデルや姿勢推定モデル用のデータセットは、どれも限定的なデータセットになっており多様性などに問題があった。
  本論文では、これらの多様性を解決した、人物パースモデルや姿勢推定モデル用の多様で大規模なデータセットである LIP [Look into Person] データセットを提供している
• 既存のセグメンテーションモデルでは、この LIP データセットでを学習した場合においても人物パース画像の品質は不十分であった。
  そのため本論文では、マルチスケールでの特徴量を取り込んだ人物パースネットワークと姿勢推定ネットワークの end2end な共同ネットワークである JPPNet を提案し、人物パース画像の品質を大きく向上させている
• 更に、JPPNet をベースに、keypoint のアノテーションを必要とすることなく keypoints ヒートマップを生成することの出来るネットワークである SS-JPPNet を提案している。

3. 技術や手法の"キモ"はどこにある？

• 既存のデータセット
  人物パースモデルや姿勢推定モデルの学習用データセットとしては、以下のような要件を満たす多様で大規模なデータセットが望ましい。

  • 様々な衣装が写っている
  • 部分的なオクリュージョン
  • 画像端でオブジェクト（人物など）が切れている
  • 多様な視点方向
  • 背景の乱雑さ
  

  しかしながら既存のデータセットは上図のようなデータセットであり、それぞれ限定的な状況下でのデータセットになってしまっている。

  • MPII human pose dataset, LSP dataset : keypoints のアノテーションしかなく、人物パースモデルには使えない。
  • ATR dataset : 直立姿勢の人物の画像しかない。
  • PASCAL-Person-Part dataset : ６つのラベルアノテーションしかない。
  

  また最近の人物パースモデルの研究により、上図のように、人体構造の情報（keypoints）を与えることで人物パース画像の品質が向上することがわかっている。
  従って人物パース画モデル用データセットとしては、単にセグメンテーションアノテーションだけでなく、keypoints もアノテーションされたデータセットが望ましい。

  このような問題を解決するために、本論文では、上図のようなセグメンテーションラベルのアノテーションと keypoints アノテーションの両方を含む LIP [Look into Person] データセットを提供している。

• LIP [Look into Person] データセット

  • データセットの概要
    

  • データセットのサンプル
    

  • データセットのラベル構成
    

  • データセットの多様性
    

• JPPNet [joint human parsing and pose estimation network]
  
  上図は、JPPNet [joint human parsing and pose estimation network] のアーキテクチャの全体像を示した図である。
  このネットワークは、以下の３つの主要なネットワークから構成され、end2end で学習される。

  1. 人物パース画像を生成するためのネットワーク（ResNet を基本構造）
  2. keypoints ヒートマップ画像を生成するためのネットワーク（stacked hourglass network を基本構造）
  3. 上記２つのネットワークで生成した人物パース画像と keypoint をより洗練するための refinement network

  • atrous convolution による畳み込み処理
    本ネットワークの各 conv は、通常の畳み込みではなく atrous convolution が採用されている。
    Atrous convolution は、DeepLab v3 でも採用されている畳み込み処理で、畳み込みフィルタの field-of-view を調整可能とすることで、より広い範囲の特徴量を取り込むことを可能にした畳み込み処理である。
    この Atrous convolution 以下の式のように定式化される。
    

  • 人物パース画像を生成するためのネットワーク
    
    人物パース画像を生成するためのネットワークは、出力層に Atrous Spatial Pyramid Pooling [ASPP] の構造をもつ。
    この ASPP は、DeepLab v3 でも採用されている処理で、下図のように、各 Atrous convolution からの異なる範囲での特徴マップを取り込み、複数スケールからの特徴量を抽出する。

    また人物パース画像を生成するためのネットワークは、後段の refinement network にデータを渡すための２つの畳み込み層をもっている。

  • keypoints ヒートマップ画像を生成するためのネットワーク
    
    keypoints を生成するためのネットワークでは、ASPP を採用せず、3x3 の畳み込み層を複数追加するだけで十分な姿勢ヒートマップを生成できる。

  • refinement network
    
    refinement network は、上記２つのネットワークで生成した人物パース画像と keypoint をより洗練するための ネットワークになっており、Parsing refinement と Pose refinement の２つの独立構造を持つ

    この Parsing refinement での基本的な流れは、以下のようになる。
    ※ Pose refinement 似関しては、基本的な流れは同じ（但しASPPはなし）

    1. 前段ネットワークの 1x1 conv で畳み込み、より多くのチャンネル数での特徴マップとし、それらを concat する
    2. 3~9 のカーネルサイズの conv で畳み込み、大域的な特徴量を捉える
    3. 1x1 conv で畳み込み、再度 ASPP を行う。

  • 【補足】stacked hourglass network
    

    DNN による姿勢推定モデルのいくつかで採用されているネットワークで、上図のように砂時計のような構造をしている。このような構造にすることで画像全体に渡っての情報を伝搬できるようにしている

• SS-JPPNet [self-supervised structure-sensitive JPPNet]
  

  本手法では、keypoints のアノテーションを必要とすることなく、自身で生成しながら学習を行うことの出来る？ JPPNet である SS-JPPNet も提案している
  ※ ここの理解間違っている可能性大

  • Self-supervised Structure-sensitive Loss
    

    SS-JPPNet は、以下の式で定義される Self-supervised Structure-sensitive Loss で学習を行うことで、keypoints のアノテーションを必要とすることなく、自身で生成 [Self-supervised] しながら学習を行うことの出来る。

4. どうやって有効だと検証した？

• 既存のセグメンテーションモデルとの定量比較
  
  JPPNet, SS-JPPNet では既存のセグメンテーションモデルと比較して、IoU スコアが大きく向上しており、人物パース画像品質が向上していることが見て取れる。

• 既存のセグメンテーションモデルとの定性比較
  
  既存のセグメンテーションモデルと比較して、JPPNet, SS-JPPNet での人物パース画像の品質が大きく向上していることが見て取れる

• 姿勢推定の定量比較
  

• 姿勢推定の定性比較
  

5. 議論はあるか？

• 最新の人物パースモデル論文調査にあたっては、この論文の参照論文で探っていけばよさげ
• SS-JPPNet がよくわからなかった。

6. 次に読むべき論文はあるか？

• xxx

7. 参考文献

• xxx