Multi-Garment Net: Learning to Dress 3D People from Images

[Yagami360]

0. 論文情報・リンク

• 論文リンク：https://openaccess.thecvf.com/content_ICCV_2019/html/Bhatnagar_Multi-Garment_Net_Learning_to_Dress_3D_People_From_Images_ICCV_2019_paper.html
• 公開日時：2019/08/20
• 組織 :
• 被引用数（記事作成時点）：30 件
• 実装コード（Tensorflow）：https://github.com/bharat-b7/MultiGarmentNetwork
• Publication : ICCV2019

1. どんなもの？

• ２D画像から３D人物メッシュを再構築するタスクにおいて、Multi-Garment Network のアーキテクチャを用いて、１つまたは複数の人物画像から、人体メッシュとその人物が着ている服メッシュを別々のメッシュと生成することで、再構築した３Dメッシュの品質や制御性を向上させることを実現した image-to-3D 手法。
  また SMPL を拡張し、パラメーター制御可能な衣装メッシュの生成や衣装を着た人物メッシュの生成も実現している。
  

2. 先行研究と比べてどこがすごいの？

• 既存の画像から人物メッシュを再構成する image-based 3D Reconstruction 手法では、再構築した３Dメッシュの品質や制御性が低いという問題が存在する。
  これは、衣装と人物の両方を３D再構成する際に、単一のメッシュ or ボクセルのみを使用していているのが１つの大きな要因になっている。
  本手法では、Multi-Garment Network のアーキテクチャを用いて、１つまたは複数の人物画像から、人体メッシュとその人物が着ている服メッシュを別々のメッシュと生成することで、再構築した３Dメッシュの品質や制御性を向上させることを実現している。
• また、従来の SMPL では裸体の人物メッシュしか生成できなかったが、本手法では、パラメーター制御可能な衣装メッシュの生成や衣装を着た人物メッシュの生成も実現している。
• また本手法を応用することで、Texture transfer（任意のメッシュから別のメッシュへのテクスチャー転送）や garment re-targeting（元の人体メッシュから服メッシュを抽出し、別の人体メッシュに張り合わせる）も実現することが可能となる。

3. 技術や手法の"キモ"はどこにある？

• パラメーター制御可能な衣装メッシュの生成 / 学習用データセットの作成
  
  本手法では、Multi-Garment Network の学習用データセットとして、様々な服装・姿勢・形状をした 356 人の３Dスキャンデータを利用している。
  各３Dスキャンデータは、上図の digital wardrobe（デジタル衣装棚）のように、｛シャツ・Tシャツ・コート・ショートパンツ・ロングパンツ｝の５つのカテゴリの衣装テンプレートメッシュに対して、その人物が着用している１つのテンプレートメッシュと、その人物の基礎となる体型メッシュで構成されている

  この５つカテゴリの衣装テンプレートメッシュは、後述で述べるように SMPL で生成した体型メッシュを元に生成させれおり、それ故、服の形状は人体服部分の形状に沿った形状になっているが、SMPL の registration 後は、パラメーター制御可能となるので任意の姿勢に再生成することができる。

  • ３Dスキャンデータのセグメンテーション
    
    上記衣装テンプレートメッシュを得るために、３Dスキャンデータを｛皮膚・上着・ズボン｝の3つの領域に自動的にセグメンテーションする。（※ セグメンテーションできれば、そのセグメンテーション領域から衣装メッシュを抽出できる。）
    但し、3D メッシュデータの場合、画像セグメンテーション SOTA モデルでも不十分な品質になる。
    そのため本手法では、上図のように、SMPLでの変形メッシュ上の UV マップに対して、MRF と CNNベースのセグメンテーションモデルを用いることで、メッシュのセグメンテーションを実現している。
    ※ MRF : Gaussian Mixture Models in La color space のこと？
    ※ CNNベースのセグメンテーションモデル : 論文「Instance-level human parsing via part grouping network」

    SMPL で生成したメッシュのUVマップ上の MRF を解いた後、SMPL registration のラベルを３Dスキャンデータに転写することで、3Dスキャンデータを3つの部分にセグメント化することができる？
    → セグメンテーション手法の詳細は、よく分からなかった。

  • SMPL での衣装テンプレートメッシュの変形 / 衣装テンプレートメッシュの SMPL registration
    SMPL でのメッシュ変形は、以下の式で行われる。
    

    この SMPL でのメッシュ変形において、本手法では、衣装テンプレートメッシュの対応する SMPL 体型メッシュへの頂点変形 D を (3) 式で定義する。その結果として、本手法でのメッシュ変形は、以下の式で定義される。
    

    そして、SMPL registration である SMPL+D 上に、衣装テンプレートメッシュを SMPL registration する。
    → この文面と、前述の新たに定義したメッシュ変形との関連は？

  • Laplacian deformation による衣装テンプレートメッシュの変形
    
    上記３Dスキャンデータのセグメンテーションがうまく行えている場合は、論文「ClothCap: Seamless 4D clothing capture and retargeting」で提案されている multi-part alignment を用いて、３Dスキャンデータから人体メッシュと衣装メッシュを分離することが出来る。
    しかしながら、左上図のように、衣装の形状が物体間で大きく異なる場合、この論文で提案されている multi-part registration は失敗してしまう？
    → multi-part registration に関しては、論文「ClothCap: Seamless 4D clothing capture and retargeting」を読んでみないとよく分かない印象

    そのため本手法では、衣装テンプレートメッシュの各頂点を SMPL registration の形状と姿勢で変形させて初期化する処理を行っている。
    但し、初期変形された衣服テンプレートメッシュの衣服境界部分は３Dスキャンメッシュの境界部分と一致しないという問題があるので、右上図のような Laplacian deformation で衣服境界が一致するように衣装テンプレートメッシュを変形させている。
    ※ Laplacian deformation : Laplacian mesh processing

• Multi-Garment Network / From Images to Garments
  
  上図は、Multi-Garment Network の全体像を示した図である。
  Multi-Garment Network では、｛１つまたは複数の人物画像・関節点情報｝を入力として、SMPL の制御パラメーターを出力する。
  Multi-Garment Network の学習用データセットは、｛人物画像・その人物の体型メッシュ・服メッシュ｝のペアデータで構成される。
  Multi-Garment Network は、base-network と Garment Network のサブネットワークとレンダリング処理から構成されている。

  • base-network / 画像と関節点情報から特徴量を encoder
    
    base network では、上図のように、｛入力人物２D画像 I・２D関節点情報 J｝のペアを、入力画像のフレームごとの３次元ポーズに対応する潜在変数 l_P に encode する。
    

    そして、このフレーム毎の潜在変数 l_P に対して、入力画像のフレーム f = 0~F-1 で平均化（Avg Pool）することで、｛人物形状パラメーターβ・人物姿勢パラメーターθ・衣装メッシュ g｝の encoder された潜在変数を得る。
    

  • Garment Network / Garment Shape Space の学習
    
    Garment Network は、上図のようなアーキテクチャで構成され、衣装メッシュの形状空間を学習するためのネットワークになっている。

    この目的のためにまず、衣装メッシュの形状から、姿勢に関する変形？を分離するために、j 番目の衣装メッシュの SMPL registration G_j^g を "unpose" ? する。
    ※ この方法は、論文「Detailed, accurate, human shape estimation from clothed 3D scan sequences」、「ClothCap: Seamless 4D clothing capture and retargeting」でも行われている手法

    これにより、unpose された j 番目の衣装メッシュの SMPL registration の頂点に対して直接PCAを計算して，pose-invariant shape basis (PCA basis) （基底関数のようなもの）を得ることができる。
    そしてこの基底関数を用いて、以下の式で衣装メッシュの形状を encode する。
    ※ この Garment Network は、衣装カテゴリ i=0~N 度に別々のネットワークで学習される。
    
    → この Garment Network での PCA 変換の話がよく分からなかった。

  • 服メッシュの変形とレンダリング処理
    basic network で encode された制御パラメーター l_β, l_θ と、Garment Network からの衣装メッシュ形状の encoder 情報 M_w^g を元に、以下の式で頂点変形 D を計算し、服メッシュを変形する。
    

    最後に以下の式に従って、２Dのセグメンテーション画像をレンダリングする。
    

• ネットワークの損失関数
  Multi-Garment Network は、以下のように定義された損失関数を最小化するように、end2end で学習される。
  

• Dressing SMPL / 衣装を着た人物での SMPL
  
  SMPL は、裸体の人物メッシュのモデリングに非常に有用であるが、衣装を着た人物メッシュは生成できないという問題がある。
  本手法では、前述の (3),(4),(5) 式で定義したメッシュ変形式で衣装メッシュを変形して、人物メッシュの服以外の部分を剥がすことで、体型を含む着せ替え服のメッシュを取得することも実現している。
  これにより、上図のように、異なる SMPL 人物メッシュ間で衣装メッシュを差し替えること（garment re-targeting）が可能となる。

4. どうやって有効だと検証した？

• 既存のモデルとの定性比較検証
  
  既存の３D人物再構築モデルと比較して、本手法では衣装の歪みなどをうまく再現しており、より品質が高くなっている。
  ※ 既存の３D人物再構築モデル：論文「Learning to reconstruct people in clothing from a single RGB camera」
  ※ 公正な比較のため、学習用データセットは、既存のモデルのものを使用している。
  ※ この結果は学習用データセットを既存のモデルのもので置き換えたときの結果なので、実際にはこれ以上の品質が実現可能？

• Texture transfer での応用での定性検証
  
  本手法では、SMPLでの変形メッシュ上の UV マップに対して、MRF と CNNベースのセグメンテーションモデルを用いることで、メッシュのセグメンテーションを実現している。
  そのためその応用として、上図のように任意の衣装メッシュから別のメッシュに、元のメッシュ形状を維持しながらテクスチャーを転送することも可能となる。

• garment re-targeting での応用での定性検証
  
  本手法では、人体メッシュの身体部分のメッシュと衣装部分メッシュを切り分けることを実現しているので、
  その応用として、上図のように、元の人体メッシュから服メッシュを抽出し、別の人体メッシュに張り合わせるというったことが可能となる。
  ※ 言い換えると、３D仮想試着も実現できる。

5. 議論はあるか？

• SMPL を拡張しパラメーター制御可能な衣装メッシュの生成も実現している。これは衣装を扱う３D手法で広く応用用途がありそう。
• 応用としての Texture transfer や garment re-targeting で、３D仮想試着も実現できている点に注目
• メッシュのセグメンテーション手法の詳細や multi-part alignment, Laplacian deformation や Garment Network での PCA 変換の話がよく分からなかった。
• 全体的に、SMPL registration の概念がよく理解できていない。"registration" の用語にも SMPL registration の意味と一般的な registration（登録）の意味が混雑している？
  → SMPL の論文を更に詳細に見ていく必要がありそう

6. 次に読むべき論文はあるか？

• ClothCap: Seamless 4D clothing capture and retargeting

7. 参考文献

• SMPL : [In progress] SMPL: A skinned multi-person linear model #86