Learning to Transfer Texture from Clothing Images to 3D Humans

[Yagami360]

0. 論文情報・リンク

• 論文リンク：https://arxiv.org/abs/2003.02050
• 公開日時：2020/03/04
• 組織 :
• 被引用数（記事作成時点）：2 件
• 実装コード（PyTorch）：https://github.com/aymenmir1/pix2surf
• Publication : CVPR2020

1. どんなもの？

• ３Dベースの仮想試着タスクにおいて、服画像のシルエットとUV座標の対応関係を DNN で学習することで、事前に定義したテクスチャーマッピング用 UV 座標を用いることなく服画像のシルエットのみから、パラメーター制御可能な３D人体モデルである SMPL の３D服メッシュにテクスチャーマッピングすることを実現。
  

2. 先行研究と比べてどこがすごいの？

• 服テクスチャーを３D衣装に（事前に定義したUV座標を用いることなく）自動でテクスチャーマッピングする手法は、学習のための様々な合成データの生成、バーチャル試着、アート、デザインなどの多くの応用分野が存在するものの、これまで殆ど着目させていなかった。
  本手法では、服画像のシルエットとUV座標の対応関係を DNN で学習することで、事前に定義したテクスチャーマッピング用 UV 座標を用いることなく服画像のシルエットのみから、パラメーター制御可能な３D人体モデルである SMPL の３D服メッシュにテクスチャーマッピングすることを実現している。

3. 技術や手法の"キモ"はどこにある？

• アーキテクチャの全体像
  
  上図は、本手法でのアーキテクチャの全体像を示した図である。
  本手法での処理の流れは、以下のようになる。

  I. Data collection by non-rigid 3D mesh to image alignment
  ２D服画像と３D服メッシュの対応関係を学習することで、両者を一致させるようなフィッテング処理を行い、フィッテングされた３D服メッシュを得る。

  II. Pix2Surf Network
  CNN ネットワークで、３D衣服表面のUVマップからピクセル位置への対応関係を推論し、最終的なテクスチャーマッピング画像を出力する？

• パラメーター制御可能な３D衣装メッシュ
  本手法では、SMPL から拡張された、パラメーター制御可能な３D衣装テンプレートメッシュである「Multi-Garment Net: Learning to Dress 3D People from Images」を利用している。
  この３D衣装テンプレートメッシュは、SMPL と同様に、以下の式のように、制御パラメーターである服形状 β と服姿勢 θ を与えることでメッシュを変形させることができる
  

• I. Data collection by non-rigid 3D mesh to image alignment / Non-Rigid Garment Fitting to Retail Images
  

  本手法では、上図のように２D服画像と３D服メッシュの対応関係を学習し、フィッテング処理を行う。
  これらの処理の流れは、以下のようになる。

  1. GrabCut を用いて、２D服画像と３D服メッシュのマスク画像を作成する。
     → ２D服画像の服マスク画像のみ？３D服メッシュのマスク画像も含む？

  2. 第１段階として、３D衣装メッシュの表面を２D服画像シルエット（服マスク画像）に荒くフィッテングする。
     具体的には、以下の式で定義された損失関数を最小化するように荒いフィッテングを行う。
     

     この損失関数 (3) を最小化するために、あるポーズに対応する制御パラメーター θ をポースAでの制御パラメーター θ_A で初期化するようにする。

     更に、スケジューリングを使用して最適化を行う？
     → 論文中の「Additionally, we use scheduling: for shirts we first optimize shape and translation holding pose fixed and optimize all variables jointly afterwards. For pants and shorts the scheduling order is reversed.」
     → この部分、何を言っているのか分からなかった。

  3. 第２段階として、第１段階での荒いフィッテングを洗練させる。
     第１段階でのフィッテング処理は、フィッテング処理がパラメーター制御可能なモデル G(θ,β) によって制限されているために、境界付近のシルエットを完全に一致させることが出来ない。
     そのため第２段階のフィッテング処理では、パラメーター制御可能な３Dモデル G(θ,β) ではなく、実際の頂点座標での３Dモデル G∈R(m×3) を直接変形させることで、シルエットを更に一致させるようにする。
     具体的には、以下の式で定義される損失関数を最小化するようにフィッテング処理を行う。
     

  4. これらフィッテング処理により、フィッテングされた３D服の頂点を出力される。
     これに面の構造を付与することで、フィッテングされた３D服メッシュの構造が得られる

• II. Pix2Surf Network
  
  上位服画像と３D服メッシュのフィッテング処理では、画像ピクセルから３D服メッシュの表面への密な対応関係が得られているが、これらの対応関係からテクスチャーマッピングを直接学習するのは困難なタスクであり、単純な畳み込みネットワークでは実現できない。
  そのため本手法では、テクスチャーマッピングを直接学習するのではなくて、上図のように、３D服メッシュ表面の UV 座標マップ画像を学習＆推論するようにする。

  Pix2Surf のネットワークは、以下の損失関数を最小化するように学習を行う。
  

  Pix2Surf のネットワークの出力であるUVマップ画像を推論した後、それと並列化可能なカーネル？を用いて、入力服画像からピクセル点をサンプリングして最終的なテクスチャーマッピング画像を生成する？
  → 論文中の「Once the network predicts a correspondence map for an input image, we use it and the parallelizable kernel to generate the final image by sampling points from the input image.」記載がよく分からなかった。

  【補足】射影テクスチャーマップ（射影テクスチャーリンク）
  
  UV 座標でのテクスチャーマッピングとは異なり、
  投影変換と同じ用にテクスチャー画像をスクリーン上に投影するテクスチャーマッピング手法

4. どうやって有効だと検証した？

• 既存のテクスチャーマッピング自動化モデルとの定性比較検証
  
  既存のテクスチャーマッピング自動化可能モデルと比較して、本手法でのテクスチャーマッピングが最も品質が高くなっている。
  ※ pix2pix : 入力画像とテクスチャーマッピング画像を pix2pix で学習した設定

• 仮想試着への応用
  
  ２D画像ベースの仮想試着モデルよ比較して、オクリュージョンを含む様々な姿勢での品質が向上している。

5. 議論はあるか？

• 全体的に Pix2Surf の説明が何を言っているのか分からなかった。

6. 次に読むべき論文はあるか？

• SMPL: A skinned multi-person linear model
• Multi-garment net: Learning to dress 3d people from images

7. 参考文献

• SMPL : [In progress] SMPL: A skinned multi-person linear model #86
• Multi-Garment Net : Multi-Garment Net: Learning to Dress 3D People from Images #87