Pluralistic-Inpainting [Pluralistic Image Completion]

[Yagami360]

0. 論文情報・リンク

• 論文リンク：https://arxiv.org/abs/1903.04227
• 公開日時：2019/03/11
• 被引用数（記事作成時点）：2 件
• 実装コード：https://github.com/lyndonzheng/Pluralistic-Inpainting

1. どんなもの？

• Inpainting タスクのような復元画像に多様性が生まれにくいタスクにおいても、多元的なアプローチからの確率的な inpainting 手法で、もっともらしい多様復元画像を生成する。

2. 先行研究と比べてどこがすごいの？

• 従来のほとんどの inpainting 手法は、inpainting 領域の補間可能性の多様性にもかかわらず、あるマスク画像に対して１つの決まりきった生成結果しか生み出さないが、この Pluralistic-Inpainting では、多元的なアプローチからの確率的な inpainting 手法で、もっともらしい多様な補間生成結果を生み出すことが出来る。

3. 技術や手法の"キモ"はどこにある？

• 下図のように、再構成経路 [reconstructive path] と生成経路 [generative path] 呼ばれる２つのVAEベースのネットワークに対して、欠けた領域を持つマスク画像とその反転画像を入力し、元の画像を復元するようにする。更に、各々のVAEベースのネットワークの後段に追加した識別器で、GANにおける敵対的学習を行うことで、復元画像が元の画像に近づくように学習する。また SAGAN のように、畳み込み時のアテンション構造を導入することで、生成画像の品質を向上させる工夫も行っている。
  

• Pluralistic-Inpainting の新規性である復元画像の多様性は、この再構成経路と生成経路の内部のネットワークとして確率的なモデルであるVAEを採用し、尚且、入出力が一意な inpainting タスクにおいてVAE が局所解に陥って多様性が消失されるケースへの対策を織り込んだ損失関数（KLダイバージェンスで定義される）を採用していることよるものである。

4. どうやって有効だと検証した？

• 各種データセット（Paris、CelebA-HQ、Places2、ImageNet）に対して、inapinting タスクにおける他の SOTA 手法と比較して、定性的にも定量的にもより優れた結果となっていることを検証している。
• また、本手法の Ablation Study で、生成画像の多様性向上効果や注意機構の品質向上効果を検証している。

5. 議論はあるか？

• inpainting 画像の多様性の向上がこの論文のメイン主張であり、確かに従来手法と比べて多様性は向上しているが、inpainting 画像が別人物になるほどの多様体が向上しているとは言い難い？

6. 次に読むべき論文はあるか？