NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATION

[Yagami360]

0. 論文情報・リンク

• 論文リンク：https://arxiv.org/abs/1410.8516
• 公開日時：2014/10/30
• 被引用数（記事作成時点）：xxx 件
• 実装コード：

1. どんなもの？

• フローベースの生成モデルにおいて、入力データを２つのブロックに分けて加法カップリング層で対応付けることで、ヤコビアンの計算を簡略化したフローベースの生成モデル。

2. 先行研究と比べてどこがすごいの？

• フローベースの生成モデルにおいては、観測データの確率分布の対数尤度の最大化が目的となるが、この対数尤度の計算時にヤコビアン（ヤコビ行列式）の計算負荷が大きいことが問題であった。
• 本手法では、入力データを２つのブロックに分けて加法カップリング層で対応付けることで、ヤコビアン行列を三角行列にしてヤコビアンの計算を簡略化している。

3. 技術や手法の"キモ"はどこにある？

• 【既存の手法の問題点】 フローベースの生成モデルにおけるヤコビアンの計算
  フローベースの生成モデルの目的は、観測データ x を生成する確率分布 p_X(x) の対数尤度の最大化であるが、この対数尤度の計算には、以下の式のようにヤコビアンの計算が必要となる。
  
  ※ 上式は、単一の写像 f での式。下式は、この写像 f の合成写像（フロー）での式。
  ※ これら対数尤度の式の導出は、「生成モデル｜フローベースの生成モデル」 の項目参照。

  しかしながら、このヤコビアンの計算は、データの次元 D に応じて爆発的に増加するので、如何に少ない計算量で計算するかがフローベースの生成モデルにおける主要な課題の１つになっている。

• 【本手法の解決策】 coupling layer によるヤコビアン計算の軽減：
  入力（＝観測データ）x を２つののブロック に分けて、以下の図のようなカップリング層 [General coupling layer] で対応付けることを考える。
  
  
  こうすることで、”カップリング層での” ヤコビアンの計算は、
  
  のように、３角行列での行列式の計算になり、計算不可が大幅に軽減される。

  更に、カップリング層として、特に加法カップリング層 [additive coupling layer] を考えると、
  

  従って、対数尤度の式は、
  
  というようにフロー z=f(x) の式で簡略化出来る。

• Combining coupling layers
  xxx

• ALLOWING RESCALING
  xxx

4. どうやって有効だと検証した？

• xxx

5. 議論はあるか？

• xxx

6. 次に読むべき論文はあるか？

• Real NVP [Density estimation using Real NVP]
• Glow: Generative Flow with Invertible 1×1 Convolutions