【論文読み】CVAE-GAN : Fine Grained Image Generation though Asymmetric Training

今回はクラス情報を持った画像を生成するためにVAEとGANを上手に組み合わせましたよというお話。
CVAE-GAN: Fine Grained Image Generation though Asymmetric Training


【感想】
・Mean feature matching のなるほど感
・Loss関数たくさん&そこにハイパラ設定せにゃならん
 →職人芸感満載、しかもepock数100kとか言われると自分の設定正しいかの検証無理。


【Abstruct】

  • あるIdentityを持った様々なカテゴリーの画像を生成したい
  • VAEとGANを組み合わせたモデルを提案する
  • しかし、ナイーブにはうまくいかない、なぜならばVAEの画像はぼやけるからCriminatorが簡単に偽物と判別できる

なので、

  • 本物のデータ群の平均の特徴量とのL2距離を損失関数として採用
  • 勾配消失が緩和される
  • Mean feature matching はモード崩壊を軽減するが、モード崩壊は完全には防げない。ここにVAEとGANの組み合わせが効く

【slideshareにスライド上げた】
https://www.slideshare.net/KazusaTaketoshi/cvaeganfinegrained-image-generation-through-asymmetric-training

【Githubにコード上げた】
ひとまず他人のコード借りて、改変したもので実装してみた。
https://github.com/tkazusa/CVAE-GAN