【論文読み】CVAE-GAN : Fine Grained Image Generation though Asymmetric Training
今回はクラス情報を持った画像を生成するためにVAEとGANを上手に組み合わせましたよというお話。
CVAE-GAN: Fine Grained Image Generation though Asymmetric Training
【感想】
・Mean feature matching のなるほど感
・Loss関数たくさん&そこにハイパラ設定せにゃならん
→職人芸感満載、しかもepock数100kとか言われると自分の設定正しいかの検証無理。
【Abstruct】
- あるIdentityを持った様々なカテゴリーの画像を生成したい
- VAEとGANを組み合わせたモデルを提案する
- しかし、ナイーブにはうまくいかない、なぜならばVAEの画像はぼやけるからCriminatorが簡単に偽物と判別できる
なので、
- 本物のデータ群の平均の特徴量とのL2距離を損失関数として採用
- 勾配消失が緩和される
- Mean feature matching はモード崩壊を軽減するが、モード崩壊は完全には防げない。ここにVAEとGANの組み合わせが効く
【slideshareにスライド上げた】
https://www.slideshare.net/KazusaTaketoshi/cvaeganfinegrained-image-generation-through-asymmetric-training
【Githubにコード上げた】
ひとまず他人のコード借りて、改変したもので実装してみた。
https://github.com/tkazusa/CVAE-GAN