文章目录
Introduction
GAN的目标，训练出一个generator ，产生某些东西
上图，第一维代表头发长短，倒数第二维代表蓝色的深浅…
GAN同时训练出一个discriminator ，辨别器
输出的scalar 代表图片的质量
捕食的标准，与 蝴蝶的特征不断进化。
vein 叶脉
generator 与 discriminator 之间也是这种对抗关系
v1: 辨别器根据色彩判断
v2:根据是否有嘴
v2的生成器，能骗过v1的判别器
v3的生成器，能骗过v2的判别器
生成器生成的图片越来越真实
生成器与判别器不断对抗，不断进化，adversarial一词由来。
提出GAN的沦文里，用的例子是假钞与警察
学生画的越来越逼真，老师的要求越来越严格。
两者的关系，可以是朋友，也可以是敌人。
更新D的标准：把真实图放入D，得到的数值大，G生成的图放入D，数值小。
期望得到的数值越来越大，调整G的参数，使其产生的图越来越逼真，来‘骗过’D
结构化学习的输出比较复杂，GAN就属于结构化学习
结构化学习的例子：
structured learning 需要有全局观
vector 与 输出图片的特征有关系
希望 input 和 output 越接近越好
a和b的结合不一定得到数字1，因为generator不是线性的。
VAE 相当于在 code中加入噪声
variational ：变化的
VAE 把decoder 训练得更加稳定
output和target不一定完全一样，即存在误差。
错了6个pixel的只是把笔画延长，可以接受。
所以，不能单纯的让output与target越像越好
多加几层，就可以影响临近的神经元的关系
discriminator在不同的领域有不同的名称：evaluation function…
discriminator可以生成，列举所有的 x（图片），带入D(x)，使其最大的x作为生成的图。
左侧的负样本，效果太差
需要好的example才能训练出好的discriminator，只有好的discriminator才能找出好的example
arg max D(x)解出的作为下一轮的负样本
红线代表D(x)
在右侧，用第一轮得到的D(x)产生样本，作为负样本
当正负样本的分布重合时，训练结束
generator学到的是表象(pixel之间的相似程度，不能考虑大局)
discriminator的一个弊端是，arg max D(x)不好解（非线性）
用G来代替arg max D(x)，可以理解为：G就是在学，怎么解arg max D(x)
GAN（有discriminator）的generator 的效果比 VAE的generator的好
得分越低越好，柱状的长度代表不同参数导致的得分，可以看出GAN的效果好，不过VAE比较稳定（柱状很短）