91书院(91shuyuan.com)更新快，无弹窗！
“你们有没有看过变分自编码器的那篇论文？”</P>
孟繁岐和阿里克斯，伊利亚三人一边做着餐前准备，一边闲聊道。</P>
就在孟繁岐去年提出生成对抗模型GAN之后，同年年底有一个类似的生成式模型被提出，那就是变分自编码器。</P>
VAE和孟繁岐提出的GAN都是深度生成式模型，两者均被视为无监督式学习领域最具研究价值的方法。</P>
“当然看过，它的思路跟你的GAN挺像的，都是从隐藏变量去生成目标数据。”</P>
变分自编码器的反响和热度比孟繁岐的GAN低了一些，一是因为先入为主，孟繁岐的GAN珠玉在前。</P>
另一方面也是因为GAN两个网络对抗的思路和结构太过新奇，非常独特有创意，而且即便是领域外的人也容易理解。</P>
相比之下，变分自编码器则显得更加朴实无华一点。</P>
“其实原理都差不多，你们都假设隐藏变量服从某种概率分布，目的就是为了训练一个模型，可以将原本的概率分部映射到训练集的概率分布，是一种对这种分布的变换。”</P>
伊利亚简单总结道。</P>
伊利亚正是年轻力壮的时候，有天赋又努力。</P>
完全是论文机器，看得多写得多，对领域内的新东西门儿清。</P>
阿里克斯则已经稍微有点划水的兆头了，看论文不求甚解，主要读一个大概的意思和想法。</P>
“呦，年轻人们真有活力啊，都这么努力好学？饭前这点时间也要头脑风暴一下？”</P>
辛顿手里端着一杯果汁，溜达过来，发现自己的两个学生竟然在这个庆功宴上还忙着讨论学术，很是欣慰地调侃道。</P>
“我们在谈论生成式模型的问题，孟似乎有一些新想法。”</P>
“什么内容，说来听听。”</P>
“VAE和GAN都是希望生成的数据分布和目标分布十分接近，这种接近听上去很棒，可实际上难以量化。”</P>
孟繁岐解释道：“两个输出，比如图像，他们的分布到底是不是相等或者接近，缺乏足够好的量化标准与价值判断。”</P>
“GAN其实就是大力出奇迹的意思了，我也不管到底怎么评判，干脆整个就把这种隐含的衡量方式给学过来，这就导致对计算量和数据的要求非常大，并且也不是那么容易控制。”</P>
“而变分自编码器的方式其实优雅不少，很值得我借鉴。”</P>
辛顿听完微微扬眉，学界不少年轻天才甚至老学究，都对自己的技术盲目自信和吹捧。</P>
甚至不乏那种相互之间斗嘴皮子，争夺某某技术首发头衔的情况。</P>
像孟繁岐这样，没几个月就开始反思自己技术不足之处的，还挺少见的。</P>
毕竟目前学界对GAN的评价是相对更高的，后续跟进的研究也更多。</P>
“我们首先理解一下生成模型的本质，其实就像是一百个样本里采样十个，我们称呼这十个为x，用这个十个样本学到它的分布p。使用这个分布，就能够得到未被采样的数据。”</P>
辛顿也加入了进来，他直接从最基础的部分开始分析。</P>
“现在的问题就是，这个分布太难了，没法直接学到。因此我们退而求其次，使用一个满足特定分布的隐变量Z来生成这些样本x。计算p=SUmzp)，其中p为后验分布，p是先验分布。”</P>
“VAE的核心就是假设了p和每一个p均为正态分布。他的学习是xi和Z的关系，而不是你的GAN里面，x与x‘的关系。”</P>
辛顿的分析非常老辣，直指最关键的地方。</P>
“这一点确实比GAN简单了很多。”</P>
孟繁岐不得不承认这一点，已经知道是正态分布的情况下，这种学习就是小学二年级知识内容了，学均值和方差就可以。</P>
Z是我们自己假设的，xi是采样已知的，这种学习方式很容易就能学到这些已知的样本。</P>
VAE通过专属与某个样本的Zi建立了x与x‘之间原本很难学习对比的问题，属于相当聪