摘要
在存在持续的潜在变量而难以处理的后验分布和大数据集的情况下，我们如何在概率模型中进行有效的推理和学习？ 我们引入了一种随机变分推理和学习算法，可以扩展到大型数据集，并且在一些温和的不同的可用性条件下，甚至可以在棘手的情况下工作。 我们的贡献是双重的。 首先，我们证明了变分下界的重新参数化产生了一个下限估计，可以使用标准随机梯度方法直接优化。 其次，我们展示了i.i.d. 每个数据点具有连续潜变量的数据集，通过使用所提出的下界估计器将近似推理模型（也称为判别模型）拟合到难治性后验，可以使后验推断特别有效。 理论优势反映在实验结果中。
简介
我们展示了变分下界的重新参数化如何产生下界的简单可微分无偏估计;这个SGVB（随机梯度变分贝叶斯）估计器可以用于几乎任何具有连续潜变量和/或参数的模型中的有效近似后验推断，并且使用标准随机梯度上升技术可以直接进行优化。对于i.i.d.的情况。数据集和每个数据点的连续潜在变量，我们提出了自动编码VB（AEVB）算法。在AEVB算法中，我们通过使用SGVB估计器来优化识别模型，使得我们使用简单的上采样执行非常有效的近似后验推理,从而使得我们能够有效地学习模型参数.每个数据点需要昂贵的迭代推理方案（如MCMC）.学习的近似后验推断模型还可以用于许多任务，例如识别，去噪，表示和可视化目的。当神经网络用于识别模型时，我们得到变分自动编码器。
方法
本节中的策略可用于导出具有连续潜变量的各种有向图模型的下界估计（随机目标函数）。 我们将在这里局限于我们有i.i.d的常见情况。 每个数据点具有潜在变量的数据集，以及我们希望对（全局）参数执行最大似然（ML）或最大后验（MAP）推断以及潜在变量的变分推断的数据集。
对于VAE推断生成模型，我们希望找到一个合适的参数 \theta ，使得 p_{\theta}(z\lvert{x}) = p(x,z)/p(x) 可以最大，即通过隐变量z可以生成和原来一样的x。
但是在上式中存在一个问题，就是p(x) = \lmoustache p_{\theta} (z \lvert x) p_{\theta} (z) dz 没有办法计算（因为z中含有随机部分，所以没有办法积分，采样也是要耗费太大的计算），所以在VAE中就是使用变分推断，使用分布 p(x) = q_{\phi} (z \lvert x) 来近似分布 p_{\theta}(z\lvert{x}) ，那么我们的目标函数就要包含两个目标：
- 最大化p(x)
- 最小化 KL( p(z \lvert x) \lvert p(z \lvert x) )
参考文档
Auto-Encoding Variational Bayes