每个专家被定义为输入空间上的一个概率模型

而且它可以同时接受以上几种输入模态的任意两种组合，这便是 PoE 的含义。

所谓 PoE 是 Hinton 在 2002 年提出的专家乘积概念，每个专家被定义为输入空间上的一个概率模型。

而每种单独的输入模态都是合成图像必须满足的约束条件，因此满足所有约束的一组图像是满足每个约束集合的交集。

假设每种约束的联合条件概率分布都服从高斯分布，就用单条件概率分布的乘积来表述交集的分布。

在此条件下，为了使乘积分布在一个区域具有高密度，每个单独的分布需要在该区域具有高密度，从而满足每个约束而 PoE GAN 的重点是如何将每种输入混合在一起

PoE GAN 的设计

PoE GAN 的生成器使用全局 PoE—Net 将不同类型输入的变化混合起来。

我们将每个模态输入编码为特征向量，然后使用 PoE 汇总到全局 PoE—Net 中解码器不仅使用全局 PoE—Net 的输出，还直接连接分割和草图编码器，以此来输出图像

全局 PoE—Net 的结构如下，这里使用一个潜在的特征矢量 z0 作为样本使用 PoE，然后由 MLP 处理以输出特征向量 w。

随意变换输入的 GAN

当使用单个输入模态进行测试时，PoE—GAN 的表现优于之前专门为该模态设计的 SOTA 方法。

例如在分割输入模态中，PoE—GAN 优于此前的 SPADE 和 OASIS。

在文本输入模态中，PoE—GAN 优于文本到图像模型 DF—GAN，DM—GAN+CL。

当以模式的任意子集为条件时，PoE—GAN 可以生成不同的输出图像下面展示了 PoE—GAN 的随机样本，条件是两种模式在景观图像数据集上

PoE—GAN 甚至还能没有输入，此时 PoE—GAN 就会成为一个无条件的生成模型以下是 PoE—GAN 无条件生成的样本

团队介绍

论文一作是黄勋，北京航空航天大学本科毕业，康奈尔大学博士，现在在英伟达工作。

论文地址:

PoE:

投影鉴别器: