推荐系统-CTR-PNN

一、PNN的网络结构图

二、PNN的网络结构介绍

1、Input

  Input是经过one-hot之后的数据,数据比较稀疏。

2、Embedding Layer Pair-wisely Connected

  通过Embedding Layer将高维稀疏的数据，转换为低维稠密的数据，这样既有利于提高模型训练时的时间效率，也有利于提高模型的准确度。

  f的维度为M，W的维度为M*（endi-starti+1）。

3、Product Layer Pair-wisely Connected

  Di为第i个隐层参数的个数；M为Embedding 后单个特征的维度；N输入特征的个数。

  圆圈点：任意一种运算。
  z为线性变换部分，p为内积/外积部分。


  z的维度为NM，p的维度为NN。

1）IPNN（内积）

  内积原理：

  假设

  θ的维度为N。




  一阶分解的效果。

  高阶分解的效果。

2）OPNN（外积）

  外积原理：


  p的维度为M*M。

4、Hidden Layer1 Fully Connected

  将Product Layer层的输出线性变换和内积/外积变换的结果进行相加，再添上一个偏置，最后经过rule函数进行激活。

b的维度为D1。

5、Hidden Layer2 Fully Connected

  将Hidden Layer1 层的输出进行线性变换，再加上一个偏置，最后经过rule函数进行激活。

L1的维度为D1。

6、Output

  将Hidden Layer2 层的输出进行线性变换，再加上一个偏置，最后经过sigmoid函数进行激活。输出为输出为0-1之间的一个数值。

  W的维度为1*D1；b的维度为1维；l的维度为D2。

模型优化

  使用交叉熵损失函数进行优化。