DCN V2 Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems

目录

• 概
• DCN-v2

Wang R., Shivanna R., Cheng D. Z., Jain S., Lin D., Hong L. and Chi E. D. DCN V2: Improved deep & cross network and practical lessons for web-scale learning to rank systems, 2020.

概

DCN 的升级版.

DCN-v2

• DCN-v2 的 cross/deep 的结合方式上有上述两种, 具体的好坏和数据有关系.

• 相较于 DCN, DCN-v2 的主要改进在于 cross network 部分:

  $$x_{l+1} = x_0 \odot (W_l x_l + b_l) + x_l.$$

  这里 $W_l \in \mathbb{R}^{d \times d}$, 之前的 DCN 是 $W_l \in \mathbb{R}^{1 \times d}$.

• 特别的, 作者发现, 这种方式学出来的 $W$ 通常是低秩的, 所以对于 $W_l$ 做了进一步的改进:

  $$W_l = U_l V_l^T, \quad U_l, V_l \in \mathbb{R}^{d \times r}, \quad r \ll d, \quad r \ll d.$$

• 同时, 引入 MoE 机制:
  $$x_{l+1} = \sum_{i=1}^K G_i(x_l) E_i(x_l) + x_l,$$
  其中 $G_i(\cdot)$ 得到对第 i 个专家的权重 (通过 sigmoid, softmax 等实现), $E_i$ 则定义如下:
  $$E_i(x_l) = x_0 \odot \big( U_l^i \cdot g(C_l^i \cdot g({V_l^i}^T x_l)) + b_l \big).$$
  这是对在压缩到低维空间后通过非线性激活函数 $g(\cdot)$ 和 $C_l^i$ 仅进一步的转换.