推荐系统---深度兴趣网络DIN&DIEN

深度学习在推荐系统、CTR预估领域已经有了广泛应用，如wide&deep、deepFM模型等，今天介绍一下由阿里算法团队提出的深度兴趣网络DIN和DIEN两种模型
paper
DIN：https://arxiv.org/abs/1706.06978
DIEN：https://arxiv.org/abs/1809.03672
code
DIN：https://github.com/zhougr1993/DeepInterestNetwork
DIEN：https://github.com/mouna99/dien

DIN
常见的深度学习网络用于推荐或者CTR预估的模式如下：
Sparse Features -> Embedding Vector -> MLPs -> Sigmoid -> Output.
这种方法主要通过DNN网络抽取特征的高阶特征，减少人工特征组合，如wide&deep、deepFM的DNN部分均是采用这种模式，然而阿里的小组经过研究认为还有以下两种特性在线上数据中十分重要的，而当前的模型无法去挖掘

Diversity：用户在浏览电商网站的兴趣多样性。
Local activation: 由于用户兴趣的多样性，只有部分历史数据会影响到当次推荐的物品是否被点击，而不是所有的历史记录。

为了充分挖掘这些特性，联系到attention机制在nlp等领域的大获成功，阿里团队将attention机制引入推荐系统，在向量进入MLP之前先通过attention机制计算用户行为权重，让每个用户预测关注的兴趣点（行为向量）不同。

网络基本结构如上图，Base Model有一个很大的问题，它对用户的历史行为是同等对待的，没有做任何处理，这显然是不合理的。一个很显然的例子，离现在越近的行为，越能反映你当前的兴趣。因此，DIN模型对用户历史行为基于Attention机制进行一个加权

···

def din_fcn_attention(query, facts, attention_size, mask, stag='null', mode='SUM', softmax_stag=1, time_major=False, return_alphas=False, forCnn=False):

if isinstance(facts, tuple):
    # In case of Bi-RNN, concatenate the forward and the backward RNN outputs.
    facts = tf.concat(facts, 2)
if len(facts.get_shape().as_list()) == 2:
    facts = tf.expand_dims(facts, 1)
if time_major:
    # (T,B,D) => (B,T,D)
    facts = tf.array_ops.transpose(facts, [1, 0, 2])

mask = tf.equal(mask,tf.ones_like(mask))
facts_size = facts.get_shape().as_list()[-1] # Hidden size for rnn layer

query = tf.layers.dense(query,facts_size,activation=None,name='f1'+stag)
query = prelu(query)
queries = tf.tile(query,[1,tf.shape(facts)[1]]) # Batch * Time * Hidden size
queries = tf.reshape(queries,tf.shape(facts))

din_all = tf.concat([queries,facts,queries-facts,queries*facts],axis=-1) # Batch * Time * (4 * Hidden size)
d_layer_1_all = tf.layers.dense(din_all, 80, activation=tf.nn.sigmoid, name='f1_att' + stag)
d_layer_2_all = tf.layers.dense(d_layer_1_all, 40, activation=tf.nn.sigmoid, name='f2_att' + stag)
d_layer_3_all = tf.layers.dense(d_layer_2_all, 1, activation=None, name='f3_att' + stag) # Batch * Time * 1

d_layer_3_all = tf.reshape(d_layer_3_all,[-1,1,tf.shape(facts)[1]])  # Batch * 1 * time
scores = d_layer_3_all

key_masks = tf.expand_dims(mask,1) # Batch * 1 * Time
paddings = tf.ones_like(scores) * (-2 ** 32 + 1)

if not forCnn:
    scores = tf.where(key_masks, scores, paddings)  # [B, 1, T] ，没有的地方用paddings填充

# Activation
if softmax_stag:
    scores = tf.nn.softmax(scores)  # [B, 1, T]

# Weighted sum
if mode == 'SUM':
    output = tf.matmul(scores,facts) # Batch * 1 * Hidden Size
else:
    scores = tf.reshape(scores,[-1,tf.shape(facts)[1]]) # Batch * Time
    output = facts * tf.expand_dims(scores,-1) # Batch * Time * Hidden Size
    output = tf.reshape(output,tf.shape(facts))
if return_alphas:
    return output,scores
else:
    return output

···
以上是其中attention的核心代码

DIEN
在用DIN解决了用户的兴趣不同的问题后，模型还存在以下问题
1）用户的兴趣是不断进化的，而DIN抽取的用户兴趣之间是独立无关联的，没有捕获到兴趣的动态进化性
2）通过用户的显式的行为来表达用户隐含的兴趣，这一准确性无法得到保证。

为了解决以上两个问题，阿里算法又提出了DIEN模型