NN[神经网络]中embedding的dense和sparse是什么意思?

NN[神经网络]中embedding的dense和sparse是什么意思?

  dense 表示稠密,在embedding中的dense时:

    假设我们有这样一个句子: “北京是北京”,我们将其数值化表示为:

     

 

 

dense embedding,需要你讲它转换成onehot表示:

           

 

假设embedding对输出size=3,也就是hidden层的size=3*3;

eg:   

     

 

 

那么dense layer的计算过程就是一个矩阵相乘:

 

 

 

 

 

 ....

 

 

 整个流程展开来看就是:

 

 

 

 

 

 

 

你会看到这个过程: 1. 计算量非常巨大 ,这个回想一下矩阵乘法的复杂度就知道O((N*M)*(M*M)), 2.而且对于输入来说,转换的矩阵也很巨大(就是vocabulary有多大,这个列就有多大,你想想当vocabulary=500w时,这个输入input的表示矩阵大不大).

那么有没有方法,优化一下这两个问题(计算量大,输入尺寸也大)呢?

 sparse : 表示稀疏,在embedding中的dense时:

   同样假设我们有这样一个句子: “北京是北京”,我们将其数值化表示为:

                                  

 sparse embedding,不需要你转换乘onehot编码格式:

  那么,它是如何计算的呢?

      假设embedding对输出size=3,也就是hidden层的size=3*3;

     eg:   

            

那么sparse layer的计算过程的“矩阵相乘”(相当于一个查表的过程,所以有lookup_table这个表述):

       

这个计算过程为:

->   ->

 

 

 ->

最终得到:

 

 

 

 

 你会看到,dense和sparse结果都一样,但是这个计算量变成列O((N*1)*(M*M)) 减少列一个量级. 而且输入input的vec也极大的缩小了,毕竟存储的是index嘛.

那么会到我们开始的问题,NN[神经网络]中embedding的dense和sparse是什么意思?

    结合上面的例子的计算过程,dense embedding 就是要求输入必须为onehot,sparse embedding 不需要.

 那么在扩大一点,NN[神经网络]中的dense和sparse是什么意思?

    dense和sparse描述的是该层hidden layer和前后层的网络连接情况,如果hidden layer 和前一层以及后一层参数连接多,我们就说他是dense layer,比如全连接层(fc),相反,如果连接数比较少,我们说它是sparse layer。

 

 

 

  

posted @ 2020-06-09 18:51  龚细军  阅读(5137)  评论(0编辑  收藏  举报