NN[神经网络]中embedding的dense和sparse是什么意思？

NN[神经网络]中embedding的dense和sparse是什么意思？

　　dense 表示稠密，在embedding中的dense时：

　　　　假设我们有这样一个句子： “北京是北京”，我们将其数值化表示为：

　　　　　

 

 

dense embedding，需要你讲它转换成onehot表示：

           

 

假设embedding对输出size=3,也就是hidden层的size=3*3;

eg:   

　　　　 

 

 

那么dense layer的计算过程就是一个矩阵相乘：

 

 

 

 

 

 ....

 

 

 整个流程展开来看就是：

 

 

 

 

 

 

 

你会看到这个过程： 1. 计算量非常巨大 ,这个回想一下矩阵乘法的复杂度就知道O((N*M)*(M*M)), 2.而且对于输入来说，转换的矩阵也很巨大(就是vocabulary有多大，这个列就有多大，你想想当vocabulary=500w时，这个输入input的表示矩阵大不大).

那么有没有方法，优化一下这两个问题（计算量大，输入尺寸也大）呢？

 sparse ： 表示稀疏，在embedding中的dense时：

 　 同样假设我们有这样一个句子： “北京是北京”，我们将其数值化表示为：

                                  

 sparse embedding，不需要你转换乘onehot编码格式：

　　那么，它是如何计算的呢？

　　　　　　假设embedding对输出size=3,也就是hidden层的size=3*3;

　　　　 eg:   

　　　　        

那么sparse layer的计算过程的“矩阵相乘”（相当于一个查表的过程，所以有lookup_table这个表述）：

       

这个计算过程为：

->   ->

 

 

 ->

最终得到：

 

 

 

 

 你会看到，dense和sparse结果都一样，但是这个计算量变成列O(（N*1)*（M*M）) 减少列一个量级. 而且输入input的vec也极大的缩小了，毕竟存储的是index嘛.

那么会到我们开始的问题，NN[神经网络]中embedding的dense和sparse是什么意思？

　　　　结合上面的例子的计算过程，dense embedding 就是要求输入必须为onehot,sparse embedding 不需要.

　那么在扩大一点，NN[神经网络]中的dense和sparse是什么意思？

　　　　dense和sparse描述的是该层hidden layer和前后层的网络连接情况，如果hidden layer 和前一层以及后一层参数连接多，我们就说他是dense layer,比如全连接层(fc),相反，如果连接数比较少，我们说它是sparse layer。