175 Golve词向量

$\text{Golve}$算法预处理出二维矩阵$X$，其中$X_{ij}$表示单词$i$出现在单词$j$的上下文的次数。在某些上下文定义（比如定义$i$是$j$的上下文指$i$在$j$的十个临近单词中）下，有$X_{ij}=X_{ji}$.目标函数如下

其中$f$是权重向量，若$X_{ij}=0$，则$f(X_{ij})=0$，这个样子是为了避免计算$\log 0$
视频还说$\theta$和$e$是对称的，没听懂，在视频5:55处

最后还要提一点，我们举例的嵌入矩阵一直是下面这个

每一行似乎可以人为解释（性别，年龄等），但实际上无论我们用什么办法跑出来的嵌入矩阵的每一行都可能是无法解释的。一个很简单的理解方法：假设学出来的嵌入矩阵的每一行是可解释的，若我们有一个可逆矩阵$A$，则有${\theta }^{T}e=(A\theta {)}^T(A^{-T}e)$，这就是将学出来的嵌入矩阵的坐标轴进行了变换，很显然就可以变换到一个我们根本不知道长成什么样子的时空，所以我们是无法保证我们学习出来的嵌入矩阵是可以解释的