2023年2月3日
各向异性
摘要： Transformer生成的各个词向量具有各项异性问题（anisotropic，representation degeneration problem），即词向量都聚集在一个狭小的锥形空间，任何两个词都具备相似度，这个可以通过对词向量矩阵做低秩近似到2维平面可以看出来（即将向量映射到二维），此处的低 阅读全文
posted @ 2023-02-03 18:11 Jary霸 阅读(232) 评论(0) 推荐(0) 编辑