随笔分类 -  Transformer

摘要:图神经网络(GNN)在多模态数据整合方面有着广泛的应用,主要是因为GNN能够有效地捕捉各种模态之间的复杂关系和依赖。以下是GNN在多模态数据整合中几种常见的用途和应用场景: 1. 社交网络分析 场景:社交网络中的数据通常包含多种模态的信息,如用户的文本、图像、视频、社交关系等。 应用: 社区发现:G 阅读全文
posted @ 2024-06-24 13:40 管道工人刘博 阅读(232) 评论(0) 推荐(0) 编辑
摘要:递归神经网络(RNN)和Transformer是两种广泛应用于序列数据处理的神经网络架构,它们在设计原理、应用场景以及性能表现上有显著的区别和联系。 RNN(Recurrent Neural Network) 基本概念 RNN是一种能够处理序列数据的神经网络,每个时刻的输出依赖于当前输入和前一个时刻 阅读全文
posted @ 2024-06-24 09:48 管道工人刘博 阅读(258) 评论(0) 推荐(0) 编辑
摘要:什么是点积注意力、加性注意力和缩放点积注意力?点积注意力(Dot Product Attention):点积注意力是一种注意力机制,用于计算输入向量之间的相似度。它通过计算两个向量的点积来度量它们的相似程度,然后对结果进行归一化处理得到注意力权重。点积注意力的计算公式如下: 注意力权重 = soft 阅读全文
posted @ 2023-06-18 21:17 管道工人刘博 阅读(3629) 评论(0) 推荐(0) 编辑
摘要:相似度计算方法有很多种,以下是一些常用的算法: 1. 余弦相似度(Cosine Similarity):用于计算向量之间的相似度,常用于文本数据的相似度计算。它通过计算两个向量之间的夹角余弦值来衡量它们的相似程度,取值范围为[-1, 1],值越接近1表示越相似。 2. 欧氏距离(Euclidean 阅读全文
posted @ 2023-06-18 21:15 管道工人刘博 阅读(2521) 评论(0) 推荐(0) 编辑
摘要:查询和键的联合嵌入空间查询和键的联合嵌入空间是指在注意力机制中,将查询(Q)和键(K)映射到相同的嵌入空间,以便计算它们之间的相似度或相关性。 在注意力机制中,我们使用查询向量(Q)来表示我们要关注的内容或信息,而键向量(K)表示我们要对其进行关注的内容或信息。通过将查询和键映射到相同的嵌入空间,我 阅读全文
posted @ 2023-06-18 21:11 管道工人刘博 阅读(188) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示