余弦相似度（Cosine Similarity）

原理

余弦相似度是一种衡量两个向量之间相似性的方法，它基于向量之间的夹角余弦值来计算。在文本挖掘、推荐系统等领域，余弦相似度被广泛应用来度量文档、用户偏好等对象之间的相似性。

定义

余弦相似度通过计算两个向量之间的夹角余弦值来衡量它们的相似性。余弦值越接近1，夹角越小，说明两个向量越相似；余弦值越接近-1，夹角越大，说明两个向量越不相似；余弦值为0时，两个向量正交，表示它们之间没有相关性。

引伸义

余弦相似度在推荐系统、文本分类、信息检索等领域有广泛应用。例如，在推荐系统中，可以通过计算用户的历史偏好向量和物品特征向量之间的余弦相似度，来推荐与用户兴趣最相似的物品。

公式

假设有两个向量A和B，它们的余弦相似度可以通过以下公式计算：

其中：

是向量A和B的点积（dot product）

分别是向量A和B的模（magnitude，即长度）。

在文本处理中，每个文本（例如，一个文档或一个句子）可以被表示为一个向量，向量的每个维度通常对应一个词（或者词的特征，如TF-IDF值）。通过计算两个文本向量之间的余弦相似度，我们可以得到这两个文本之间的相似程度。

余弦相似度的值域在-1到1之间：

如果值为1，表示两个向量完全相同。
如果值为-1，表示两个向量方向完全相反。
如果值为0，表示两个向量正交（即，它们不共享任何相同的维度）。

通常，在文本处理中，余弦相似度值越接近1，两个文本就越相似。

值得注意的是，余弦相似度只考虑向量的方向，而不考虑其大小（即，向量的模）。因此，它对于具有不同长度的文本向量（即，包含不同数量词汇的文本）也能给出合理的相似性度量。

数据分析

数据准备：首先，我们需要准备两个向量，这些向量可以代表文本、用户偏好、物品特征等。例如，我们有两个用户U1和U2的评分向量，分别表示他们对不同物品的评分。
U1: [5, 3, 0, 1, 4]
U2: [4, 2, 1, 0, 5]
计算点积：然后，我们计算这两个向量的点积。

A = [5, 3, 0, 1, 4]
B = [4, 2, 1, 0, 5]
A ⋅ B = 5*4 + 3*2 + 0*1 + 1*0 + 4*5 = 20 + 6 + 0 + 0 + 20 = 46
计算模长：接下来，我们分别计算这两个向量的模长。

||A|| = √(5^2 + 3^2 + 0^2 + 1^2 + 4^2) = √(25 + 9 + 0 + 1 + 16) = √51
||B|| = √(4^2 + 2^2 + 1^2 + 0^2 + 5^2) = √(16 + 4 + 1 + 0 + 25) = √46
计算余弦相似度：最后，我们用点积除以两个向量模长的乘积，得到余弦相似度。

Cosine Similarity = (A ⋅ B) / (||A|| * ||B||) = 46 / (√51 * √46) ≈ 0.976

Java示例代码

当使用Java来计算两个向量之间的余弦相似度时，你需要确保两个向量的长度是相同的。以下是一个简单的Java示例代码，用于计算两个double数组（表示向量）之间的余弦相似度：

public class CosineSimilarityCalculator {

/**
* 计算两个向量的余弦相似度
*
* @param vectorA 第一个向量
* @param vectorB 第二个向量
* @return 余弦相似度
* @throws IllegalArgumentException 如果两个向量的长度不同
*/
public static double cosineSimilarity(double[] vectorA, double[] vectorB) {
if (vectorA.length != vectorB.length) {
throw new IllegalArgumentException("两个向量的长度必须相同");
}

double dotProduct = 0.0;
double normA = 0.0;
double normB = 0.0;

// 计算点积
for (int i = 0; i < vectorA.length; i++) {
dotProduct += vectorA[i] * vectorB[i];
normA += Math.pow(vectorA[i], 2);
normB += Math.pow(vectorB[i], 2);
}

// 计算模长
double magnitudeA = Math.sqrt(normA);
double magnitudeB = Math.sqrt(normB);

// 防止除以0
if (magnitudeA == 0 || magnitudeB == 0) {
return 0.0; // 如果其中一个向量为零向量，则余弦相似度为0
}

// 计算余弦相似度
return dotProduct / (magnitudeA * magnitudeB);
}

public static void main(String[] args) {
double[] vectorA = {5, 3, 0, 1, 4};
double[] vectorB = {4, 2, 1, 0, 5};

try {
double similarity = cosineSimilarity(vectorA, vectorB);
System.out.println("Cosine Similarity: " + similarity);
} catch (IllegalArgumentException e) {
System.out.println(e.getMessage());
}
}
}

在这个示例中，cosineSimilarity 方法接受两个 double 数组作为参数，并返回它们的余弦相似度。如果两个向量的长度不同，它将抛出一个 IllegalArgumentException。在 main 方法中，我们创建了两个示例向量，并调用了 cosineSimilarity 方法来计算并打印它们的余弦相似度。

常见的相似度计算方法

posted @ 2024-06-03 15:12 JackYang 阅读(2525) 评论(0) 收藏举报

刷新页面返回顶部