向量数据库的崛起:从矢量搜索到深度学习 (二)
前言
在上一节中,我们简要介绍了向量数据库的背景以及对非结构化数据进行向量化的方法,即 Embedding。那么我们如何将这些特征向量应用于搜索任务呢?在搜索任务中,最常见的情况是从数据库中查找与给定向量最相似的数据。因此,我们需要一种能够衡量向量之间相似程度的算法,这也是本节将要介绍的内容。
继续上一节的例子,在如下词频向量中:
极限科技: [ 1 1 1 1 0 0 ]
科技公司: [ 0 0 1 1 1 1 ]
公司 : [ 0 0 0 0 1 1 ]
我们将寻找与“科技”最相似的单词。
科技 : [ 0 0 1 1 0 0 ]
欧几里德距离
欧几里德距离[1](Euclidean distance)是在欧几里德空间中衡量两个点之间距离的一种度量方法。它是最常见和直观的距离度量方法之一,用于计算实数向量空间中两个点之间的直线距离。
对于给定两个向量
我们可以使用如下代码:
import numpy as np
def distance(x, y):
return np.sqrt(np.sum(np.square(x - y)))
来计算给定两个向量的欧几里德距离,例如,“科技”和“极限科技”之间的距离为
distance(
np.array([1, 1, 1, 1, 0, 0]),
np.array([0, 0, 1, 1, 0, 0]),
)
除此之外,还有:
- 欧氏距离(Euclidean metric)
- 曼哈顿距离(Taxicab geometry)
- 切比雪夫距离(Chebyshev distance)
- 闵可夫斯基距离(Minkowski distance)
等其它用来衡量向量之间距离的算法。
范数
范数[2](Norm)是一个将向量映射到非负实数的函数,用于衡量向量的大小或长度。在线性代数中,范数是向量空间中的一种度量,常用于衡量向量的大小、距离和相似性。
在向量空间中,最常见的范数是
不难发现,当 numpy.linalg.norm
来计算给定向量的范数。
余弦相似度
余弦相似度[3](Cosine similarity)是用于衡量两个向量之间的方向相似性的算法,余弦相似度衡量的是两个向量之间的夹角余弦值。它的取值范围在
其中,
from numpy.linalg import norm
def cosine_similarity(x, y):
return np.dot(x, y) / (norm(x) * norm(y))
cosine_similarity(
[1, 1, 1, 1, 0, 0], # 极限科技
[0, 0, 1, 1, 0, 0], # 科技
)
通过以上代码片段,我们可以计算出“科技”与“极限科技”的余弦相似度为
极限科技: 0.70
科技公司: 0.70
公司 : 0.00
通过余弦相似度计算得出的结果与我们的认知是一致的,即在词频统计的向量中,“科技”与“公司”没有相似度,而与“极限科技”和“科技公司”具有相同的相似度。
总结
本节介绍了余弦相似度算法,它可以在向量搜索时用于查找最相似的数据。除此之外,还有其它多种用于衡量候选者与待查找向量相似度(即得分)的算法,例如:
- 内积得分(Dot product)
范数得分( norm score)- 层次聚类得分(Hierarchical clustering score)
- 倒排索引得分(Inverted index score)
这些得分算法应根据具体的应用场景和需求选择使用。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步