Milvus向量数据库入门实践

Milvus是一个开源的向量数据库,可以处理万亿级向量相似性搜索和分析。

 


非结构化数据呈爆炸式增长。而我们可以通过机器学习模型,将非结构化数据转化为 embedding 向量,随后处理分析这些数据。在此过程中,向量数据库应运而生。向量数据库是一套全托管的非结构化数据处理解决方案,可用于存储、索引、检索 embedding 向量。

什么是向量(Vector)?

向量是一系列数值,它们表达了浮点在多个维度上的位置。

用更通俗的语言来说,向量是一个数字列表,比如:[0.34, 2.35, 8.34, 8, 9, ...]。这些数字指出了空间内的一个位置,就像在电子表格中行号和列号指出特定单元格的位置一样(例如,“B7”)。


什么是向量数据库(Vector Database)?
向量数据库是一种以数学表示形式存储数据的数据库。向量数据库使机器学习模型更容易记住之前的输入,允许利用机器学习来支持搜索、推荐和文本生成等用例。数据可以基于相似度度量而非精确匹配来识别,使得计算机模型能够在上下文中理解数据。

当一个人访问一家鞋店时,销售员可能会推荐与个人偏好相似的鞋子。同样地,当在电子商务商店购物时,商店可能会在“客户还购买了...”这样的标题下推荐相似的商品。向量数据库使得机器学习模型能够识别类似的对象,就像销售员能够找到相似的鞋子,电子商务商店可以推荐相关产品一样。事实上,电子商务商店可能就是使用这样的机器学习模型来进行推荐的。

向量数据库主要用于图像检索、音频检索、文本检索等领域,其主要特点是能够高效地存储和检索大规模的向量数据。向量数据库用专门的数据结构和算法来处理向量之间的相似性计算和查询。通过构建索引结构,向量数据库可以快速找到最相似的向量,以满足各种应用场景中的查询需求。

Milvus向量数据库是在2019年创建的,其唯一目标是存储、索引和管理由深度神经网络和其他机器学习(ML)模型生成的大规模嵌入向量。

作为一个专门设计用于处理输入向量查询的数据库,它能够处理万亿级别的向量索引。与现有的关系型数据库主要处理遵循预定义模式的结构化数据不同,Milvus从底层设计用于处理从非结构化数据转换而来的嵌入向量。

本专栏介绍Milvus向量数据库的一些基础操作和入门开发实践,包括向量数据库的入门介绍、安装启动、PyMilvus库、Attu图形化管理工具、Zilliz Cloud云环境、开发入门实践等等。

 


专栏大纲

传统关系型数据库更适合用来应对结构化的数据,关系型数据库采用表格的形式来组织和存储数据,使用行和列的结构来表示实体和属性之间的关系。数据以结构化的方式存储,需要定义表的结构和字段类型。

 


向量数据库专门用于存储和查询向量数据。它将向量作为数据的核心组成部分,提供了专门的向量字段类型和索引结构来支持高效的向量相似性搜索。

大模型和神经网络,更多面对的是海量的非结构化数据,比如文本、音频、视频、关系等。它们有一种专门的处理方式:“向量化”。想要按这种方式组织数据,需要一个专门的数据库——向量数据库(Vector Database)。把复杂的非结构化数据通过向量化(embedding),处理统一成多维空间里的坐标值,通过计算向量之间的相似度或距离,快速定位最相关的近似值。

当前市面上的向量数据库也随着AI的火热如雨后春笋般出现。Milvus 向量数据库专为向量查询与检索设计,能够为万亿级向量数据建立索引。与现有的主要用作处理结构化数据的关系型数据库不同,Milvus 在底层设计上就是为了处理由各种非结构化数据转换而来的向量而生。

 


Milvus拥有最高的GitHub星级评级和强大的社区支持,有数量众多的企业信任这个向量数据库来满足业务需求。Milvus 是一款云原生的开源向量数据库,专为向量相似性搜索和 AI 应用赋能。

 


Milvus 于 2019 年开源,可用于存储、索引和管理由深度神经网络学习与其他机器学习模型生成的海量向量。Zilliz 将 Milvus 作为孵化项目贡献给 LF AI & Data 基金会。Milvus 项目于 2021 年 6 月正式毕业,现已成为向量数据库业内领导者。

Milvus在机器学习和数据科学领域获得了很高的声誉,在向量索引和查询方面拥有出色的能力。利用功能强大的算法,Milvus提供闪电般的处理和数据检索速度以及GPU支持,即使在处理非常庞大的数据集时也是如此。Milvus还可以与PyTorch和TensorFlow等其他流行的框架集成,从而允许将其添加到现有的机器学习工作流中。

本专栏介绍Milvus向量数据库的一些基础操作和入门开发实践,包括向量数据库的入门介绍、安装启动、PyMilvus库、Attu图形化管理工具、Zilliz Cloud云环境、开发入门实践等等。
posted @ 2024-05-21 23:25  Rickie  阅读(312)  评论(0编辑  收藏  举报