facebook 相似性搜索库 faiss
2018-04-09 09:15 ZealouSnesS 阅读(4543) 评论(0) 编辑 收藏 举报faiss
个人理解:
https://github.com/facebookresearch/faiss 上把代码clone下来,make编译
我们将CNN中经过若干个卷积/激励/池化层后得到的激活映射(向量形式)存储到硬盘上,
Faiss是一个高效的相似性搜索和密集向量聚类的库。它包含了搜索任意大小的向量集合的算法,这些算法可能不适合RAM。它还包含用于评估和参数优化的支持代码。Faiss是用c++编写的,带有Python/numpy的完整包装。一些最有用的算法是在GPU上实现的。它是由Facebook人工智能研究开发的。
稀疏向量:0和1表示的向量
密集向量:实数表示的向量
介绍
Faiss包含了几种相似搜索的方法。它假设实例被表示为向量,并由一个整数来标识,并且向量可以与L2距离或点乘积进行比较。与查询向量相似的向量是那些具有最低L2距离或与查询向量有最高的点积的向量。它也支持余弦相似,因为这是标准化向量上的点积。
大多数的方法,像那些基于二进制矢量和压缩量化码的方法,仅仅使用矢量的压缩表示,不需要保留原向量。这通常以不那么精确的搜索为代价,但这些方法可以在单个服务器上的主存中扩展到数十亿个向量。
GPU实现可以接受CPU或GPU内存的输入。在带有GPU的服务器上,GPU索引可以使用drop-in替换CPU索引(例如,用GpuIndexFlatL2替换IndexFlatL2),并自动处理GPU内存的副本。但是如果输入和输出都驻留在GPU上,结果将会更快。支持单一和多gpu的使用。
建筑
库主要是在c++中实现的,通过CUDA提供可选的GPU支持,以及一个可选的Python接口。CPU版本需要一个BLAS库。它使用Makefile编译,并可以在docker映像中打包。看到安装。
工作方式
Faiss是围绕一个索引类型构建的,它存储了一组向量,并提供了一个函数,用L2和/或点积向量比较来搜索它们。有些索引类型是简单的基线,例如精确搜索。大多数可用的索引结构对应于各种各样的权衡。
搜索时间
搜索质量
每个索引向量使用的内存。
培训时间
非监督培训需要外部数据。
可选的GPU实现提供了可能的(截至2017年3月)最快的精确和近似(压缩域)最近邻搜索实现的高维向量,最快的劳埃德的k-means,和最快的小k选择算法已知。这里详细介绍了实现。
完整的文档做
以下为文件的入口点:
完整的文档,包括教程,FAQ和故障排除部分可以在wiki页面上找到。
doxygen文档提供了每个类的信息。
为了复制我们的研究论文,多义代码和十亿级相似搜索与gpu,请参考基准的README。
加入社区
公开讨论做或问题,有一个Facebook公开讨论组在https://www.facebook.com/groups/faissusers/
我们监视存储库的问题页面。你可以报告错误,提出问题,等等。