Django rest framework 使用haystack对接Elasticsearch
Elasticsearch 介绍
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
首先安装 java 环境
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
配置java环境变量
(1)新建->变量名"JAVA_HOME"，变量值"C:\Java\jdk1.8.0_05"（即JDK的安装路径）
(2)编辑->变量名"Path"，在原变量值的最后面加上“;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin”
(3)新建->变量名“CLASSPATH”,变量值“.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar”
下载 elasticsearch-rtf
https://github.com/medcl/elasticsearch-rtf
启动 elasticsearch
进入bin 下执行
elasticsearch.bat
drf中使用
Haystack为Django提供了模块化的搜索。它的特点是统一的，熟悉的API，可以让你在不修改代码的情况下使用不同的搜索后端（比如 Solr, Elasticsearch, Whoosh, Xapian 等等）。
我们在django中可以通过使用haystack来调用Elasticsearch搜索引擎。
drf-haystack官方文档: https://drf-haystack.readthedocs.io/en/latest/
环境:django ==1.11.11
1.首先安装相关的依赖包:(这里原作者使用的是drf-haystack,如果项目没有使用drf组件,应该选用haystack包)
pip install drf-haystack pip install elasticsearch==2.4.1
2.在django项目配置文件settings.py中注册应用:
INSTALLED_APPS = [
...
'haystack',
...
]
3.在django项目配置文件settings.py中指定搜索的后端:(指定使用那个搜索引擎,服务器地址的配置,索引库的名称等配置)
# Haystack
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
# 端口号固定为9200
'URL': 'http://192.168.247.128:9200/', # 此处为elasticsearch运行的服务器ip地址，端口号固定为9200
# 指定elasticsearch建立的索引库的名称
'INDEX_NAME': 'meiduo_mall',
# 保存索引文件的路径
# 'PATH': os.path.join(BASE_DIR, 'elastic_index'), # 如果搜索引擎是whoosh, 还需要设置PATH参数
},
}
# 当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
注意：
HAYSTACK_SIGNAL_PROCESSOR 的配置保证了在Django运行起来后，有新的数据产生时，haystack仍然可以让Elasticsearch实时生成新数据的索引
4 创建索引类
通过创建索引类，来指明让搜索引擎对哪些字段建立索引，也就是可以通过哪些字段的关键字来检索数据。
在goods应用目录下新建一个search_indexes.py(固定的)文件，用于存放索引类。search_indexes.py 这个文件名是固定的，你需要对那个应用进行检索，就在那个应用下创建
代码如下
from haystack import indexes from .models import goods class SKUIndex(indexes.SearchIndex, indexes.Indexable): """ 索引类， 告诉haystack在建立数据索引的时候使用 """ text = indexes.CharField(document=True, use_template=True) def get_model(self): """把那个表建立索引""" return goods def index_queryset(self, using=None): """返回要建立索引的数据查询集""" return self.get_model().objects.filter()
说明：
在SKUIndex建立的字段，都可以借助haystack由elasticsearch搜索引擎查
其中text字段我们声明为document=True，表名该字段是主要进行关键字查询的字段， 该字段的索引值可以由多个数据库模型类字段组成，具体由哪些模型类字段组成，我们用use_template=True表示后续通过模板来
指明。其他字段都是通过model_attr选项指明引用数据库模型类的特定字段。
在REST framework中，索引类的字段会作为查询结果返回数据的来源。
5 在templates下面新建目录search/indexes/goods/goodssku_text.txt
goods是和应用的名字对应上，而goodssku是和get_model中对象的名字（小写）对应上的
(关于路径的定义和文件的命名的说明:templates是项目原来的html文件的目录,search是在其下新建的,名称一定,indexes名称也一定,goods是应用的名称,goodssku_text.txt 就是需要进行索引的模型类名的小写 + "_" + 索引类中定义的字段名称(text) + ".txt" )
具体在templates/search/indexes/goods/goods_text.txt文件中定义
{{ object.name }}
{{ object.caption }}
{{ object.id }}
此模板指明当将关键词通过text参数名传递时，可以通过sku的name、caption、id来进行关键字索引查询。
6 手动生成初始索引
python manage.py rebuild_index
7.创建haystack序列化器:(返回查询到的查询集数据)
goods/serializers.py
from rest_framework import serializers from .models import SKU class SKUSerializer(serializers.ModelSerializer): """ SKU序列化器 """ class Meta: model = SKU fields = ('id', 'name', 'price', 'default_image_url', 'comments') from drf_haystack.serializers import HaystackSerializer from .search_indexes import SKUIndex class SKUIndexSerializer(HaystackSerializer): """ SKU索引结果数据序列化器 """ object = SKUSerializer(read_only=True) class Meta: index_classes = [SKUIndex] # text 由索引类进行返回, object 由序列化类进行返回,第一个参数必须是text fields = ( 'text', # 用于接收查询关键字 'object', # 用于返回查询结果 'id', 'name', 'price' )
注意:fields属性的字段名与DemoIndex类的字段对应。
8 创建视图
goods/views.py
from drf_haystack.viewsets import HaystackViewSet from .serializers import SKUIndexSerializer from .models import SKU class SKUSearchViewSet(HaystackViewSet): """ SKU搜索 """ index_models = [SKU] serializer_class = SKUIndexSerializer
这里是通过父类默认的方法进行返回了数据, 可以在视图中对数据进行筛选和处理,详细的使用方法可以去查看官方文档,drf-haystack官方文档:https://drf-haystack.readthedocs.io/en/latest/
注意：
- 该视图会返回搜索结果的列表数据，所以如果可以为视图增加REST framework的分页功能。
- 我们在实现商品列表页面时已经定义了全局的分页配置，所以此搜索视图会使用全局的分页配置。
9 定义路由
通过REST framework的router来定义路由
router = DefaultRouter()
router.register('skus/search', views.SKUSearchViewSet, base_name='skus_search')
...
urlpatterns += router.urls
10 测试
http://api.meiduo.site:8000/skus/search/?text=wifi http://api.meiduo.site:8000/skus/search/?id=1 http://api.meiduo.site:8000/skus/search/?name=iphone
如果在配置完haystack并启动程序后，出现如下异常，是因为drf-haystack还没有适配最新版本的REST framework框架
可以通过修改REST framework框架代码，补充_get_count函数定义即可
文件路径 虚拟环境下的 lib/python3.6/site-packages/rest_framework/pagination.py
def _get_count(queryset):
"""
Determine an object count, supporting either querysets or regular lists.
"""
try:
return queryset.count()
except (AttributeError, TypeError):
return len(queryset)
再次测试
返回的数据举例如下：
{ "count": 10, "next": "http://api.meiduo.site:8000/skus/search/?page=2&text=%E5%8D%8E", "previous": null, "results": [ { "text": "华为 HUAWEI P10 Plus 6GB+64GB 钻雕金 移动联通电信4G手机 双卡双待\nwifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！\n9", "id": 9, "name": "华为 HUAWEI P10 Plus 6GB+64GB 钻雕金 移动联通电信4G手机 双卡双待", "price": "3388.00", "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRcUeAHp9pAARfIK95am88523545", "comments": 0 }, { "text": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕金 移动联通电信4G手机 双卡双待\nwifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！\n10", "id": 10, "name": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕金 移动联通电信4G手机 双卡双待", "price": "3788.00", "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRchWAMc8rAARfIK95am88158618", "comments": 5 } ] }
