全文检索whoosh
这里我们使用了whoosh + django-haystack + jieba 来实现一些小型场景的搜索
准备工作
pip install django==2.2.7
pip install django-haystack==2.8.1
pip install jieba==0.42.1
pip install whoosh==2.7.4
- haystack是django的开源搜索框架，该框架支持Solr,Elasticsearch,Whoosh, *Xapian*搜索引擎，不用更改代码，直接切换引擎，减少代码量。
- 搜索引擎使用Whoosh，这是一个由纯Python实现的全文搜索引擎，没有二进制文件等，比较小巧，配置比较简单，当然性能自然略低。
- 中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持不是太好，故用jieba替换whoosh的分词组件。
1.1 settings中添加 haystack 到Django的 INSTALLED_APPS
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
#hystack要放在应用的上面
'haystack',
'app01.apps.App01Config'
]
1.2 settings中增加搜索引擎配置
'''配置haystack '''
# 全文检索框架配置
HAYSTACK_CONNECTIONS = {
'default': {
# 指定whoosh引擎
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
# 'ENGINE': 'app01.whoosh_cn_backend.WhooshEngine', # whoosh_cn_backend是haystack的whoosh_backend.py改名的文件为了使用jieba分词
# 索引文件路径
'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
}
}
# 添加此项，当数据库改变时，会自动更新索引，非常方便
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
1.3 setting模板路径
TEMPLATES = [
{
'BACKEND': 'django.template.backends.django.DjangoTemplates',
#设置templates为默认的路径
'DIRS': [os.path.join(BASE_DIR,'templates')],
'APP_DIRS': True,
'OPTIONS': {
'context_processors': [
'django.template.context_processors.debug',
'django.template.context_processors.request',
'django.contrib.auth.context_processors.auth',
'django.contrib.messages.context_processors.messages',
],
},
},
]
二、 创建索引
2.1 定义数据库
from django.db import models
# Create your models here.
class UserInfo(models.Model):
name = models.CharField(max_length=254)
age = models.IntegerField()
class ArticlePost(models.Model):
author = models.ForeignKey(UserInfo,on_delete=models.CASCADE)
title = models.CharField(max_length=200)
desc = models.SlugField(max_length=500)
body = models.TextField()
2.2 新建search_indexes.py文件
如果你想针对某个app例如app01做全文检索，则必须在app01的目录下面建立search_indexes.py文件，且文件名不能修改。内容如下：
search_indexes.py中的代码如下：
#! /usr/bin/env python
# -*- coding: utf-8 -*-
from haystack import indexes
from .models import ArticlePost
# 修改此处，类名为模型类的名称+Index，比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex(其实可以随便写)
class ArticlePostIndex(indexes.SearchIndex, indexes.Indexable):
# text为索引字段
# document = True，这代表haystack和搜索引擎将使用此字段的内容作为索引进行检索
# use_template=True 指定根据表中的那些字段建立索引文件的说明放在一个文件中
text = indexes.CharField(document=True, use_template=True)
# 对那张表进行查询
def get_model(self): # 重载get_model方法，必须要有！
# 返回这个model
return ArticlePost
# 建立索引的数据
def index_queryset(self, using=None):
# 这个方法返回什么内容，最终就会对那些方法建立索引，这里是对所有字段建立索引
return self.get_model().objects.all()
2.3 指定索引模板文件
# 创建文件路径命名必须这个规范：templates/search/indexes/应用名称/模型类名称_text.txt # templates/search/indexes/jsapp/articlepost_text.txt
articlepost_text.txt中定义的数据为
{{ object.title }}
{{ object.author.name }}
{{ object.body }}
2.4 使用索引命令
python manage.py rebuild_index # 建立索引文件
2 .5 替换成jieba分词
'''1.复制源码中文件并改名 '''
将 C:\python37\Lib\site-packages\haystack\backends\whoosh_backend.py文件复制到项目中
并将 whoosh_backend.py改名为 whoosh_cn_backend.py 放在APP中如：jsapp\whoosh_cn_backend.py
'''2.修改源码中文件'''
# 在全局引入的最后一行加入jieba分词器
from jieba.analyse import ChineseAnalyzer
# 修改为中文分词法
查找
analyzer=StemmingAnalyzer()
改为
analyzer=ChineseAnalyzer()
源码有点多自己看
索引文件使用
#子路由
from django.conf.urls import url
from . import views as view
urlpatterns=[
url(r'abc/$', view.basic_search),
]
views代码示例
from django.shortcuts import render
# Create your views here.
# Create your views here.
import json
from django.conf import settings
from django.core.paginator import InvalidPage, Paginator
from django.http import Http404, HttpResponse,JsonResponse
from haystack.forms import ModelSearchForm
from haystack.query import EmptySearchQuerySet
RESULTS_PER_PAGE = getattr(settings, 'HAYSTACK_SEARCH_RESULTS_PER_PAGE', 20)
def basic_search(request, load_all=True, form_class=ModelSearchForm, searchqueryset=None, extra_context=None, results_per_page=None):
query = ''
results = EmptySearchQuerySet()
if request.GET.get('q'):
form = form_class(request.GET, searchqueryset=searchqueryset, load_all=load_all)
if form.is_valid():
query = form.cleaned_data['q']
results = form.search()
else:
form = form_class(searchqueryset=searchqueryset, load_all=load_all)
paginator = Paginator(results, results_per_page or RESULTS_PER_PAGE)
try:
page = paginator.page(int(request.GET.get('page', 1)))
except InvalidPage:
# raise InvalidPage
result = {"code": 404, "msg": 'No file found！', "data": []}
return HttpResponse(json.dumps(result), content_type="application/json")
context = {
'form': form,
'page': page,
'paginator': paginator,
'query': query,
'suggestion': None,
}
if results.query.backend.include_spelling:
context['suggestion'] = form.get_suggestion()
if extra_context:
context.update(extra_context)
jsondata = []
print(len(page.object_list))
for result in page.object_list:
data = {
'pk': result.object.pk,
'title': result.object.title,
'content': result.object.body,
}
jsondata.append(data)
result = {"code": 200, "msg": 'Search successfully！', "data": jsondata}
return JsonResponse(result, content_type="application/json")
效果展示
