11: django-haystack+jieba+whoosh实现全文检索

1.1 haystack简介

　　1、什么是haystack？

　　　　　　1. haystack是django的开源搜索框架，该框架支持Solr,Elasticsearch,Whoosh, *Xapian*搜索引擎，不用更改代码，直接切换引擎，减少代码量。

　　　　　　2. 搜索引擎使用Whoosh，这是一个由纯Python实现的全文搜索引擎，没有二进制文件等，比较小巧，配置比较简单，当然性能自然略低。

　　　　　　3. 中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持不是太好，故用jieba替换whoosh的分词组件。

1.2 haystack配置使用（前后端不分离）

　　  参考博客：https://www.cnblogs.com/gcgc/p/10762416.html

　　1、安装

pip install django-haystack
pip install whoosh
pip install jieba

　　2、在setting.py中配置

'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine'            # 指定使用haystack包中的搜索引擎
C:\python37\Lib\site-packages\haystack\backends\whoosh_backend.py    # 的WhooshEngine类
'''注册app '''
INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    # haystack要放在应用的上面
    'haystack',
    'app01',  # 这个app01是自己创建的app
]


''' 模板路径 '''
TEMPLATES = [
    {
        'DIRS': [os.path.join(BASE_DIR,'templates')],

    },
]


'''配置haystack '''
# 全文检索框架配置
HAYSTACK_CONNECTIONS = {
    'default': {
        # 指定whoosh引擎
        'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
        # 'ENGINE': 'app01.whoosh_cn_backend.WhooshEngine',      # whoosh_cn_backend是haystack的whoosh_backend.py改名的文件为了使用jieba分词
        # 索引文件路径
        'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
    }
}
# 添加此项，当数据库改变时，会自动更新索引，非常方便
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
settings.py

　　3、app01/models.py 定义表

from django.db import models

# Create your models here.
class UserInfo(models.Model):
    name = models.CharField(max_length=254)
    age = models.IntegerField()


class ArticlePost(models.Model):
    author = models.ForeignKey(UserInfo,on_delete=models.CASCADE)
    title = models.CharField(max_length=200)
    desc = models.SlugField(max_length=500)
    body = models.TextField()
app01/models.py

　　4、索引文件生成

　　　　1）在子应用下创建索引文件

　　　　　　在子应用的目录下，创建一个名为 app01/search_indexes.py 的文件

#! /usr/bin/env python
# -*- coding: utf-8 -*-
from haystack import indexes
from .models import ArticlePost

# 修改此处，类名为模型类的名称+Index，比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex(其实可以随便写)
class ArticlePostIndex(indexes.SearchIndex, indexes.Indexable):
    # text为索引字段
    # document = True，这代表haystack和搜索引擎将使用此字段的内容作为索引进行检索
    # use_template=True 指定根据表中的那些字段建立索引文件的说明放在一个文件中
    text = indexes.CharField(document=True, use_template=True)

    # 对那张表进行查询
    def get_model(self):  # 重载get_model方法，必须要有！
        # 返回这个model
        return ArticlePost

    # 建立索引的数据
    def index_queryset(self, using=None):
        # 这个方法返回什么内容，最终就会对那些方法建立索引，这里是对所有字段建立索引
        return self.get_model().objects.all()
app01/search_indexes.py

　　　　2）指定索引模板文件

# 创建文件路径命名必须这个规范：templates/search/indexes/应用名称/模型类名称_text.txt
# templates/search/indexes/app01/articlepost_text.txt
{{ object.title }}
{{ object.author.name }}
{{ object.body }}
templates/search/indexes/app01/articlepost_text.txt

 　　　　3）使用命令创建索引

python manage.py rebuild_index  # 建立索引文件

　　5、全文检索引擎使用

from django.contrib import admin
from django.urls import path,re_path,include

urlpatterns = [
    path('admin/', admin.site.urls),
    re_path(r'app01/', include(('app01.urls', 'app01'), namespace='app01')),
]
urls.py
#! /usr/bin/env python
# -*- coding: utf-8 -*-
from django.conf.urls import url
from haystack.views import SearchView
from app01 import views

urlpatterns=[
    url(r'search/$', SearchView(), name='haystack_search'),
]
app01/urls.py
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta http-equiv="x-ua-compatible" content="IE=edge">
    <meta name="viewport" content="width=device-width, initial-scale=1">
    <title>Title</title>
</head>
<body>
    <div class="col-md-9">
    <div class="row text-center vertical-middle-sm">
        <h1>搜索关键字:{{ query }}</h1>
        <h1>搜索结果:{{ page.object_list }}</h1>
    </div>
　　{# 如果存在搜索关键字 #}
    {% if query %}
        {% for result in page.object_list %}<div class="media">
                <div class="media-body">
                    <h4 class="list-group-item-heading">{{ result.object.title }}</h4>
                    <p class="list-group-item-text">作者：{{ result.object.author.name }}</p>
                    <p class="list-group-item-text">概要：{{ result.object.body|slice:'60'}}</p>
                </div>
            </a>
        </div>
            {% empty %}
            <h3>没有找到相关文章</h3>
        {% endfor %}
    {% endif %}

{#    分页插件，下一页和上一页记得要带上q={{ query }}参数，否则单击下一页时会丢失搜索参数q，而显示出来全部的文章的第二页#}
        <div class="pagination">
            <span class="step-links">
                {% if page.has_previous %}
                    <a href="?q={{ query }}&page={{ page.previous_page_number }}">上一页</a>
                {% endif %}

                <span class="current">
                    Page{{ page.number }} of {{ page.paginator.num_pages }}
                </span>

                {% if page.has_next %}
                    <a href="?q={{ query }}&page={{ page.next_page_number }}">下一页</a>
                {% endif %}
            </span>
        </div>
    </div>
</body>
</html>
templates/search/search.html 路径不可变
python manage.py rebuild_index                      # 重新建立索引文件
http://127.0.0.1:8000/app01/search/?q=天龙八部       # 源码中匹配时 "q" 所以这里不能变

 　　　　　　

 

 

 　　6、替换成jieba分词

 　　　　1）将haystack源码复制到项目中并改名

'''1.复制源码中文件并改名 '''
将 C:\python37\Lib\site-packages\haystack\backends\whoosh_backend.py文件复制到项目中
并将 whoosh_backend.py改名为 whoosh_cn_backend.py 放在APP中如：app01\whoosh_cn_backend.py

'''2.修改源码中文件'''
# 在全局引入的最后一行加入jieba分词器
from jieba.analyse import ChineseAnalyzer

# 修改为中文分词法
查找
analyzer=StemmingAnalyzer()
改为
analyzer=ChineseAnalyzer()

　　　　2）Django内settings内修改相应的haystack后台文件名

# 全文检索框架配置
HAYSTACK_CONNECTIONS = {
    'default': {
        # 指定whoosh引擎
        'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
        # 'ENGINE': 'app01.whoosh_cn_backend.WhooshEngine',      #article.whoosh_cn_backend便是你刚刚添加的文件
        # 索引文件路径
        'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
    }
}
# 添加此项，当数据库改变时，会自动更新索引，非常方便
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
settings.py

 1.3 django-haystack+jieba全文索引（前后端分离版）

https://www.cnblogs.com/crazymagic/p/10046593.html
https://www.jb51.net/article/166095.htm
docker:https://www.cnblogs.com/stellar/p/9967347.html

 

 

 

 

 

 

 

111111111111111111

posted @ 2020-02-25 20:26  不做大哥好多年  阅读(565)  评论(0)  编辑  收藏  举报