Django中全文检索配置总结

haystack官网：http://haystacksearch.org/
whoosh文档： https://whoosh.readthedocs.io/en/latest/

全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。

haystack：全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，。

whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用，

jieba：一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。

创建环境的流程：

1）在虚拟环境中依次安装需要的包。

pip install django-haystack
pip install whoosh
pip install jieba

2）修改test6/settings.py文件，安装应用haystack。

 

INSTALLED_APPS = (
...
'haystack',
)

3）在test6/settings.py文件中配置搜索引擎。

#coding=utf-8
...
HAYSTACK_CONNECTIONS = {
'default': {
#使用whoosh引擎
'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
#索引文件路径
'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
}
}

#当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'、
HAYSTACK_SEARCH_RESULTS_PER_PAGE = 1 # 表示查找到数据的时候每页显示1个

4）在test6/urls.py中添加搜索的配置。

url(r'^search/', include('haystack.urls')),

创建引擎及索引(注意名字必须相同)

1）在booktest目录下创建search_indexes.py文件。

#coding=utf-8
from haystack import indexes
from models import GoodsInfo

#指定对于某个类的某些数据建立索引
class GoodsInfoIndex(indexes.SearchIndex, indexes.Indexable):
    text = indexes.CharField(document=True, use_template=True)
    # 生成的内容放在text属性里面
    def get_model(self):
        return GoodsInfo

    def index_queryset(self, using=None):
        return self.get_model().objects.all()

2）在templates目录下创建"search/indexes/booktest/"目录。目录里面创建goodsinfo_text.txt文件：

注意：以上的文件文件名不能改变--->booktest为应用的名字：文件名为模型类名_text.txt

3）在上面的目录中创建"goodsinfo_text.txt"文件。

#指定索引的属性
{{object.gcontent}}

4）找到虚拟环境py_django下的haystack目录。

home/python/.virtualenvs/py_django/lib/python2.7/site-packages/haystack/backends/

5）在上面的目录中创建ChineseAnalyzer.py文件。

import jieba
from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=False, removestops=True,
                 start_pos=0, start_char=0, mode='', **kwargs):
        t = Token(positions, chars, removestops=removestops, mode=mode,
                  **kwargs)
        seglist = jieba.cut(value, cut_all=True)
        for w in seglist:
            t.original = t.text = w
            t.boost = 1.0
            if positions:
                t.pos = start_pos + value.find(w)
            if chars:
                t.startchar = start_char + value.find(w)
                t.endchar = start_char + value.find(w) + len(w)
            yield t

def ChineseAnalyzer():
    return ChineseTokenizer()
View Code

6）复制whoosh_backend.py文件，改为如下名称：

注意：复制出来的文件名，末尾会有一个空格，记得要删除这个空格。

whoosh_cn_backend.py

7）打开复制出来的新文件，引入中文分析类，内部采用jieba分词。

from .ChineseAnalyzer import ChineseAnalyzer

8）更改词语分析类。

查找
analyzer=StemmingAnalyzer()
改为
analyzer=ChineseAnalyzer()

9）初始化索引数据。

python manage.py rebuild_index


10）按提示输入y后回车，生成索引。输入y确定

使用索引


1）在booktest/views.py中定义视图query。

def query(request):
return render(request,'booktest/query.html')

2）在booktest/urls.py中配置。

url(r'^query/', views.query),

3）在templates/booktest/目录中创建模板query.html。

参数q表示搜索内容，传递到模板中的数据为query。

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>query</title>
</head>
<body>
<form action="/search/" method="get">
    <input type="text" name="q"><br>
    <input type="submit">
    
</form>

</body>
</html>
View Code

4）自定义搜索结果模板：在templates/search/目录下创建search.html。

搜索结果进行分页，视图向模板中传递的上下文如下：

  • query：搜索关键字
  • page：当前页的page对象
  • paginator：分页paginator对象

视图接收的参数如下：

  • 参数q表示搜索内容，传递到模板中的数据为query
  • 参数page表示当前页码
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>search</title>
</head>
<body>
<ul>
{# 遍历视图传来的数据 #}
{% for item in page %}
    <li>{{ item.object.id }}---{{ item.object.gcontent|safe }}</li>
{% endfor %}
</ul>
{# 根据page对象获取到paginator对象再获取到页码数的列表 #}
{% for pageindex in page.paginator.page_range %}
    {% if pageindex == page.number %}
        {{ pageindex }}
    {% else %}
        {# q为搜索的关键字  page为页码数 #}
        <a href="?q={{ query}}&page={{ pageindex }}">{{ pageindex }}</a>
    {% endif %}
{% endfor %}
</body>
</html>
View Code

 

posted @ 2017-07-29 20:11  凯哥吧  阅读(546)  评论(0)    收藏  举报