026 Elastic----全文检索技术01---概述及windows安装

用户访问我们的首页，一般都会直接搜索来寻找自己想要购买的商品。
而商品的数量非常多，而且分类繁杂。如何能正确的显示出用户想要的商品，并进行合理的过滤，尽快促成交易，是搜索系统要研究的核心。
面对这样复杂的搜索业务和数据量，使用传统数据库搜索就显得力不从心，一般我们都会使用全文检索技术，比如之前大家学习过的Solr。
不过今天，我们要讲的是另一个全文检索技术：Elasticsearch。

1.简介

Elastic官网：https://www.elastic.co/cn/

Elastic有一条完整的产品线及解决方案：Elasticsearch、Kibana、Logstash等，前面说的三个就是大家常说的ELK技术栈。 

 

1.1 Elasticsearch的概念和特点

网址：https://www.elastic.co/cn/products/elasticsearch

 

Elasticsearch和MongoDB/Redis/Memcache一样，是非关系型数据库。是一个接近实时的搜索平台，从索引这个文档到这个文档能够被搜索到只有一个轻微的延迟，企业应用定位：采用Restful API标准的可扩展和高可用的实时数据分析的全文搜索工具。
可拓展：支持一主多从且扩容简易，只要cluster.name一致且在同一个网络中就能自动加入当前集群；本身就是开源软件，也支持很多开源的第三方插件。
高可用：在一个集群的多个节点中进行分布式存储，索引支持shards和复制，即使部分节点down掉，也能自动进行数据恢复和主从切换。
采用RestfulAPI标准：通过http接口使用JSON格式进行操作数据。

数据存储的最小单位是文档，本质上是一个JSON 文本：

 

如上所述，Elasticsearch具备以下特点：

  • 分布式，无需人工搭建集群（solr就需要人为配置，使用Zookeeper作为注册中心）

  • Restful风格，一切API都遵循Rest原则，容易上手

  • 近实时搜索，数据更新在Elasticsearch中几乎是完全同步的。

 

1.2 为何使用elasticSearch

实际项目开发中，几乎每个系统都会有一个搜索的功能，数据量少时可以直接从主数据库中比如Mysql搜索，但当搜索做到一定程度时，比如系统数据量上了10亿、100亿条的时候，传统的关系型数据库的I/O性能和统计分析性能就难以满足用户需要了。所以很多公司都会把搜索单独做成一个独立的模块，用ElasticSearch等来实现。虽然内存缓存数据库的读写性能很高，但完全把数据放在内存中是不太现实的，比如到PB级别的数据，按照每个节点96G内存计算，在内存完全装满的数据情况下，需要的机器是：1PB=1024T=1048576G ，节点数就是1048576/96=10922个 ，再考虑到数据备份，节点数还需要翻倍，成本巨大决定了其不现实。
1.3 市场现状

2013年初，GitHub抛弃了Solr，采取ElasticSearch来做PB级的搜索，包括13亿文件和1300亿行代码”。
百度目前广泛使用ElasticSearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等），单集群最大100台机器，200个ES节点，每天导入30TB+数据。

1.4 索引结构

下图是ElasticSearch的索引结构，下边黑色部分是物理结构，上边黄色部分是逻辑结构，逻辑结构也是为了更好的去描述ElasticSearch的工作原理及去使用物理结构中的索引文件。

逻辑结构部分是一个倒排索引表(根据词找文章)：
1、将要搜索的文档内容分词，所有不重复的词组成分词列表。
2、将搜索的文档最终以Document方式存储起来。
3、每个词和docment都有关联。

注意：正排索引(从文章中找词)

现在，如果我们想搜索 quick brown ，我们只需要查找包含每个词条的文档：

两个文档都匹配，但是第一个文档比第二个匹配度更高。如果我们使用仅计算匹配词条数量的简单相似性算法 ，那么，我们可以说，对于我们查询的相关性来讲，第一个文档比第二个文档更佳。

1.5 RESTful应用方法

Elasticsearch提供 RESTful Api接口进行索引、搜索，并且支持多种客户端。

下图是es在项目中的应用方式：

1）用户在前端搜索关键字
2）项目前端通过http方式请求项目服务端
3）项目服务端通过Http RESTful方式请求ES集群进行搜索
4）ES集群从索引库检索数据。

2.ElasticSearch安装与配置

(1)安装配置：

  • 新版本要求至少jdk1.8以上。
  • 支持tar、zip、rpm等多种安装方式。在windows下开发建议使用ZIP安装方式。
  • 支持docker方式安装

下载ES: Elasticsearch 6.2.1，解压 elasticsearch-6.2.1.zip

注意：当解压完成后，文件目录中是没有data文件夹的，我们应该自己手动添加。

bin：脚本目录，包括：启动、停止等可执行脚本
config：配置文件目录
data：索引目录，存放索引文件的地方
logs：日志目录
modules：模块目录，包括了es的功能模块
plugins :插件目录，es支持插件机制

(2)配置文件

<1>3个配置文件

ES的配置文件的地址根据安装形式的不同而不同：
使用zip、tar安装，配置文件的地址在安装目录的config下。
使用RPM安装，配置文件在/etc/elasticsearch下。
使用MSI安装，配置文件的地址在安装目录的config下，并且会自动将config目录地址写入环境变量ES_PATH_CONF。

本教程使用的zip包安装，配置文件在ES安装目录的config下。

配置文件如下：

elasticsearch.yml ： 用于配置Elasticsearch运行参数
jvm.options ： 用于配置Elasticsearch JVM设置
log4j2.properties： 用于配置Elasticsearch日志

elasticsearch.yml 配置实例：

cluster.name: leyou
node.name: ly_node_1
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
node.master: true
node.data: true
discovery.zen.ping.unicast.hosts: ["0.0.0.0:9300", "0.0.0.0:9301"]
discovery.zen.minimum_master_nodes: 1
node.ingest: true
bootstrap.memory_lock: false
node.max_local_storage_nodes: 2

path.data: E:\toolsoftware\elasticsearch-6.2.1\data
path.logs: E:\toolsoftware\elasticsearch-6.2.1\logs

http.cors.enabled: true
http.cors.allow-origin: /.*/

注意：根据实际安装目录，修改path.data和path.logs路径配置

常用的配置项如下：

  • cluster.name:配置elasticsearch的集群名称，默认是elasticsearch。建议修改成一个有意义的名称。
  • node.name:节点名，通常一台物理服务器就是一个节点，es会默认随机指定一个名字，建议指定一个有意义的名称，方便管理一个或多个节点组成一个cluster集群，集群是一个逻辑的概念，节点是物理概念，后边章节会详细介绍。
  • path.conf: 设置配置文件的存储路径，tar或zip包安装默认在es根目录下的config文件夹，rpm安装默认在/etc/
  • elasticsearch path.data: 设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开。 path.logs: 设置日志文件的存储路径，默认是es根目录下的logs文件夹 path.plugins: 设置插件的存放路径，默认是es根目录下的plugins文件夹
  • bootstrap.memory_lock: true 设置为true可以锁住ES使用的内存，避免内存与swap分区交换数据。
  • network.host: 设置绑定主机的ip地址，设置为0.0.0.0表示绑定任何ip，允许外网访问，生产环境建议设置为具体的ip。 http.port: 9200 设置对外服务的http端口，默认为9200。
  • transport.tcp.port: 9300 集群结点之间通信端口
  • node.master: 指定该节点是否有资格被选举成为master结点，默认是true，如果原来的master宕机会重新选举新的master。 node.data: 指定该节点是否存储索引数据，默认为true。
  • discovery.zen.ping.unicast.hosts: ["host1:port", "host2:port", "..."] 设置集群中master节点的初始列表。
  • discovery.zen.ping.timeout: 3s 设置ES自动发现节点连接超时的时间，默认为3秒，如果网络延迟高可设置大些。
  • discovery.zen.minimum_master_nodes:主结点数量的最少值 ,此值的公式为：(master_eligible_nodes / 2) + 1 ，比如：有3个符合要求的主结点，那么这里要设置为2。
  • node.max_local_storage_nodes:单机允许的最大存储结点数，通常单机启动一个结点建议设置为1，开发环境如果单机启动多个节点可设置大于1.

 (3)启动ElasticSearch

进入bin目录，在cmd下运行：elasticsearch.bat

可以打开bin目录，双击elasticSearch.bat文件，启动ElasticSearch

 

启动完成后，访问http://localhost:9200/

可见如下内容：

(4)head插件安装

head插件是ES的一个可视化管理插件，用来监视ES的状态，并通过head客户端和ES服务进行交互，比如创建映
射、创建索引等，head的项目地址在https://github.com/mobz/elasticsearch-head 。
从ES6.0开始，head插件支持使得node.js运行

安装步骤：

  • 安装node.js(本机已安装，若没安装，请参考https://www.cnblogs.com/luckyplj/p/11471067.html)
  • 解压所提供的head(此压缩包已经安装了node_modules,即head插件所依赖的包)，只要cmd,进入相应的目录，运行npm run start，注意：若从官方下载的head包默认是没有node_modules文件夹的，需要先执行npm install，在执行npm run start

此时，访问http://localhost:9100/

注意：若出现问题首先考虑

打开浏览器调试工具发现报错：
Origin null is not allowed by Access-Control-Allow-Origin.
原因是：head插件作为客户端要连接ES服务（localhost:9200），此时存在跨域问题，elasticsearch默认不允许跨
域访问。
解决方案：
设置elasticsearch允许跨域访问。
在config/elasticsearch.yml 后面增加以下参数：
#开启cors跨域访问支持，默认为false http.cors.enabled: true #跨域访问允许的域名地址，(允许所有域名)以上使
用正则 http.cors.allow-origin: /.*/
注意：将config/elasticsearch.yml另存为utf-8编码格式。

 

elasticsearch原理介绍：https://www.cnblogs.com/dreamroute/p/8484457.html

Elasticsearch数据库：https://blog.csdn.net/aisemi/article/details/80212836(首先查看，最有价值)

大白话ElasticSearch是什么以及应用场景：https://blog.csdn.net/paicmis/article/details/82535018(次推荐浏览)

ElasticSearch从入门到精通，史上最全：https://blog.csdn.net/JENREY/article/details/81290535

posted @ 2019-09-25 10:02  雨后观山色  阅读(280)  评论(0)  编辑  收藏  举报