Elasticsearch（简介及其单节点搭建）
一，概述
官网地址：https://www.elastic.co/cn/products/elasticsearch
Elasticsearch是什么
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web 接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
Elasticsearch不仅仅是Lucene和全文搜索引擎，它还提供：
- 分布式的搜索引擎和数据分析引擎
- 全文检索
- 对海量数据进行近实时的处理
ElasticSearch的应用场景
全文检索：主要和 Solr 竞争，属于后起之秀。
NoSQL JSON文档数据库：主要抢占 Mongo 的市场，它在读写性能上优于 Mongo ，同时也支持地理位置查 询，还方便地理位置和文本混合查询。
监控：统计、日志类时间序的数据存储和分析、可视化，这方面是引领者。
国外：Wikipedia（维基百科）使用ES提供全文搜索并高亮关键字、StackOverflow（IT问答网站）结合全文搜 索与地理位置查询、Github使用Elasticsearch检索1300亿行的代码。
国内：百度（在云分析、网盟、预测、文库、钱包、风控等业务上都应用了ES，单集群每天导入30TB+数据， 总共每天60TB+）、新浪 、阿里巴巴、腾讯等公司均有对ES的使用。
使用比较广泛的平台ELK(ElasticSearch, Logstash, Kibana)。
二 ，基本概念
RESTful介绍
参考资料：
1. http://www.ruanyifeng.com/blog/2011/09/restful.html
2. http://www.ruanyifeng.com/blog/2018/10/restful-api-best-practices.html
REST : 表现层状态转化(Representational State Transfer)，如果一个架构符合REST原则，就称它为 RESTful 架构风 格。
资源： 所谓"资源"，就是网络上的一个实体，或者说是网络上的一个具体信息
表现层：我们把"资源"具体呈现出来的形式，叫做它的"表现层"（Representation）。
状态转化（State Transfer）：如果客户端想要操作服务器，必须通过某种手段，让服务器端发生"状态转 化"（State Transfer）。而这种转化是建立在表现层之上的，所以就是"表现层状态转化"。就是HTTP协议里 面，四个表示操作方式的动词：GET、POST、PUT、DELETE。它们分别对应四种基本操作：GET用来获取资 源，POST用来新建资源（也可以用于更新资源），PUT用来更新资源，DELETE用来删除资源。
Elasticsearch中涉及到的重要概念
接近实时（NRT）
Elasticsearch是一个接近实时的搜索平台。这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延 迟（通常是1秒）
集群（cluster）
一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群 由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集 群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发 也是不错的。
节点（node）
一个节点是你集群中的一个服务器，作为集群的一部分，它存储你的数据，参与集群的索引和搜索功能。和集群类 似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在 启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服 务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫 做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它 们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点， 这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。
索引（index）
一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索 引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这 个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。索引类似于关系型数据库中Database 的概念。在一个集群中，如果你想，可以定义任意多的索引。
类型（type）
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来 定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数 据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可 以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。
文档（document）
一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然， 也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在 的互联网数据交互格式。
在一个index/type里面，只要你想，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之 中，文档必须被索引/赋予一个索引的type。文档类似于关系型数据库中Record的概念。实际上一个文档除了用户定 义的数据外，还包括 in d e x 、 type和_id字段
分片和复制（shards & replicas）
一个索引可以存储超出单个结点硬件限制的大量数据。比如，一个具有10亿文档的索引占据1TB的磁盘空间，而任 一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。
为了解决这个问题，Elasticsearch提供了将索引划分成多份的能力，这些份就叫做分片。当你创建一个索引的时 候，你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”，这个“索引”可以被放置 到集群中的任何节点上。 分片之所以重要，主要有两方面的原因：
1，允许你水平分割/扩展你的内容容量
2，允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量 至于一个 分片怎样分布，它的文档怎样聚合回搜索请求，是完全由Elasticsearch管理的，对于作为用户的你来说，这些 都是透明的。
在一个网络/云的环境里，失败随时都可能发生，在某个分片/节点不知怎么的就处于离线状态，或者由于任何原因 消失了。这种情况下，有一个故障转移机制是非常有用并且是强烈推荐的。为此目的，Elasticsearch允许你创建分 片的一份或多份拷贝，这些拷贝叫做复制分片，或者直接叫复制。复制之所以重要，主要有两方面的原因：
1，在分片/节点失败的情况下，提供了高可用性。因为这个原因，注意到复制分片从不与原/主要 （original/primary）分片置于同一节点上是非常重要的。 2，扩展你的搜索量/吞吐量，因为搜索可以在所有的复制上并行运行
总之，每个索引可以被分成多个分片。一个索引也可以被复制0次（意思是没有复制）或多次。一旦复制了，每个 索引就有了主分片（作为复制源的原来的分片）和复制分片（主分片的拷贝）之别。分片和复制的数量可以在索引 创建的时候指定。在索引创建之后，你可以在任何时候动态地改变复制数量，但是不能改变分片的数量。
默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节 点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。一个 索引的多个分片可以存放在集群中的一台主机上，也可以存放在多台主机上，这取决于你的集群机器数量。主分片 和复制分片的具体位置是由ES内在的策略所决定的。
映射（Mapping）
Mapping是ES中的一个很重要的内容，它类似于传统关系型数据中table的schema，用于定义一个索引（index）的 某个类型（type）的数据的结构。
在ES中，我们无需手动创建type（相当于table）和mapping(相关与schema)。在默认配置下，ES可以根据插入的数 据自动地创建type及其mapping。
mapping中主要包括字段名、字段数据类型和字段索引类
三、Elasticsearch环境搭建
准备工作
CentOS（版本需大于 7 如： C e n t O S - 7 - x 8 6 _6 4 - Minim al- 1 8 0 4.is o ）
Java(版本需大于 1.8 如： jd k - 8 u 1 8 1 -lin u x - x 6 4.r p m )
ES安装包（如： ela s tic s e a r c h - 6.4.0.t a r.g z
环境搭建
。。。此处省去jdk安装
安装ES
[root@localhost ~]# tar -zxvf elasticsearch-6.4.0.tar.gz -C /usr
启动
[root@localhost elasticsearch-6.4.0]# bin/elasticsearch
出现异常： Caused by: java.lang.RuntimeException: can not run elasticsearch as root 原因：ES不允许通过ROOT用户启动
解决方案：
[root@localhost elasticsearch-6.4.0]# groupadd es [root@localhost elasticsearch-6.4.0]# useradd -g es es [root@localhost elasticsearch-6.4.0]# chown -R es:es /usr/elasticsearch-6.4.0/ [root@localhost elasticsearch-6.4.0]# ll
total 436
drwxr-xr-x. 3 es es 4096 Dec 18 01:15 bin
drwxr-xr-x. 2 es es 178 Dec 18 01:16 config
drwxr-xr-x. 3 es es 4096 Aug 17 19:23 lib -rw-r--r--. 1 es es 13675 Aug 17 19:11 LICENSE.txt
drwxr-xr-x. 2 es es 218 Dec 18 01:16 logs
drwxr-xr-x. 27 es es 4096 Aug 17 19:23 modules -rw-r--r--. 1 es es 401465 Aug 17 19:22 NOTICE.txt
drwxr-xr-x. 2 es es 6 Aug 17 19:22 plugins -rw-r--r--. 1 es es 8511 Aug 17 19:11 README.textile [root@localhost elasticsearch-6.4.0]# su es [es@localhost elasticsearch-6.4.0]$ bin/elasticsearch
测试
[root@localhost ~]# curl -X GET localhost:9200 { "name": "x0vIhEF", "cluster_name": "elasticsearch", "cluster_uuid": "Cpga8etSTu6LmcYm35QqkA", "version": { "number": "6.4.0", "build_flavor": "default", "build_type": "tar", "build_hash": "595516e", "build_date": "2018-08-17T23:18:47.308994Z", "build_snapshot": false, "lucene_version": "7.4.0", "minimum_wire_compatibility_version": "5.6.0", "minimum_index_compatibility_version": "5.0.0" }, "tagline": "You Know, for Search" }
配置远程访问
[root@localhost elasticsearch-6.4.0]# vim config/elasticsearch.yml 51 #---------------------------------- Network---------------------------------- 52 # 53 # Set the bind address to a specific IP (IPv4 or IPv6): 54 # 55 network.host: 192.168.XX.XX 56 # 57 # Set a custom port for HTTP: 58 # 59 #http.port: 9200 60 # 61 # For more information, consult the network module documentation. 62 # 63 # --------------------------------- Discovery ---------------------------------
重新启动ES服务，出现异常：
ERROR: [3] bootstrap checks failed [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] [2]: max number of threads [3802] for user [es] is too low, increase to at least [4096] [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决（切换到root用户）：
[root@localhost elasticsearch-6.4.0]# vim /etc/security/limits.conf # 添加以下内容 * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 [root@localhost elasticsearch-6.4.0]# vim /etc/sysctl.conf # 添加以下内容 vm.max_map_count=655360 [root@localhost elasticsearch-6.4.0]# sysctl -p vm.max_map_count = 65536 [root@localhost elasticsearch-6.4.0]# reboot [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
测试访问
