ELK 环境搭建1-Elasticsearch
一、安装前准备
1、节点
192.168.30.41
192.168.30.42
192.168.30.43
2、操作系统： Centos7.5
3、安装包
a、java8： jdk-8u181-linux-x64.tar.gz
b、elasticsearch elasticsearch-6.4.3.tar.gz
4、备注：
相应版本安装包可直接在本人网盘下载，链接：https://pan.baidu.com/s/1cs4IidkSVoMDAdQW93VDYQ
二、开始安装elasticsearch
1、安装java环境，因为elk所有插件都需要用到java环境因此建议将java环境安装到系统环境变量中。
mkdir -p /application/java8
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /application/java8
修改环境变量：vi /etc/profile.d/java.sh
export JAVA_HOME=/application/java8
export PATH=$PATH:$JAVA_HOME/jre/bin:$JAVA_HOME/bin
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
修改权限：chmod 644 /etc/profile.d/java.sh
加载环境变量: source /etc/profile && source /etc/profile.d/java.sh
查看是否生效： 执行java，javac命令
2、安装elasticsearch
useradd -s /sbin/nologin elasticsearch
mkdir -p /application/elk/elasticsearch && chown -R elasticsearch:elasticsearch /application/elk/elasticsearch
su - elasticsearch && cd /application/elk/elasticsearch
然后上传elasticsearch包
tar -zxvf elasticsearch-6.4.3.tar.gz -C /application/elk/elasticsearch && rm -rf elasticsearch-6.4.3.tar.gz
配置elasticsearch环境变量： vim ~/.bash_profile添加如下内容：
export ELASTICSEARCH_HOME=/application/elk/elasticsearch
export PATH=$PATH:$ELASTICSEARCH_HOME/bin
source ~/.bash_profile
添加配置文件： vim /application/elk/elasticsearch/config/elasticsearch.yml
# ---------------------------------- Cluster -----------------------------------
#集群的名称
cluster.name: elk-elasticsearch
# ------------------------------------ Node ------------------------------------
#节点名称,其余2个节点分别为elasticsearch2,elasticsearch3
node.name: elasticsearch1
#指定该节点是否有资格被选举成为master节点，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master
node.master: true
#允许该节点存储数据(默认开启)
node.data: true
##实际生产可以master节点和data数据分离
# ----------------------------------- Paths ------------------------------------
#索引数据的存储路径,多个目录使用 , 分割
path.data: /application/elk/elasticsearch/data/esdata
#日志文件的存储路径
path.logs: /application/elk/elasticsearch/logs
# ----------------------------------- Memory -----------------------------------
#设置为true来锁住内存。因为内存交换到磁盘对服务器性能来说是致命的，当jvm开始swapping时es的效率会降低，所以要保证它不swap
bootstrap.memory_lock: true
# ---------------------------------- Network -----------------------------------
#绑定的ip地址
network.host: 0.0.0.0
#设置对外服务的http端口，默认为9200
http.port: 9200
# 设置节点间交互的tcp端口,默认是9300
transport.tcp.port: 9300
#Elasticsearch将绑定到可用的环回地址，并将扫描端口9300到9305以尝试连接到运行在同一台服务器上的其他节点。
# --------------------------------- Discovery ----------------------------------
##这提供了自动集群体验，而无需进行任何配置。数组设置或逗号分隔的设置。每个值的形式应该是host:port或host
###（如果没有设置，port默认设置会transport.profiles.default.port 回落到transport.tcp.port）。
###请注意，IPv6主机必须放在括号内。默认为127.0.0.1, [::1]
#
discovery.zen.ping.unicast.hosts: ["192.168.30.41:9300", "192.168.30.42:9300", "192.168.30.43:9300"]
#如果没有这种设置,遭受网络故障的集群就有可能将集群分成两个独立的集群 - 分裂的大脑 - 这将导致数据丢失，一般设置(N/2)+1
discovery.zen.minimum_master_nodes: 3
#为了使新加入的节点快速确定master位置，可以将data节点的默认的master发现方式有multicast修改为unicast：选择性配置
# Prevent the "split brain" by configuring the majority of nodes (total number of nodes / 2 + 1):
# ---------------------------------- Gateway -----------------------------------
# ---------------------------------- Various -----------------------------------
http.cors.enabled: true
http.cors.allow-origin: "*"
注意：
a、其中的 node.name 配置每个节点必须不一样
设置启动时节点分配内存量： vim /application/elk/elasticsearch/config/jvm.options 修改：
-Xms512m
-Xmx512m
注意：
a、最小与最大必须设置一样
b、由于jvm内存回收的原因，当内存使用超过32G时，性能会降低，故每个节点推荐最高设置31G
c、elasticsearch 2.x 版本设置内存使用在 $ELASTICSEARCH_HOME/bin/elasticsearch.in.sh中 ES_MIN_MEM=512m 与 ES_MAX_MEM=512m
创建所需目录:
mkdir -p /application/elk/elasticsearch/data/esdata
mkdir -p /application/elk/elasticsearch/logs
3、至此elasticsearch已经安装完成，在其它两个相应节点上分别按照此安装方法安装elasticsearch
注意：
a、其它两个节点上elasticsearch.yml中cluster.name参数都设置为elk-elasticsearch
b、剩余两个节点上elasticsearch.yml中node.name分别为 elasticsearch2 和 elasticsearch3
4、优化所有主机参数，否则无法启动
a、vi /etc/sysctl.conf添加：
vm.max_map_count=655360
然后执行sysctl -p 生效
b、 vi /etc/security/limits.conf 和 vi /etc/security/limits.d/20-nproc.conf添加以下内容：
注意：有两种添加内容的方法，第一种是网上普遍的优化方式，但是在当前版本的elasticsearch中我使用此方式任然无法启动，具体原因不知道是系统原因还是elasticsearch版本原因，因此我使用第二种优化方式使问题得到解决，建议读者先使用第一种优化方式，如果不行请使用第二种优化方式。
方法一：
/etc/security/limits.conf中添加如下内容:
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536
/etc/security/limits.d/20-nproc.conf中添加如下内容：
* soft nproc 65536
root soft nproc unlimited
方法二：
/etc/security/limits.conf中添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
* hard memlock unlimited
* soft memlock unlimited
/etc/security/limits.d/20-nproc.conf中添加如下内容：
* soft nproc 4096
c、重启后执行 ulimit -a 查看是否生效
5、elasticsearch服务相应操作
a、启动
/application/elk/elasticsearch/bin/elasticsearch -d
-d 后台服务的方式启动
如果启动异常，查看日志/application/elk/elasticsearch/logs/elk-elasticsearch.log
b、查看进程
jps
c、停止
kill pid
6、更多elasticsearch操作详见标签下 ELK使用1-elasticsearch使用
三、elasticsearch插件工具head安装
1、ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具，可以对集群进行傻瓜式操作。
a、显示集群的拓扑,并且能够执行索引和节点级别操作
b、搜索接口能够查询集群中原始json或表格格式的检索数据
c、能够快速访问并显示集群的状态
d、有一个输入窗口,允许任意调用RESTful API。这个接口包含几个选项,可以组合在一起以产生有趣的结果;
e、5.0版本之前可以通过plugin安装，直接解压便可运行，很绿色，5.0之后安装就需要使用nodejs，然后以独立服务的方式启动，不太方便，可以直接通过安装谷歌浏览器插件 elasticsearch-head-chrome。
2、开始安装（在任意一台主机上安装即可，这儿我选择的192.168.30.41）
a、首先在es集群所有节点配置文件添加如下内容 vim /application/elk/elasticsearch/config/elasticsearch.yml
http.cors.enabled: true
http.cors.allow-origin: "*"
b、在192.168.30.41上面安装，然后其他主机可以选装，安装方法一样。
安装NodeJS
wget https://npm.taobao.org/mirrors/node/latest-v4.x/node-v4.5.0-linux-x64.tar.gz
tar zxvf node-v4.5.0-linux-x64.tar.gz -C /application/elk/elasticsearch/nodejs/node
rm -f node-v4.5.0-linux-x64.tar.gz
添加环境变量 vim ~/.bash_profile
#node
export NODE_HOME= /application/elk/elasticsearch/nodejs/node
export PATH=$PATH:$NODE_HOME/bin
export NODE_PATH=$NODE_HOME/lib/node_modules
加载环境变量
source ~/.bash_profile
安装npm与grunt
npm install -g cnpm --registry=https://registry.npm.taobao.org
npm install -g grunt
npm install -g grunt-cli --registry=https://registry.npm.taobao.org --no-proxy
下载head插件并安装
wget https://github.com/mobz/elasticsearch-head/archive/master.zip
unzip master.zip
mv elasticsearch-head-master /application/elk/elasticsearch
修改配置文件 vim /application/elk/elasticsearch/elasticsearch-head/Gruntfile.js 修改以下内容（也可以不修改，默认监听9100）
connect: {
server: {
options: {
hostname: '0.0.0.0',
port: 9100,
base: '.',
keepalive: true
}
}
}
修改配置文件 vim /application/elk/elasticsearch/elasticsearch-head/_site/app.js
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.30.41:9200";
如果不修改，默认会连接192.168.30.41,这里可以修改为集群任一主机
下载依赖安装(必须在head插件目录中操作)
cd /application/elk/elasticsearch/elasticsearch-head && npm install
3、相应操作
a、启动。有两种启动方式
方式一：
cd /application/elk/elasticsearch/elasticsearch-head && npm run start
方式二：
cd /application/elk/elasticsearch/elasticsearch-head && grunt server
b、注意
必须在head插件目录中操作
npm 启动方式本质上都是调用grunt启动
两种启动方式都不是后台启动，如需后台运行，请使用nohup
c、访问head
http://192.168.30.41:9100
d、停止head
首先通过 ps aux|grep grunt 查找到进程 pid ，然后 kill pid
