Docker部署es与kibana与logstash

一、部署elasticsearch

1. 搜索版本
docker search elasticsearch

2. 拉取镜像
docker pull elasticsearch:7.10.1

3. 创建目录
mkdir -p /docker/elasticsearch/{logs,conf,data,plugins}
# cd /docker/elasticsearch/conf 创建文件elasticsearch.yml
http.host: 0.0.0.0
# 授权
chmod 777 -R /docker/elasticsearch/

4. 启动镜像
docker run -d -p 9200:9200 -p 9300:9300 --restart=always \
-e "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms512m -Xmx2048m" \
-v /docker/elasticsearch/conf/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /docker/elasticsearch/data:/usr/share/elasticsearch/data \
-v /docker/elasticsearch/logs:/usr/share/elasticsearch/logs \
-v /docker/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
--name elasticsearch elasticsearch:7.10.1

5. 访问http://192.168.xx.xx:9200 查看是否成功

6.下载IK分词器安装包
https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.10.1

7. 创建ik插件目录
mkdir -p /docker/elasticsearch/plugins/ik
# 将zip解压，所有文件移置此目录
mv commons-codec-1.9.jar /docker/elasticsearch/plugins/ik/
mv config/ /docker/elasticsearch/plugins/ik/
mv httpclient-4.5.2.jar /docker/elasticsearch/plugins/ik/
mv plugin-descriptor.properties /docker/elasticsearch/plugins/ik/
mv commons-logging-1.2.jar /docker/elasticsearch/plugins/ik/
mv elasticsearch-analysis-ik-7.12.1.jar /docker/elasticsearch/plugins/ik/
mv httpcore-4.4.4.jar /docker/elasticsearch/plugins/ik/
mv plugin-security.policy /docker/elasticsearch/plugins/ik/
# 重启es
docker restart elasticsearch

二、部署kibana

1. 拉取kibana
docker pull kibana:7.10.1

2. 创建目录
mkdir -p /docker/kibana/conf
# cd /docker/kibana/conf 创建文件kibana.yml
server.name: kibana
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://es的ip:9200"]
xpack.monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: "zh-CN"
# 授权
chmod 777 -R /docker/kibana/

3. 启动kibana
docker run -d -p 5601:5601 --restart=always \
--privileged=true \
-v /docker/kibana/conf/kibana.yml:/usr/share/kibana/config/kibana.yml \
--name kibana kibana:7.10.1

4. 访问http://192.168.xx.xx:5601 查看是否成功

 

三、部署logstash

1. 拉取logstash
docker pull logstash:7.10.1

2. 创建目录
mkdir -p /docker/logstash/{conf.d,logs}
# cd /docker/logstash 创建文件logstash.yml
node.name: logstash
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: ["es的ip:9200"] ## xxxx:9200 填写自己的ES服务地址，支持集群
xpack.monitoring.enabled: true
path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash
# cd /docker/logstash/conf.d 创建文件log.conf
input {
　　# 这块基于需求配置。我这边是SpringBoot项目日志直接推送至logstash
　　tcp {
　　　　mode => "server"
　　　　host => "0.0.0.0"
　　　　port => 5044
　　　　codec => json_lines
　　}
　　# 可以配置 filebeat推送
　　# beats {
　　　　# port => 5044
　　# }
　　# 可以配置 自动读取文件地址
　　# file{
　　　　# path=> "/home/jamel/docker/logs/*.log"
　　# }
}
filter {
}
output {
　　# 表示推送到es服务器上
　　elasticsearch {
　　　　# es服务器地址列表
　　　　hosts => ["es的ip:9200"]
　　　　# 每个一个log
　　　　index => "log-%{+YYYY.MM.dd}"
　　}
　　stdout { codec => rubydebug }
}
# 授权
chmod 777 -R /docker/logstash/

3. 启动logstash
docker run -d -p 5044:5044 -p 5045:5045 --restart=always \
-e TZ=Asia/Shanghai \
-e ES_JAVA_OPTS="-Xms1024m -Xmx2048m" \
-v /docker/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml \
-v /docker/logstash/conf.d:/usr/share/logstash/config/conf.d \
-v /docker/logstash/logs:/usr/share/logstash/logs \
--name logstash logstash:7.10.1

4. 查看启动日志
docker logs --tail=10 -f logstash