Docker/Docker Compose部署ELK
目录
Docker/Docker Compose部署ELK
Docker下安装ELK
- 搜索elk镜像
docker search sebp/elk
- 拉取elk镜像
docker pull sebp/elk:latest
- 运行容器
sudo docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -d --name log-platform --restart always sebp/elk
遇到报错信息
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]]
解决方案：
永久解决：在/etc/sysctl.conf文件最后添加一行：vm.max_map_count=262144 重启虚拟机
临时解决：sysctl -w vm.max_map_count=262144
vi /etc/sysctl.confvm.max_map_count=655360sysctl -p- 重启es
DockerCompose 部署ELK
原文链接：https://blog.csdn.net/bshhr/article/details/122689931
准备工作
相关文件结构
修改系统的vm.max_map_count
基于elk-docker Prerequisites的说明，需要将系统的vm.max_map_count设置为262144或更多。
- 修改文件/etc/sysctl.conf
sudo vi /etc/sysctl.conf
- 增加以下属性
vm.max_map_count=262144
- 查看修改结果
sysctl -p
安装和配置ELK服务
获取sebp/elk的原始配置文件
// 在运行容器并且把容器里的配置cp到宿主机当中
docker run --name elk sebp/elk
docker cp -a elk:/opt/kibana/config/kibana.yml ./kibana
docker cp -a elk:/opt/logstash/config ./logstash/config
//然后删除刚才创建的容器
docker stop -f elk
docker rm -f elk
编写docker-compose文件
version: '3'
services:
elk:
image: sebp/elk
container_name: elk
restart: always
ports:
- "5601:5601"
- "9200:9200"
- "5044:5044"
volumes:
- /opt/docker/elk/elasticsearch/data:/var/lib/elasticsearch
- /opt/docker/elk/logstash/conf.d:/etc/logstash/conf.d
- /opt/docker/elk/logstash/config:/opt/logstash/config
- /opt/docker/elk/kibana/kibana.yml:/opt/kibana/config/kibana.yml
networks:
- elk_net
environment:
- TZ=Asia/Shanghai
networks:
elk_net:
external: true
单机版docker-compose文件
version: '3'
services:
elk:
image: sebp/elk
container_name: elk
restart: always
ports:
- "5601:5601"
- "9200:9200"
- "5044:5044"
volumes:
- /home/elk/elasticsearch/data:/var/lib/elasticsearch
- /home/elk/logstash/conf.d:/etc/logstash/conf.d
- /home/elk/logstash/config:/opt/logstash/config
- /home/elk/kibana/kibana.yml:/opt/kibana/config/kibana.yml
environment:
- TZ=Asia/Shanghai
配置Logstash
创建配置文件
vi ./logstash/conf.d/yourconfigname.conf
根据需求配置文件内容
input {
beats {
port => 5044
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
hosts => ["http://localhost:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
}
}
汉化kibana
修改配置文件
vi ./kibana/kibana.yml
在文件末尾增加如下内容
i18n.locale: "zh-CN"
启动ELK
docker-compose -f ./docker-compose.yml up -d
启动完成后访问 http://ip:5601
安装IK分词器
下载elasticsearch-analysis-ik 分词器
注意查看es版本信息：通过localhost:9200查看es版本信息，保持ik版本和es一致。
cd /home/elk
mkdir cd analysis-ik
cd analysis-ik/
## 下载ik分词器压缩包
wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.10.2/elasticsearch-analysis-ik-7.10.2.zip
## 将zip 包解压到指定目录
unzip -o elasticsearch-analysis-ik-8.1.0.zip -d /home/elk/analysis-ik/elasticsearch-analysis-ik-8.1.0
将解压好的IK插件复制到镜像内
/home/elk/analysis-ik# docker cp elasticsearch-analysis-ik-8.1.0 b5b486492ab4:/opt/elasticsearch/plugins
重启ELK
docker restart b5b486492ab4
查看是否生效
Kibana 开发者工具中，输入以下内容，查看是否分词成功：
POST _analyze
{
"analyzer": "ik_smart",
"text": "我是中国人"
}
POST _analyze
{
"analyzer": "ik_max_word",
"text": "我是中国人"
}
分词后的效果，显示如下内容表示安装成功。
{
"tokens" : [
{
"token" : "我",
"start_offset" : 0,
"end_offset" : 1,
"type" : "CN_CHAR",
"position" : 0
},
{
"token" : "是",
"start_offset" : 1,
"end_offset" : 2,
"type" : "CN_CHAR",
"position" : 1
},
{
"token" : "中国人",
"start_offset" : 2,
"end_offset" : 5,
"type" : "CN_WORD",
"position" : 2
}
]
}
查看ES版本号与IK分词器版本
https://github.com/medcl/elasticsearch-analysis-ik/blob/master/README.md
下载对应的版本
https://github.com/medcl/elasticsearch-analysis-ik/releases
报错
启动docker-compose报错：network elk_net declared as external, but could not be found
解决办法：启动前手动创建elk_net
docker network create --driver overlay elk_net
如果不需要集群可以使用单机版的docker-compose，就不会有这个报错。
登峰造极的成就源于自律
