Docker 搭建 ELK 读取微服务项目的日志文件

思路：

　　在docker搭建elasticsearch与kibana来展示日志，在微服务部署的机子上部署logstash来收集日志传到elasticsearch中，通过kibana来展示，logstash使用读取本地文件的方式来获取日志内容

 

1、在192.168.1.18机子中使用 docker-compose 在docker中部署 elasticsearch与kibana

docker-compose.yml脚本如下：

version: '3' 
services: 
  elasticsearch:   
    image: elasticsearch:latest 
    container_name: elasticsearch 
    restart: always 
    networks: 
     - elk 
    ports: 
      - '9200:9200' 
      - '9300:9300' 
    volumes: 
     - /mnt/elk/elasticsearch/data:/usr/share/elasticsearch/data

  kibana:
    image: kibana:latest
    container_name: kibana
    restart: always
    networks:
       - elk
    ports:
       - "5601:5601"
    depends_on:
       - elasticsearch

networks:
    elk:

使用 docker-compose up -d 来执行脚本，执行完成后可以看见容器已经启动

2、在192.168.1.17中部署微服务项目的机子，由于我们微服务部署也是在docker中，所以在启动项目的时候，需要将日志文件目录共享到宿主机上。并且所有的项目的日志存放路径需要指向同一个目录，docker 启动命令

docker run --name test-springboot -p 1001:80 -f /mnt/logs:/mnt/logs -t test-springboot

3、同样使用 docker-compose 在192.168.1.17机子的docker中部署

docker-compose.yml脚本如下：

logstash:
    image: logstash:latest
    container_name: logstash
    restart: always
    ports:
      - "9601:9601"
    volumes:
      - /mnt/elk/logstash/config-dir:/config-dir
      - /mnt/logs:/mnt/logs
    command: logstash -f /config-dir

在/mnt/elk/logstash/config-dir目录下新建logstash的配置文件logstash.conf。

input{
    file{
        path => "/mnt/logs/*.log"
        type => "web_log"
        start_position => "beginning"
    }
}

output{
    elasticsearch{
        hosts => ["192.168.1.18:9200"]
        index => "log-%{+YYYY.MM.dd}"
    }
}

input：为输入的方式，这里使用file；

output ：是输出的方式，这里输出到192.168.1.18的es中；

path：指向读取日志文件的位置，*表示读取目录下所有后缀名为log的日志文件；

type：自定义该文件的类型，在es中为type字段；

start_position：为从log文件中读取文件的位置，beginning为从头开始读取，只在第一次启动有效，后面只读取最后一行；

重启logstash

4、访问kibana，可以查询项目产生的日志

 

posted @ 2018-12-17 17:23  一问三不知。  阅读(1696)  评论(0)  编辑  收藏  举报