loki单机二进制部署

一、简介

Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展，高度可用的多租户日志聚合系统。 开发语言: Google Go。它的设计具有很高的成本效益，并且易于操作。使用标签来作为索引，而不是对全文进行检索，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据签，极大地降低了日志索引的存储。系统架构十分简单，由以下3个部分组成 ：

  • Loki 是主服务器，负责存储日志和处理查询 。
  • promtail 是代理，负责收集日志并将其发送给 loki 。
  • Grafana 用于 UI 展示。

只要在应用程序服务器上安装promtail来收集日志然后发送给Loki存储，就可以在Grafana UI界面通过添加Loki为数据源进行日志查询（如果Loki服务器性能不够，可以部署多个Loki进行存储及查询）。作为一个日志系统不关只有查询分析日志的能力，还能对日志进行监控和报警

二、安装步骤

1、下载安装及默认配置文件

curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip"

curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"

wget https://dl.grafana.com/oss/release/grafana-7.1.1.linux-amd64.tar.gz

wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml

wget https://raw.githubusercontent.com/grafana/loki/master/cmd/promtail/promtail-local-config.yaml

注：配置文件也可自行创建编写

2、解压安装包至指定存放目录（/data/software/loki/）

unzip -q loki-linux-amd64.zip -d /data/software/loki/

unzip -q promtail-linux-amd64.zip -d /data/software/loki/

3、将配置文件存放至指定目录（/data/software/loki/etc）

mv loki-local-config.yaml /data/software/loki/etc/

 

mv promtail-local-config.yaml /data/software/loki/etc/

4、修改配置文件

vim loki-local-config.yaml

 

vim promtail-local-config.yaml：

server:
http_listen_port: 9080
grpc_listen_port: 0

# Positions
positions:
filename: /data/software/promtail/positions.yaml

# Loki服务器的地址
clients:
- url: http://localhost:3100/loki/api/v1/push

scrape_configs:
- job_name: nginx
static_configs:
- targets:
- localhost
labels:
job: nginx-error
host: localhost
__path__: /data/software/nginx/logs/error.log  #配置需要收集的日志文件

5、grafana安装

tar -xf grafana-7.1.1.linux-amd64.tar.gz -C /data/software/

6、启动服务（先启动loki）

nohup /data/software/loki/loki-linux-amd64 -config.file=/data/software/loki/etc/loki-local-config.yaml &

nohup /data/software/loki/promtail-linux-amd64 -config.file=/data/software/loki/etc/promtail-local-config.yaml &

nohup /data/software/grafana-7.1.1/bin/grafana-server web &

注：每次启动完可以查看所在目录的nohup.out，查看启动情况

三、使用示例

登录grafana地址：admin/admin

1）浏览器登陆地址：http://127.0.0.1:3000 访问Grafana，首次登陆默认用户名和密码都是 admin，登录后会提示修改密码。

2）进入Data Sources添加数据源，选择Loki，URL为loki的地址: http://127.0.0.1:3100 ，Name自己定义

 

3）然后进入Explore就可以搜索查询日志了，日志查询由两部分组成：日志流选择器和搜索表达式。出于性能原因，需要先通过选择日志标签来选择日志流。查询字段Log labels旁边的按钮显示了可用日志流的标签列表

标签匹配符：

  • = 完全相等。

  • != 不相等。

  • =~ 正则表达式匹配。

  • !~ 不进行正则表达式匹配。

    例：{job=“UMG-log”,filename="/home/zoehuawang/loki/UMG.07.18.15-40-07.log"

搜索表达式：

  • |= 行包含字符串。

  • != 行不包含字符串。

  • |~ 行匹配正则表达式。

  • !~ 行与正则表达式不匹配。

    例：{job=“UMG-log”} |= “07.18” |= “[-973]” != “0xffffffff”

 https://grafana.com/docs/loki/latest/clients/logstash/

posted on 2021-06-10 10:33  耿耿~  阅读(546)  评论(0)  编辑  收藏  举报

导航