ELK分布式日志+NLog在.NetCore中的应用
一、ELK简介
ELK是Elasticsearch、Logstash和Kibana首字母的缩写。这三者均是开源软件,这三套开源工具组合起来形成了一套强大的集中式日志管理平台
Elasticsearch是一个分布式搜索和分析引擎,具有高可伸缩、高可靠和易管理等特点,基于Apache Lucene构建,能对大容量的数据进行接近实时的存储、搜索和分析操作。通过简单的配置,Elasticsearch就会帮你管理集群、分片、故障转移、主节点选举等,还提供集群状态的监控接口。
Logstash是一个用来搜集、解析、过滤日志的工具。支持几乎任何类型的日志,包括系统日志、业务日志和安全日志,支持file、syslog、tcp、stdin、redis和kafka等多种接收方式。支持elasticrsearch、email、exec、nagios、tcp、hdfs等多种方式输出
Kibana是一个开源的分析与可视化平台,用于搜索、分析和可视化存储在 Elasticsearch中的数据,然后以图表的方式展现出来,还允许用户自定义查询、过滤和汇总数据。
二、安装(这里以windows为例)
1. 第一步:下载Elasticsearch 下载地址:https://www.elastic.co/cn/downloads/elasticsearch 选择你适合的平台版本,如下图所示:
2. 下载Logstash 下载地址:https://www.elastic.co/cn/downloads/logstash,选择你适合的平台,如下图所示:
3.下载Kibana,下载地址:https://www.elastic.co/cn/downloads/kibana,选择你适合的平台,如下图所示:
将压缩包解压到文件,如图所示:
切换到elasticsearch-7.3.2\bin,点击elasticsearch.bat即可完成安装,打开http://localhost:9200/如下图所示即安装完成
安装node.js和grunt,从地址:https://nodejs.org/en/download/ 下载相应系统的msi,双击安装
打开命令提示符输入npm install -g grunt-cli,如下图所示则grunt安装完成
进入\elasticsearch-7.3.2\config,打开elasticsearch.yml,在文件末尾加上以下代码:
http.cors.enabled: true
http.cors.allow-origin: "*"
双击elasticsearch.bat重启es
下载Head,下载地址:https://github.com/mobz/elasticsearch-head,下载后将elasticsearch-head-master 解压到elasticsearch-7.3.2文件夹下,如图所示:
修改elasticsearch-head-master文件夹下的Gruntfile.js,加上hostname:’*’
在\elasticsearch-7.3.2\elasticsearch-head-master文件夹下执行npm install
安装完成后执行grunt server 或者npm run start 运行head插件,http://浏览器下访问http://localhost:9100/
logstash安装:解压后启动使用配置文件就可以了
Kibana安装:kibana-7.3.2\config文件夹下修改kibana.yml, 取消server.port,server.host,server.name,elasticsearch.hosts,i18n.locale前面的#号,并将i18n.locale的值改为zh-CN,运行bin文件夹下的kibana.bat,打开localhost:5601,如图所示则安装成功
三、.Net Core使用Nlog调用ELK写入日志
1、NuGet安装依赖
2、配置nlog.config
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
<?xml version="1.0" encoding="utf-8" ?> <nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" internalLogToConsole="true"> <extensions> <add assembly="NLog.Targets.ElasticSearch"/> </extensions> <targets async="true"> <!--https://github.com/reactive-markets/NLog.Targets.ElasticSearch/wiki--> <target xsi:type="ElasticSearch" name="ElasticSearch" uri="http://127.0.0.1:9200" index="Web" documentType="logevent" includeAllProperties="false" requireAuth="false"> <field name="host" layout="${machinename}" /> <field name="application" layout="${applicationName}" /> <field name="logged" layout="${date}" /> <field name="level" layout="${level}" /> <field name="message" layout="${message}" /> <field name="logger" layout="${logger}" /> <field name="callSite" layout="${callsite:filename=true}" /> <field name="exception" layout="${exception:tostring}" /> <field name="IP" layout="${aspnet-request-ip}" /> <field name="User" layout="${aspnetcore-request-user}" /> <field name="serverName" layout="${machinename}" /> <field name="url" layout="${aspnetcore-request-url}" /> </target> </targets> <rules> <logger name="*" minlevel="INFO" writeTo="ElasticSearch" /> </rules> </nlog>
3、Startup.cs配置
4、应用
可以看到以下数据则表示调用成功