摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、ES集群调优策略 ### ES集群调优策略 ~~~ JavaBBSELK日志平台中Elasticsearch实例节点数不到10个, ~~~ 考虑到资金投入、当前及未来一定时间内数据的增量情况等, ~~~ 研发和运维团队在竭尽所能的通过调优方式保证Elasticsearch正常高效运转。 ~~~
阅读全文
摘要:一、ES集群规划与调优 ### ES集群规划:我们需要多大规模的集群 ~~~ # 需要从以下两个方面考虑: ~~~ 当前的数据量有多大?数据增长情况如何? ~~~ 你的机器配置如何?cpu、多大内存、多大硬盘容量? ~~~ # 推算的依据: ~~~ Elasticsearch JVM heap 最大
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、可视化数据定义Dashboard ### 可视化数据定义Dashboard ~~~ ——>kibana-web-UI——>Dashboard——>Create new dashboard——> ~~~ ——>Add——>Add panels:IP地址分布/TOPN/PV/UV——> ~~~ ——
阅读全文
摘要:一、可视化数据定义配置UV ### 可视化数据定义配置UV ~~~ ——>visualize——>Create new visualization——>New visualization——>Line——> ~~~ ——>New line/Choose a source:logstash-nginx
阅读全文
摘要:一、可视化数据定义配置IP地理位置分布 ### 可视化数据定义配置IP地理位置分布 ~~~ ——>Visualize——>Create new visualization——> ~~~ ——>New Visualization:Coordinate Map——> ~~~ ——>New Coordin
阅读全文
摘要:一、可视化数据定义配置TOPN ### 可视化数据定义配置TOPN ~~~ ——>Visualize——>Create new visualization——> ~~~ ——>New Visualization:Data Table——> ~~~ ——>New Data Table/Choose a
阅读全文
摘要:一、可视化数据定义配置PV ### 可视化数据定义配置PV ~~~ ——>kibana-web-UI——>Visualize——>Create new visualization——> ~~~ ——>Line——>New line/Choose a source——>Logstash-nginx-a
阅读全文
摘要:一、Logstash读取Kafka ### Logstash配置文件 ~~~ 官网地址:https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html ### 上传IP地址库 ~~~ # 上传IP地址库到Datas目录下
阅读全文
摘要:一、kibana对es里面的数据进行可视化的分析 ### 启动kibana服务服务 ~~~ # 启动kibana服务 [root@hadoop02 ~]# nohup /opt/yanqi/servers/es/kibana/bin/kibana >/dev/null 2>&1 & 二、kibana
阅读全文
摘要:一、日志分析平台实战 二、Nginx部署 ### 安装git工具,安装wget下载工具 ~~~ # 安装相关工具包:Hadoop02 [root@hadoop02 ~]# yum install wget git -y [root@hadoop02 ~]# yum install gcc-c++ -
阅读全文
摘要:一、Filebeat ### Filebeat ~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题, ~~~ 因为Logstash是Java语言编写, ~~~ 所以官方推出了一些轻量级的采集工具,推出了Beats系列,其中使用比较广泛的是Filebeat。 ~~~ 官
阅读全文
摘要:一、Output插件:标准输出到控制台 ### 标准输出到控制台 ~~~ # 将收集的数据直接打印到控制台 [root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash \ -e 'input{stdin{}}output{stdout
阅读全文
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要:一、Input插件部署 ## Input插件部署 ~~~ stdin标准输入和stdout标准输出 ## 使用标准的输入与输出组件 ~~~ # 使用标准的输入与输出组件,实现将我们的数据从控制台输入,从控制台输出 [root@hadoop02 ~]# /opt/yanqi/servers/es/Lo
阅读全文
摘要:一、filter插件 ### Filter插件 ~~~ Logstash之所以强悍的主要原因是filter插件; ~~~ 通过过滤器的各种组合可以得到我们想要的结构化数据。 ~~~ 官网地址:https://www.elastic.co/guide/en/Logstash/current/plugi
阅读全文
摘要:一、Logstash ### Logstash介绍及安装 ~~~ 官网:https://www.elastic.co/guide/index.html ~~~ Logstash:https://www.elastic.co/guide/en/logstash/current/index.html #
阅读全文
摘要:一、DocValues机制 ### 为什么要有 Doc Values ~~~ ElasticSearch 之所以搜索这么快速,归功于它的 倒排索引的设计,然而它也不是万能的, ~~~ 倒排索引的检索性能是非常快的,但是在字段值排序时却不是理想的结构。 ~~~ 下面是一个简单的 倒排索引的结构 ###
阅读全文