摘要：
一、 环境准备：3台Linux服务器，系统为CentOS 7.5 角色划分：3台机器全部安装jdk1.8,全部安装elasticsearch (后续都简称为es集群） 主节点上需要安装kibana与logstashELK版本信息为7.1.1，你可以从官网下，也可以直接从下面地址下载： https:/ 阅读全文
摘要：
find 与mv、cp的合用 第一种： mv `find /root/ -name "tet"` /tmp/ 第二种： find ./ -name tet -exec mv {} /tmp \; 第三种: find ./ -name "tet"|xargs -i mv {} /tmp 第四种： fi 阅读全文
摘要：
作为生产者和消费者之间数据流的一个中心组件，需要一个 Logstash 实例负责驱动多个并行事件流的情况。默认情况下，这样的使用场景的配置让人并不太开心，使用者会遭遇所谓的条件地狱(Conditional hell)。因为每个单独的 Logstash 实例默认支持一个管道，该管道由一个输入、若干个过 阅读全文
该文被密码保护。 阅读全文
摘要：
一、跳转状态 nginx的跳转状态有两种，301重定向是永久的重定向，搜索引擎会抓取新的内容的同时将旧的地址替换为重定向后的网址；302重定向是暂时的重定向，搜索引擎会抓取新的内容而保留旧的地址。因为服务器返回302，所以搜索引擎会认为新的网址是暂时的。 二、跳转状态的写法 return指令在301 阅读全文
摘要：
一、RabbitMQ简单介绍 RabbitMQ就是当前最主流的消息中间件之一。RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。 阅读全文
摘要：
一、 概念 LVM：逻辑卷管理（Logical Volume Manager） 二、 由来 普通的磁盘分区管理方式在逻辑分区划分好之后就无法改变其大小，当一个逻辑分区存放不下某文件时，这个文件因为受上层文件系统的限制，不能跨越多个分区存放，所以也不能放到多个磁盘上。而当某个分区空间耗尽时，解决的 阅读全文
摘要：
一、安装依赖 二、下载 "nginx" 可以到 "nginx" 官网下载,或者通过以下链接下载 下载后通过tar xvzf 进行解压，并进入到nginx目录下 三、指定nginx编译参数 参数说明： prefix 用于指定nginx编译后的安装目录 add module 为添加的第三方模块 with 阅读全文
摘要：
一、安装elastalert 环境 CentOS：7.4 Python：3.6.9 pip：19.3 "elastalert" ：0.2.1 elk：7.3.2 2、配置Python3.6.9环境 安装依赖包 下载包 安装 配置 注意,所有依赖python2的脚本或者命令,需要更改为python2. 阅读全文
摘要：
一、elk 实用知识点总结 1、编码转换问题（主要就是中文乱码） （1）input 中的codec = plain (将UTF 8 的编码的文本编码，转为gbk) （2）在filebeat中实现编码的转换（推荐) 2、删除多余字段 logstash filter 中删除多余字段(另一种是在grok解 阅读全文
摘要：
配置tls加密通信及身份验证，主要目的是为了确保集群数据安全。在es早期版本，安全认证相关功能都属于商业付费服务，一般普通公司如果集群部署在内网，基本上就忽略了这些安全认证，当然也可以通过Nginx反向代理来进行控制。现在，官方宣布从6.8和7.1开始，免费提供很多项安全功能。其中包括tls加密 阅读全文
摘要：
kibana默认的是按照客户端的采集时间（@timestamp）进行排序，这往往不是我们所需要的，我们需要的是对日志实际时间进行排序，要解决这个问题，有很多种方法，可以在elasticsearch建立索引，不采取默认的索引模式，当然这种方法比较繁琐，需要懂得如何在elasticsearch建立索引及 阅读全文
摘要：
一、为什么要破解x-pack? 因为涉及到了ES服务的安全性.ES服务如果被劫持,数据直接会被删除。ES登录账号和密码的设置是通过x-pack来实现的，官方只给了免费的30天的使用权，而且购买插件每年需要不少的钱，这对于中小型企业来说，是一笔不小的开支，然后你懂的。 二、本次任务是在搭建好的elk基 阅读全文
摘要：
kubeadm是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，伴随Kubernetes每个版本的发布都会同步更新，kubeadm会对集群配置方面的一些实践做调整，通过实验kubeadm可以学习到Kubernetes官方在集群配置上一些新的最佳实践。从最近发布的Kubern 阅读全文
摘要：
elasticsearch-head是集群管理、数据可视化、增删查改、查询语句可视化工具;它可以对数据进行增删查改，对于数据安全来说是有风险的,因此在生产环境中尽量少用，使用该插件至少要限制ip地址或者使用安全认证登录！在安装好elasticsearch-head插件的前提下，要是没安装，可以按照E 阅读全文
摘要：
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又 阅读全文
摘要：
ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个L 阅读全文
摘要：
logstash pipeline 包含两个必须的元素：input和output，和一个可选元素：filter。 从input读取事件源，（经过filter解析和处理之后），从output输出到目标存储库（elasticsearch或其他）。 在生产环境使用logstash，一般使用都将配置写入文件 阅读全文
摘要：
从input读取事件源，经过相应解析和处理之后，从output输出到目标存储库（elasticsearch或其他）。输入可以从Log、Syslog、Stdin、Redis、UDP、Docker、TCP、NetFlow输入，然后可以输出到Elasticsearch、Logstash、Kafka、Red 阅读全文
摘要：
在5.0版本之后不支持直接把插件包放入es安装目录的plugin目录下，需要单独安装；而且支持在线安装的插件很少，很多都是需要离线安装。以前的plugin变为elasticsearch-plugin 获取在线安装的插件： ./elasticsearch-plugin install -h Insta 阅读全文