Logstash 篇之入门与运行机制
摘要：1、Logstash是一个数据收集引擎，相当于是ETL工具。截图来源慕课，尊重版本从你我做起。 Logstash分为三个阶段，第一个阶段Input是数据采集、第二个阶段是Filter数据解析和转换，第三个阶段是Output数据输出。 2、Logstash中的Pipeline概念。 1）、Pipeli
阅读全文
posted @
2021-01-30 22:00
别先生
阅读(1358)
推荐(0) 编辑
Struts2.5.6版本文件下载问题Can not find a java.io.InputStream with the name [downloadFile] in the invocation stack
摘要：很久很久之前的随笔：https://www.cnblogs.com/biehongli/p/6509557.html 1、Struts2.5.6版本文件下载问题Can not find a java.io.InputStream with the name [downloadFile] in the
阅读全文
posted @
2021-01-28 15:24
别先生
阅读(149)
推荐(0) 编辑
Elastic Stack之 分析Elasticsearch查询语句实战。
摘要：1、分析Elasticsearch查询语句的功能。 1）、首先需要收集Elasticsearch集群的查询语句。 2）、然后分析查询语句的常用语句、响应时长等等指标。2、分析Elasticsearch查询语句的功能，使用方案。 1）、应用Packetbeat + Logstash完成数据收集工作。
阅读全文
posted @
2021-01-16 15:01
别先生
阅读(579)
推荐(0) 编辑
Elastic Stack之 Filebeat 6.7.1版本安装
摘要：1、截至目前Elasticsearch 版本已经更新到了7.10.1版本了，这里先使用Filebeat 6.7.1版本，给一个下载地址，如下所示： 官方下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch 2、Bea
阅读全文
posted @
2021-01-10 21:55
别先生
阅读(569)
推荐(0) 编辑
Elastic Stack之 Logstash 6.7.1版本安装
摘要：1、截至目前Elasticsearch 版本已经更新到了7.10.1版本了，这里先使用Logstash 6.7.1版本，给一个下载地址，如下所示： 官方下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch 2、Log
阅读全文
posted @
2021-01-10 21:21
别先生
阅读(474)
推荐(0) 编辑
Elastic Stack之 Kibana 6.7.1版本安装
摘要：Kibana线上部署的推荐架构，可以专门部署一个Coordinating Only Es Node，和Kibana在同一台机器上。这样可以使kibana的请求流量可以均衡的分发到es的多个节点上。 1、截至目前Elasticsearch 版本已经更新到了7.10.1版本了，这里先使用Kibana 6
阅读全文
posted @
2021-01-10 13:18
别先生
阅读(509)
推荐(1) 编辑
Elastic Stack之 Elasticsearch 6.7.1版本单机版安装、集群版安装
摘要：1、截至目前Elasticsearch 版本已经更新到了7.10.1版本了，这里先使用Elasticsearch 6.7.1版本，给一个下载地址，如下所示： 官方下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch
阅读全文
posted @
2021-01-09 22:59
别先生
阅读(772)
推荐(1) 编辑
使用datax将mysql数据同步到ES 附elasticsearchwriter插件
摘要：1、使用datax工具将mysql数据库中的数据同步到elasticsearch中。DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图： 类型数据源Reader(读)Writer(写)文档 RDBMS 关系型数据库 MySQL
阅读全文
posted @
2021-01-09 16:56
别先生
阅读(2477)
推荐(0) 编辑
Java1.8之Lambda表达式
摘要：1、Java8的lambda表达式，通过lambda表达式可以替代我们之前写的匿名内部类来实现接口。lambda表达式本质是一个匿名函数。 1 package com.demo.main; 2 3 public class LambdaMain { 4 5 public static void ma
阅读全文
posted @
2021-01-09 16:54
别先生
阅读(834)
推荐(0) 编辑
Java1.8之Lambda表达式、流Stream学习
摘要：1、什么是函数式编程? 答：每个人对函数式编程的理解不尽相同。但其核心是：在思考问题时，使用不可变值和函数，函数对一个值进行处理，映射成另一个值。2、Java 8的最大变化是引入了Lambda表达式——一种紧凑的、传递行为的方式。 答：和使用匿名内部类的另一处不同在于声明参数的方式。使用匿名内部类时
阅读全文
posted @
2021-01-09 16:52
别先生
阅读(438)
推荐(0) 编辑
Kafka的消费者提交方式手动同步提交、和异步提交
摘要：1、Kafka的消费者提交方式 1）、自动提交，这种方式让消费者来管理位移，应用本身不需要显式操作。当我们将enable.auto.commit设置为true，那么消费者会在poll方法调用后每隔五秒（由auto.commit.interval.ms指定）提交一次位移。和很多其他操作一样，自动提交也
阅读全文
posted @
2021-01-09 16:51
别先生
阅读(6943)
推荐(0) 编辑
kafka生产者Producer、消费者Consumer的拦截器interceptor
摘要：1、Producer的拦截器interceptor，和consumer端的拦截器interceptor是在kafka0.10版本被引入的，主要用于实现clients端的定制化控制逻辑，生产者拦截器可以用在消息发送前做一些准备工作，使用场景，如下所示： 1）、按照某个规则过滤掉不符合要求的消息。 2）
阅读全文
posted @
2021-01-09 16:49
别先生
阅读(1384)
推荐(0) 编辑
Eclipse Maven 编译错误 Dynamic Web Module 3.1 requires Java 1.7 or newer 解决方案
摘要：1、错误描述，就是导入eclipse构建的maven项目，eclipse的Problem报下面的错误。 解决方法，在pom.xml配置下面，如下所示： 1 <build> 2 <finalName>项目名称</finalName> 3 <plugins> 4 <plugin> 5 <groupId>
阅读全文
posted @
2021-01-05 16:57
别先生
阅读(203)
推荐(0) 编辑
Multiple annotations found at this line: - cvc-elt.1: Cannot find the declaration of element 'beans' 解决办法
摘要：1、在使用eclipse构建基于maven的spring工程时，报下面的错误，如下所示： 1 Multiple annotations found at this line: 2 - cvc-elt.1: Cannot find the declaration of element 'beans'.
阅读全文
posted @
2021-01-03 12:23
别先生
阅读(1348)
推荐(0) 编辑
Navicat12版本连接，MySQL8.0版本，连接出现 Authentication plugin 'caching_sha2_password' cannot be loaded
摘要：1、在使用Navicat Premium 12，连接MySQL8.0版本数据库时会出现Authentication plugin 'caching_sha2_password' cannot be loaded的错误。 出现这个问题的原因是mysql8.0版本之前的版本中加密规则是mysql_nat
阅读全文
posted @
2021-01-03 12:18
别先生
阅读(133)
推荐(0) 编辑
