2017 年 3月随笔档案 - duanxz

binlog之五：mysqlbinlog解析binlog乱码问题解密

摘要：发现MySQL库的binlog日志出来都是乱码，如下所示： BINLOG ’ IXZqVhNIAAAALQAAAGcBAAAAAHoAAAAAAAEABHRlc3QAAno0AAEDAABUOcnY IXZqVh5IAAAAKAAAAI8BAAAAAHoAAAAAAAEAAgAB//4BAAAAcu 阅读全文

posted @ 2017-03-31 13:57 duanxz 阅读(8684) 评论(0) 推荐(0) 编辑

binlog之四：mysql中binlog_format模式与配置详解，binlog的日志格式详解

摘要：mysql复制主要有三种方式：基于SQL语句的复制(statement-based replication, SBR)，基于行的复制(row-based replication, RBR)，混合模式复制(mixed-based replication, MBR)。对应的，binlog的格式也有三种：阅读全文

posted @ 2017-03-31 11:25 duanxz 阅读(5319) 评论(0) 推荐(0) 编辑

Logstash之四：logstash接收kafka数据

摘要：3、kafka+logstash整合logstash1.5以后已经集成了对kafka的支持扩展，可以在conf配置中直接使用 vim /etc/logstash/conf.d/pay.conf input { kafka{ zk_connect => "your zookeeper address: 阅读全文

posted @ 2017-03-10 18:59 duanxz 阅读(2065) 评论(1) 推荐(0) 编辑

Kibana安装及使用

摘要：1.Kibana介绍Kibana是一个基于浏览器页面的Elasticsearch前端展示工具。Kibana全部使用HTML语言和Javascript编写的。 2.安装配置Kibana下载地址：https://www.elastic.co/downloads/kibana的下载页面，找到对应的kiba 阅读全文

posted @ 2017-03-10 18:02 duanxz 阅读(584) 评论(0) 推荐(0) 编辑

ES之二：ES规范 index 原则

摘要：一、index说明相信有不少读者用elasticsearch的时候第一个难题就是如何创建好一个index。下面给出具体的样例和原则，帮助大家创建一个相对适合自己业务场景的index，有助于开展后续的开发工作。先上创建index的模板: curl -XPUT 'http://127.0.0.1:9 阅读全文

posted @ 2017-03-10 11:32 duanxz 阅读(11280) 评论(0) 推荐(2) 编辑

ES之七：配置文件详解

摘要：安装流程 http://www.elasticsearch.org/overview/elkdownloads/下载对应系统的安装包（我下载的是tar的），下载解压以后运行es根目录下bin目录的elasticsearch命令（无需配置直接启动），启动后如果能看到类似于下面情况的大量的“INFO”信阅读全文

posted @ 2017-03-10 09:32 duanxz 阅读(6246) 评论(0) 推荐(0) 编辑

ES之六：ElasticSearch中Filter和Query的异同

摘要：如下例子，查找性别是女，所在的州是PA，过滤条件是年龄是39岁，balance大于等于10000的文档：返回结果：查询虽然包含这两种，但是查询在不同的执行环境下，操作还是不一样的。 Query与Filter 查询在Query查询上下文和Filter过滤器上下文中，执行的操作是不一样的： Quer 阅读全文

posted @ 2017-03-09 22:06 duanxz 阅读(5928) 评论(0) 推荐(1) 编辑

ES之五：ElasticSearch聚合

摘要：前言说完了ES的索引与检索，接着再介绍一个ES高级功能API – 聚合(Aggregations)，聚合功能为ES注入了统计分析的血统，使用户在面对大数据提取统计指标时变得游刃有余。同样的工作，你在Hadoop中可能需要写mapreduce或Hive，在mongo中你必须得用大段的mapreduc 阅读全文

posted @ 2017-03-09 22:05 duanxz 阅读(128119) 评论(1) 推荐(8) 编辑

Logstash之四：配置说明

摘要：logstash配置文件包含三个配置部分: 分别为：input{}、filter{}、output{}。{} 定义区域，区域内可以定义一个或多个插件，通过插件对数据进行收集，加工处理，输出。在{}配置中可以使用表达式完成要采集数据的逻辑，表达式中的数据类型和运算符如下： 1、数据类型：布尔值类型阅读全文

posted @ 2017-03-09 19:51 duanxz 阅读(2682) 评论(0) 推荐(0) 编辑

Logstash之三：命令行中常用的命令

摘要：-f：通过这个命令可以指定Logstash的配置文件，根据配置文件配置logstash -e：后面跟着字符串，该字符串可以被当做logstash的配置（如果是“” 则默认使用stdin作为输入，stdout作为输出） -l：日志输出的地址（默认就是stdout直接在控制台中输出） -t：测试配置文件阅读全文

posted @ 2017-03-09 19:50 duanxz 阅读(1056) 评论(0) 推荐(0) 编辑

Logstash之二：原理

摘要：一、Logstash 介绍 Logstash 是一款强大的数据处理工具，它可以实现数据传输，格式处理，格式化输出，还有强大的插件功能，常用于日志处理。二、工作流程 Logstash 工作的三个阶段： input 数据输入端，可以接收来自任何地方的源数据。 file：从文件中读取 syslog：监听阅读全文

posted @ 2017-03-09 19:45 duanxz 阅读(2064) 评论(0) 推荐(1) 编辑

Logstash之一：入门介绍

摘要：简介 Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。怎么样听起来挺厉害的吧？在一个典型的使用场景下(ELK)：用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstas 阅读全文

posted @ 2017-03-09 15:16 duanxz 阅读(1327) 评论(0) 推荐(0) 编辑

mysql分区表之三：MySQL分区建索引,唯一索引

摘要：介绍 mysql分区后每个分区成了独立的文件，虽然从逻辑上还是一张表其实已经分成了多张独立的表，从“information_schema.INNODB_SYS_TABLES”系统表可以看到每个分区都存在独立的TABLE_ID,由于Innodb数据和索引都是保存在".ibd"文件当中（从INNODB_ 阅读全文

posted @ 2017-03-08 14:06 duanxz 阅读(15329) 评论(0) 推荐(0) 编辑

mysql分区表之一：分区原理和优缺点【转】

摘要：1.分区表的原理分区表是由多个相关的底层表实现，这些底层表也是由句柄对象表示，所以我们也可以直接访问各个分区，存储引擎管理分区的各个底层表和管理普通表一样（所有的底层表都必须使用相同的存储引擎），分区表的索引只是在各个底层表上各自加上一个相同的索引，从存储引擎的角度来看，底层表和一个普通表没有任何阅读全文

posted @ 2017-03-08 12:31 duanxz 阅读(18223) 评论(0) 推荐(0) 编辑

spring boot下使用logback或log4j生成符合Logstash标准的JSON格式

摘要：一、依赖由于配置中使用了json格式的日志输出，所以需要引入如下依赖 1 二、配置说明 1.日志的输出路径 1 2.读取spring容器中的属性，这里是获取项目名称和运行的服务器IP 1 2 3.设置日志的格式 1 2 4.添加一个输出器，并滚动输出 1 5.指定输出的文件位置 1 6.指定滚动输阅读全文

posted @ 2017-03-06 10:50 duanxz 阅读(3359) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

文章分类

阅读排行榜

评论排行榜

推荐排行榜

最新评论