摘要：
公司经常迁集群，很是蛋疼，每次迁移后，需要对比一下判断有差异的表。因此写了一个java小工具进行对比，用法如下： 第一个参数为老集群的hivesever的ip； 第二个参数为新集群的hivesever的ip； 第三个参数为样例数据库（比如两边集群都有一个dw_ods）； 第四个参数为指定需要对比的数 阅读全文
摘要：
Flink是处理实时数据的利器，但是由于网络抖动导致数据乱序或者数据写入Kafka后写入了不同分区，消费者消费时导致数据先后乱序等，为了解决这样的问题，Flink引人水印加上窗口使乱序数据落入同一个窗口然后进行处理，从而解决乱序问题。 一.水印时间选择 Flink里面的时间分为事件时间，摄入时间，处 阅读全文
摘要：
由于数仓使用的Hive进行搭建，有的业务的数据采用的Mongodb进行数据存储，因此需要把Mongodb里面的数据拉到Hive，本文主要讲解使用Mongoexport进行数据拉取。 一.安装Mongoexport 1. 首先使用vi /etc/yum.repos.d/mongodb-org-3.2. 阅读全文
摘要：
1.介绍 ignite是分布式内存网格的一种实现，其基于java平台，具有可持久化，分布式事务，分布式计算等特点，此外还支持丰富的键值存储以及SQL语法(基于h2引擎)，可以看成是一个分布式内存数据库。 2.安装 注意：要把mysql的驱动放在jdk的/jre/lib/ext目录下。 2.1 原始安 阅读全文
摘要：
1.本地开发环境安装 1..本地添加如下映射（windows地址:C:\Windows\System32\drivers\etc） 192.168.83.48 node-master1pZiu 192.168.83.158 node-str-coreHikL 192.168.83.174 node- 阅读全文
摘要：
很多时候我们需要把excel数据需要导入数仓，每次有新数据就需要重新开发模板，或者需要对某个数据进行校验时就需要重新修改代码，鉴于这种现状，我个人觉得可以通过规则引擎很好的解决这个问题，此文只是线下导数系统的开头，主要是对Urule集成Springboot的一个例子。 Urule规则引擎在使用时分为 阅读全文
摘要：
常见的日志系统是基于logstach+elasticsearch+kibna框架搭建的,但是有时候kibana的查询无法满足我们的要求，因此有时需要代码去操作es,本文后续都以es代替elasticsearch。 一.es基本概念理解 索引：含有相同属性的文档的集合.(可理解为数据库database 阅读全文
摘要：
为了方便使用Spark的同学提交任务以及加强任务管理等原因，经调研采用Livy比较靠谱，下图大致罗列一下几种提交平台的差别。 本文会以基于mac的单机环境搭建一套Spark+Livy+Hadoop来展示如何提交任务运行,本文只针对框架能够运行起来，至于各个组件参数怎么配置性能更好，各位兄弟就自行找度 阅读全文
摘要：
一.Hbase架构与理解 Hbase架构大致如下，图片取自https://www.cnblogs.com/linkworld/p/10963910.html。 二.Hbase shell操作 创建Hbase表时默认有一个region,这个region的rowkey是没有边界的，即没有开始的star 阅读全文
摘要：
Python3出来了，使用的人也越来越多，Python2逐渐被抛弃,为了方便包管理并且想运行多个python版本的代码，自然就想到使用Anaconda了。 阅读全文