随笔分类 - Hadoop
hadoop相关文章
摘要：一直说安装k8s试用一下，一直没有成功，要么是安装一半报错，没有时间去找问题。 1.关闭selinux setenforce 0 && sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config 2.关闭防火墙 system
阅读全文
摘要：最近一位大哥问了一个问题，Hive进行数据清洗时，如果计算累加，并且把缺失的日期带上，最初想的是构造一个中间时间表，然后进行关联，发现特别麻烦，后面想到的大致思路就是使用sum over+视图解决这个问题。 简单说就是想把图一的数据统计出图二的数据。 图一 图二 具体SQL关注公众号《码农独白》查阅
阅读全文
摘要：公司经常迁集群，很是蛋疼，每次迁移后，需要对比一下判断有差异的表。因此写了一个java小工具进行对比，用法如下： 第一个参数为老集群的hivesever的ip； 第二个参数为新集群的hivesever的ip； 第三个参数为样例数据库（比如两边集群都有一个dw_ods）； 第四个参数为指定需要对比的数
阅读全文
摘要：Flink是处理实时数据的利器，但是由于网络抖动导致数据乱序或者数据写入Kafka后写入了不同分区，消费者消费时导致数据先后乱序等，为了解决这样的问题，Flink引人水印加上窗口使乱序数据落入同一个窗口然后进行处理，从而解决乱序问题。 一.水印时间选择 Flink里面的时间分为事件时间，摄入时间，处
阅读全文
摘要：由于数仓使用的Hive进行搭建，有的业务的数据采用的Mongodb进行数据存储，因此需要把Mongodb里面的数据拉到Hive，本文主要讲解使用Mongoexport进行数据拉取。 一.安装Mongoexport 1. 首先使用vi /etc/yum.repos.d/mongodb-org-3.2.
阅读全文
摘要：1.介绍 ignite是分布式内存网格的一种实现，其基于java平台，具有可持久化，分布式事务，分布式计算等特点，此外还支持丰富的键值存储以及SQL语法(基于h2引擎)，可以看成是一个分布式内存数据库。 2.安装 注意：要把mysql的驱动放在jdk的/jre/lib/ext目录下。 2.1 原始安
阅读全文
摘要：1.本地开发环境安装 1..本地添加如下映射（windows地址:C:\Windows\System32\drivers\etc） 192.168.83.48 node-master1pZiu 192.168.83.158 node-str-coreHikL 192.168.83.174 node-
阅读全文
