摘要：
CDH原生的组件里面不包含Flink的组件。如果我们需要用FLink的话，必须自己添加并进行相关的配置。本篇就是介绍如果进行Flink集成到CDH上 集成FLINK主要分2大步骤 第一步 提供一个包jar包，让cdh能识别你是谁，然后在cdh里注册，并下载文件激活。这里的jar有2种获取方式 第一种 阅读全文
摘要：
在第二篇中，我们介绍完了cdh左右的配置工作，如果没有配置的同学，请回去查看第二篇内容。 本篇将继续介绍cdh前台的一些配置，如果后台配置都能顺利通过，那么前台配置会相对顺利。 另外2篇传送门： CDH6.2安装配置第一篇：CDH配置本地http服务 CDH6.2安装配置第二篇：CDH安装的前期配置 阅读全文
摘要：
本篇将介绍LINUX之ntp服务配置，时钟同步服务器配置。这个在很多地方都会用到，保持各主机之前的时间保持一致，保证主机之间的心跳稳定。 三台主机都是centos7 192.168.1.110 master.com.cn 服务器192.168.1.111 salver1.com.cn 客户机，时间保 阅读全文
摘要：
本篇将介绍LINUX的ssh免密码配置。 本篇中的有三台主机： 192.168.1.110 master.com.cn 主机192.168.1.111 salver1.com.cn192.168.1.112 salver2.com.cn 1. 生成密钥对，每台机器都要执行，分别生成私钥跟公钥。 1 阅读全文
摘要：
本篇介绍cdh安装之前需要的一些必要配置，当然这些配置也可以用shell脚本来配置。在安装之前请先配置好yum源，在文中用的统一都是阿里源。在安装的时候，要确保主机的内存是4G以上，要不然会无限重启cm服务 另外2篇传送门： CDH6.2安装配置第一篇：CDH配置本地http服务 CDH6.2安装配 阅读全文
摘要：
在我们安装cdh的时候，避免不了要安装一大堆软件，包括cm的服务器，hadoop的各种组件。这些组件的文件都比较大，所以我们会在本地配置一个http服务，以便于在安装cdh服务的时候能快速的安装完。本文主要介绍http服务的安装。 另外2篇传送门： CDH6.2安装配置第二篇：CDH安装的前期配置 阅读全文
摘要：
第三篇：多维模型缓慢变化维技术 维度表的分类 类型0：原样保留 对于类型0来说，维度值不会发生变化。该类型适用于 日期维度的大多数属性。 类型1：重写 对于类型1来说，需要全量更新整个维度表，因此此种类型破坏了历史情况。无法对于历史情况进行跟踪。如City信息 例如：某个城市进行了更新，类型0会把最 阅读全文
摘要：
第一篇：数据仓库的概述 1.数据仓库基本概念 数据仓库是一个面向主题的、集成的、不可更新的、随时间变化的。 它用于支持企业或组织的决策分析处理。 2.数据分层 ODS(Operatitional data store)层：称为源数据层，表结构与业务系统的表保持基本一致。通常在ODS层主要做一些字段的 阅读全文
摘要：
用U盘制作EXSI启动盘这是一个比较困难的事，一般的人会用UltraISO这个软件来制作。但是很遗憾，这样的方法很不好，我试了好几次都没有成功。主要是不能引导。 之后我换了一个刻录软件（rufus），一次性成功。 操作步骤如下： 1.下载安装需要的IOS，VMware-VMvisor-Install 阅读全文
摘要：
数据质量分析 脏数据包括：缺失值；异常值；不一致的值；重复数据及含有特殊符号的数据； 1.缺失值处理 统计缺失率，缺失数 2.异常值处理 （1）简单统计量分析 （2）3Q原则 正态分布情况下，小概率事件为异常值 不服从正太分布的，可以用原离平均值多少倍标准差来分析 （3）箱线图分析 使用descri 阅读全文