摘要：
本篇介绍cdh安装之前需要的一些必要配置，当然这些配置也可以用shell脚本来配置。在安装之前请先配置好yum源，在文中用的统一都是阿里源。在安装的时候，要确保主机的内存是4G以上，要不然会无限重启cm服务 另外2篇传送门： CDH6.2安装配置第一篇：CDH配置本地http服务 CDH6.2安装配 阅读全文
摘要：
主要介绍实时数仓得部署、计算 文章主要分3部分 数据采集 \(\color{red}{[E]}\) 关系型数据库MySql/PG/Oracle+Debezium+Kafka Connector 数据计算 \(\color{red}{[T]}\) Flink 数据存储 \(\color{red}{[L 阅读全文
摘要：
MapReduce原理 Map阶段 文件在被读取（调用read()）的是用Inputformat方法读入的。在这里读入一行，返回一个key-vlaue（K,V）对，key是行号的偏移量，value的值是这一行的内容。 在上述过程中，在第4步调用map()方法后，将以上内容真正转换成（key，valu 阅读全文
摘要：
Hive的UDF分为3种 UDF : ONE TO ONE,进来一个出去一个 ，row mapping。是row级别操作，如：upper、substr函数 UDAF: manyTO ONE,进来多个出去一个 ，row mapping。是row级别操作，如sum/min。 UDTF: ONE TO m 阅读全文
摘要：
本篇文章主要讲述如何在CDH中启动Spark Thrift。 本次测试的版本： CDH版本：5.14.2 spark：1.6.0 文中主要用root来部署，但是启动的时候用的spark用户，中间会有一些权限方面的问题。大家可以根据提示自行添加权限。我这边权限不够默认都给了777，方便测试。 文中的s 阅读全文
摘要：
kafka交互式命令使用 查看topic /bin/kafka-topics.sh --list --zookeeper 192.168.58.171:2181,192.168.58.177:2181,192.168.58.178:2181 查看指定topic /bin/kafka-topics.s 阅读全文
摘要：
Kafka Web端管理界面Cmak安装配置 下载地址：https://github.com/yahoo/CMAK 1. 下载完直接解压到当前目录中： unzip cmak-3.0.0.4.zip 2. 修改配置文件 cd /var/cmak/cmak-3.0.0.4/conf vi applica 阅读全文
摘要：
需要依赖包，并放到flink/lib目录中： 下载地址： https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#jdbc-connector flink-json-1.10.0-sql- 阅读全文
摘要：
ORACLE的DDL日志 推送到Kafka，并用Flink进行实时统计 本次测试的环境： 环境：docker oracle12c 日志模式：归档日志模式 archivelog 用户：scott/tiger 具有dba权限 大数据组件：kafka(默认创建好topic：flink_topic)，zoo 阅读全文
摘要：
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p 阅读全文