摘要：运用CDH5.15离线搭建简易版集群 关于CDH和Cloudera CDH（Cloudera的发行版，包括Apache Hadoop），是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境.Cloudera Man 阅读全文

摘要：Mysql 安装 1.rpm文件安装（5.7.28） 1.清理环境 centos7会自带一个mariadb查看是否已安装 ~~~ shell rpm qa |grep i mysql rpm qa |grep i mariadb（centos7默认系统自带的 ~~~ 如果存在则使用以下命令删除 ~~ 阅读全文

摘要：streaming 接入kafka数据 maven依赖 ~~~ xml org.apache.spark spark streaming kafka 0 10_2.11 2.4.0 cdh6.3.0 org.apache.spark spark streaming_2.11 2.4.0 cdh6.3 阅读全文

摘要：checkpoint使用 检查点 Checkpoint功能 1.保存 每批中 state信息，累加加销售营业额 2.保存 没从Kafka topic 中读取数据的offset 3.保存DStream的来源和DStream处理函数和输出函数 什么时候需要使用Checkpoint 有状态转换的用法 如果 阅读全文

摘要：代码入下： ~~~ java //计算生成Dstream val result = stream.map(x = (x.key(), x.value())).reduceByKey((x, y) = (x + y)) //将计算结果保存到mysql中 采用druib 连接池的方式 var selec 阅读全文

只有注册用户登录后才能阅读该文。