12 2019 档案

WaterDrop 系列报错
摘要：1.使用WaterDrop 从kafka中消费数据，写入到ClickHouse 1.1 环境 ~~~ SPARK2 2.3.0.cloudera4 1.cdh5.13.3.p0.611179 clickhouse 1.1.54236 4.el7.x86_64 waterdrop 1.4.2 ~~~ 阅读全文
posted @ 2019-12-30 18:21 大数据小码农 阅读(2149) 评论(0) 推荐(0)
ClickHouse 高可用集群安装测试
摘要：1. 环境 CentOS 7.6 2. 安装前准备 2.1 检查是否支持 SSE 4.2 指令集 ~~~ grep q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported" ~~~ 2.2 C 阅读全文
posted @ 2019-12-27 19:08 大数据小码农 阅读(3632) 评论(1) 推荐(0)
Kafka 高级API 实战
摘要：1. 环境 CDH 5.16.1 kafka版本 2.1.0 kafka 4.0.0 ~~~ org.apache.kafka kafka_2.12 2.1.0 kafka 4.0.0 ~~~ 2.生产者 2.1 生产者，带回调函数 ~~~ package com.monk.kafka; impor 阅读全文
posted @ 2019-12-15 19:29 大数据小码农 阅读(598) 评论(0) 推荐(0)
CDH 5.16.1 离线安装 Spark 2.3
摘要：1.环境 CDH 5.16.1 Centos 7.6 Scala 2.11.8 2.安装前准备 1.下载 Spark2.3 所需的Parcel包 http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/ 将三个文件拷贝到 /opt/clo 阅读全文
posted @ 2019-12-11 15:18 大数据小码农 阅读(1279) 评论(0) 推荐(0)
CDH5.16.1 离线安装 Kafka
摘要：1.环境 CDH 5.16.1 CentOS 7.6 2.安装前准备 1.查看Kafka与CDH版本对应 https://docs.cloudera.com/documentation/enterprise/release notes/topics/rn_consolidated_pcm.html 阅读全文
posted @ 2019-12-11 14:17 大数据小码农 阅读(1355) 评论(0) 推荐(0)