摘要：
#此配置以kafka的一个topic为channel，相比其他channel类型 file和cache 兼并了快和安全的要求！# Define a kafka channel a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannela1.channels.c1.kafka.bootstrap.servers = kafka... 阅读全文
摘要：
安装文件准备 CDH 下载地址：http://archive.cloudera.com/cdh5/parcels/latest/ 下载操作系统对应的版本： 1．CDH-5.3.0-1.cdh5.3.0.p0.30-e17.parcel 2．CDH-5.3.0-1.cdh5.3.0.p0.30-e17 阅读全文
摘要：
1.用到的maven依赖 注意：上面两个依赖的顺序不能换，否则编译代码的Scala版本会变成 2.10（这是因为maven顺序加载pom中的依赖jar），会导致下述问题： 2、spark和elasticsearch 整合查询接口 1）参考地址 ： https://www.elastic.co/gui 阅读全文
摘要：
问题： 用 spark-submit --master yarn --deploy-mode cluster --driver-memory 2G --num-executors 6 --executor-memory 2G ~~~ 提交任务时，最后一个executor 执行时间 超过了 160s 阅读全文