摘要：
/** * SparkStreaming对接rabbitmq java代码 */public class SparkConsumerRabbit { public static void main(String[] args) throws InterruptedException, Analysi 阅读全文
摘要：
DataFrame usersDF = sqlContext.read().load("hdfs://spark1:9000/users.parquet"); usersDF.select("name", "favorite_color").write() .save("hdfs://spark1: 阅读全文
摘要：
Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。然而，在默认的配置下，这种方式可能会因为底层的失败而丢失数据。如果要启用 阅读全文
摘要：
1，基本环境配置 hosts 文件 免密登录 2，访问官网 https://www.rabbitmq.com/download.html 3， 4，安装依赖 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-d 阅读全文