}
该文被密码保护。 阅读全文
摘要：
首先咱得有KUDU安装包 这里就不提供直接下载地址了（因为有5G，我 的服务器网卡只有4M，你们下的很慢） 这里使用的是CDH版本 官方下载地址http://archive.cloudera.com/cdh5/ 我这里有3个节点node01,node02,node03。这里上传到node03中 这里 阅读全文
摘要：
SparkSql整合Hive 需要Hive的元数据，hive的元数据存储在Mysql里，sparkSql替换了yarn,不需要启动yarn，需要启动hdfs 首先你得有hive,然后你得有spark,如果是高可用hadoop还得有zookeeper,还得有dfs(hadoop中的) 我这里有3台节点 阅读全文
该文被密码保护。 阅读全文
该文被密码保护。 阅读全文
摘要：
这里使用的是低级API，因为高级API非常不好用，需要繁琐的配置，也不够自动化，却和低级API的效果一样，所以这里以低级API做演示 你得有zookeeper和kafka 我这里是3台节点主机 架构图 与高级API的区别,简单并行(不需要创造多个输入流，它会自动并行读取kafka的数据)，高效（不会 阅读全文
摘要：
SparkStreaming整合flume 在实际开发中push会丢数据，因为push是由flume将数据发给程序，程序出错，丢失数据。所以不会使用不做讲解，这里讲解poll，拉去flume的数据，保证数据不丢失。 1.首先你得有flume 比如你有：【如果没有请走这篇：搭建flume集群(待定）】 阅读全文
摘要：
体现sparkStreaming的秒级准实时性，所以我们需要一个能够持续输入数据的东东 1.CentOS上下载nc 创建一个scala工程,导入相关pom依赖 创建一个object 编写代码 跑起来 使用scoket nc打开9999端口发送数据 测试 阅读全文
摘要：
这是2种不同的架构。 他们的区别是SparkStreaming的吞吐量非常高，秒级准实时处理，Storm是容错性非常高，毫秒级实时处理 解释：sparkStreaming是一次处理某个间隔的数据，比如5秒内的数据，批量处理，所以吞吐量高。 Storm是来一条处理一条，所以速度快，不存在丢失数据 应用 阅读全文