2019年3月16日
SparkStream pom.xml配置
摘要： 4.0.0 com.imooc.spark sparktrain 1.0 2008 2.11.8 0.9.0.0 2.2.0 2.6.0-cdh5.7.0 1.2.0-cdh5.7.0 cloudera https://repository.cloudera.com/arti... 阅读全文
posted @ 2019-03-16 10:15 Arthur-Lance 阅读(636) 评论(0) 推荐(0) 编辑
2019年3月6日
SparkStreaming 工作原理
摘要： Dstream 用来代表时间序列上的一连串RDD 阅读全文
posted @ 2019-03-06 23:38 Arthur-Lance 阅读(159) 评论(0) 推荐(0) 编辑
2019年2月28日
整合flume和kafka--实时数据采集
摘要： 简单来说，kafka是消息的中间件。 由生产者与消费者组成。用于缓冲数据。类似一个篮子。 阅读全文
posted @ 2019-02-28 23:26 Arthur-Lance 阅读(191) 评论(0) 推荐(0) 编辑
2019年2月26日
flume的作用
摘要： 传输文件到hadoop，从日志收集服务器 虽然这些scp就能完成，但是，scp怎么保证任务中断，负载均衡，状态查看。。。 flume能帮你做到这些，好强大啊，这个框架 阅读全文
posted @ 2019-02-26 23:43 Arthur-Lance 阅读(1140) 评论(0) 推荐(0) 编辑