soyosuyang

2017年10月18日

摘要： 1.cd /usr/local2/flume/conf sudo vim avro.conf: 保留这个shell 测试文件： cd /usr/local2/flume vim soyo.txt 再开一个shell：./flume-ng avro-client --conf conf -H loca 阅读全文

posted @ 2017-10-18 15:09 soyosuyang 阅读(343) 评论(0) 推荐(0) 编辑

ubuntu16.04 Flume 安装

摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume主要由3个重要的组件构成： Source:完成对日志阅读全文

posted @ 2017-10-18 14:59 soyosuyang 阅读(1359) 评论(0) 推荐(0) 编辑

2017年10月17日

Kafka VS Flume

摘要：（1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Thrift-RP 阅读全文

posted @ 2017-10-17 19:51 soyosuyang 阅读(235) 评论(0) 推荐(0) 编辑

ubuntu16.04 Kafka 安装

摘要： Kafka核心概念：下面介绍Kafka相关概念,以便运行下面实例的同时，更好地理解Kafka. 1. Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker 2. Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息阅读全文

posted @ 2017-10-17 19:29 soyosuyang 阅读(4305) 评论(0) 推荐(0) 编辑

IDEA Spark Streaming Kafka数据源-Consumer

摘要：结果：需要Kafka-Producer程序输入数据 Time: 1508230980000 ms (4,61)(8,69)(6,66)(0,70)(2,61)(7,69)(5,61)(9,74)(3,62)(1,72) Time: 1508230990000 ms (4,61)(8,69)(6,66 阅读全文

posted @ 2017-10-17 19:10 soyosuyang 阅读(288) 评论(0) 推荐(0) 编辑

IDEA Spark Streaming Kafka数据源-Producer

摘要：结果： 4 6 9 7 6 8 30 0 8 3 9 3 42 2 1 9 2 2 36 2 5 8 1 0 76 9 6 8 5 8 07 8 6 5 3 4 43 7 9 1 3 1 99 0 0 9 0 6 92 5 2 8 3 6 59 3 2 6 2 6 82 1 2 7 2 7 3 阅读全文

posted @ 2017-10-17 19:07 soyosuyang 阅读(605) 评论(0) 推荐(0) 编辑

用Case类生成模板代码

摘要： case类：主要是创建“不可变的记录” 当时你可以把构造函数默认的val 改为var 但这样就颠覆了它的本意 case类的好处： 1.生成apply方法，不用new 新的实例 2.构造函数参数默认是val，自动生成访问方法 3.会生成一个默认的toString方法 4.会生成unapply在模式匹配阅读全文

posted @ 2017-10-17 11:25 soyosuyang 阅读(212) 评论(0) 推荐(0) 编辑

在抽象基类里定义属性

摘要： object soyo{ abstract class Animal{ val animal_name:String var age:Int val text_string:String="textname" } class pet extends Animal{ val animal_name: String ="pig" var age=... 阅读全文

posted @ 2017-10-17 10:50 soyosuyang 阅读(302) 评论(0) 推荐(0) 编辑

2017年10月16日

IDEA Spark Streaming 操作(RDD队列流)

摘要： import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.streaming.{Seconds, StreamingContext} import scala.collection.mutable object DStream_RDDqueue { def main(... 阅读全文

posted @ 2017-10-16 19:38 soyosuyang 阅读(1150) 评论(0) 推荐(0) 编辑

IDEA Spark Streaming 操作(套接字流)-----make socket数据源

摘要：功能：随机读取1.txt文件内的一行发送到6667端口备注：需要同时运行监听程序阅读全文

posted @ 2017-10-16 11:23 soyosuyang 阅读(396) 评论(0) 推荐(0) 编辑

公告