2017年5月16日
摘要: a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sources.r1.interceptors = i1 i... 阅读全文
posted @ 2017-05-16 22:43 简单明了 阅读(1199) 评论(0) 推荐(0) 编辑
摘要: a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sources.r1.interceptors = i1 i... 阅读全文
posted @ 2017-05-16 22:42 简单明了 阅读(173) 评论(0) 推荐(0) 编辑
摘要: a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink #a1.sinks.k1... 阅读全文
posted @ 2017-05-16 22:40 简单明了 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 环境介绍: 主服务器ip:192.168.80.128 1、准备apache-flume-1.7.0-bin.tar文件 2、上传到master(192.168.80.128)服务器上 3、解压apache-flume-1.7.0-bin.tar 4、进入到Flume的配置文件目录 5、修改apac 阅读全文
posted @ 2017-05-16 22:36 简单明了 阅读(282) 评论(0) 推荐(0) 编辑
  2017年5月7日
摘要: 倒排索引 (就是key和Value对调的显示结果) 一、需求:下面是用户播放音乐记录,统计歌曲被哪些用户播放过 tom LittleApple jack YesterdayOnceMore Rose MyHeartWillGoOn jack LittleApple John MyHeartWillG 阅读全文
posted @ 2017-05-07 23:51 简单明了 阅读(2543) 评论(1) 推荐(0) 编辑
摘要: 1、数据准备 使用MapReduce计算age.txt中年龄最大、最小、均值name,min,max,countMike,35,20,1Mike,5,15,2Mike,20,13,1Steven,40,20,10Ken,28,68,1Ken,14,198,10Cindy,32,31,100 2、预期 阅读全文
posted @ 2017-05-07 23:34 简单明了 阅读(1608) 评论(0) 推荐(0) 编辑
摘要: 1、数据准备: Mike,35 Steven,40 Ken,28 Cindy,32 2、预期结果 Max 40 Min 28 Avg 33 3、MapReduce代码如下 4、注意事项 因为输出的结果和Key没有关系,所以在map阶段要固定一个Key即可。 阅读全文
posted @ 2017-05-07 23:24 简单明了 阅读(884) 评论(0) 推荐(0) 编辑
摘要: 环境介绍: 主服务器ip:192.168.80.128(master) NameNode SecondaryNameNode ResourceManager 从服务器ip:192.168.80.129(slave1) DataNode NodeManager 从服务器ip: 192.168.80.1 阅读全文
posted @ 2017-05-07 23:18 简单明了 阅读(464) 评论(0) 推荐(0) 编辑
  2017年4月24日
摘要: 一般是在/etc/profile下面配置JDK的环境变量 然后退出用户,重新登录,但是发现JAVA的环境变量还是没有修改过来。 这个时候可以先看下PATH的具体指是啥 然后发现在你配置的JDK前面可能还有一个JDK配置,所以跟Windows一样,我们把JDK的环境配置到前面,对第一步的命令做下调整 阅读全文
posted @ 2017-04-24 21:47 简单明了 阅读(484) 评论(0) 推荐(0) 编辑
  2017年4月23日
摘要: 一、准备运行所需Jar包 1)avro-1.7.4.jar 2)commons-cli-1.2.jar 3)commons-codec-1.4.jar 4)commons-collections-3.2.1.jar 5)commons-compress-1.4.1.jar 6)commons-con 阅读全文
posted @ 2017-04-23 22:36 简单明了 阅读(333) 评论(0) 推荐(0) 编辑