2016年11月23日
将本地文件复制到hadoop文件系统
摘要： package com.yoyosys.cebbank.bdap.service.mr;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.IOException;import java.i 阅读全文
posted @ 2016-11-23 16:40 zhangtongzct 阅读(1288) 评论(0) 推荐(0) 编辑
FSDataInputStream对象 读取数据
摘要： 阅读全文
posted @ 2016-11-23 16:14 zhangtongzct 阅读(6060) 评论(0) 推荐(0) 编辑
直接使用FileSystem以标准输出格式显示hadoop文件系统中的文件
摘要： package com.yoyosys.cebbank.bdap.service.mr; import java.io.IOException; import java.io.InputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.... 阅读全文
posted @ 2016-11-23 15:52 zhangtongzct 阅读(556) 评论(0) 推荐(0) 编辑
hadoop-Combiner作用用法
摘要： 文章来源http://blog.csdn.net/ipolaris/article/details/8723782 reduce的输入每个key所对应的value将是一大串1，但处理的文本很多时，这一串1已将占用很大的带宽，如果我们在map的输出给于reduce之前做一下合并或计算，那么传给redu 阅读全文
posted @ 2016-11-23 11:29 zhangtongzct 阅读(2086) 评论(0) 推荐(0) 编辑
Hadoop - WordCount代码示例
摘要： 文章来源：http://www.itnose.net/detail/6197823.html import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.I... 阅读全文
posted @ 2016-11-23 09:38 zhangtongzct 阅读(3236) 评论(0) 推荐(0) 编辑