HDFS文件系统内的文件格式转换(zip格式转化成gzip格式)
摘要：
这篇主要介绍利用hdfs接口，使用java编程向hdfs写入数据。一、模仿hadoop fs -put 和 -copyFromLoca命令，实现本地复制文件到hdfs：View Code二、写一个与hadoop fs -getmerge相对应的一个简单程序： putmerge 。我们知道，getmerge命令是从hdfs上获取大量文件组合成一个文件放到本地文件系统中的命令。但是hadoop没有提供与这一过程相逆的命令。不幸的是我们会在处理apache日志过程中常用到这样的一个命令，比如有很多按日期分的apache日志。我们想传到hdfs中使用MepReduce来处理的话，我们只能用笨办法先本地 阅读全文
posted @ 2013-02-27 14:44 JueFan_C 阅读(2943) 评论(1) 推荐(0) 编辑
