摘要:
今天写的日志合并MapReduce程序,重新梳理了一遍写一个MapReduce Job的要点: 1. 参数获取。 我一般都会在参数中包含这几项:输入文件路径、工作路径(.finish文件所在的目录)、输出文件路径(结果数据所在的路径,在实际工程中,一般和工作路径不同)。还有一个wait/submit... 阅读全文
2013年5月7日
2013年4月27日
摘要:
工作时,用eclipse写java程序,然后打成jar包部署。在调试单个class时,程序是从.class文件启动的;部署之后,程序是从jar包启动的。在这两种场景下,获取程序运行的一些配置文件的方式是不同的。从.class文件启动时,可以直接通过FileInputStream来读取配置文件;而在j... 阅读全文
2013年3月27日
摘要:
今天在写MapReduce时遇到一个,和这篇文章描述的一样 http://blog.csdn.net/rabbitxl/article/details/8645428 因此直接将原文转于此,备忘。 ==== 转载开始 ==== 在社区版的h... 阅读全文
2013年2月4日
摘要:
春节临近,准备收拾行囊回家过年。由于家在农村,没有网络。于是想把一些自己喜欢的技术网站下载到本地,回家好好阅读。以前就知道wget有做网站镜像的功能,于是就折腾了一下,使用中遇到一些问题,最后得到了wget命令行: wget -e robots=off -w 1 -x -np -p -m -k ... 阅读全文
2012年12月11日
摘要:
1. 在reducer中,每一输入是一个对,例如Text key, Iterable values. 其中的values只能遍历一遍,这在程序设计时要特别注意。 for(Text value : values){ doSth(); }for(Text value : values){ ... 阅读全文
2011年12月30日
摘要:
这个问题从来没有深究过,直到看到阮一峰的这篇博客,深为阮先生的寻根究底精神和广博知识折服。现全文转载如下,作为备忘和激励之用。 回车和换行 作者:阮一峰 日期:2006年4月30日 今天,我总算搞清楚"回车"(carriage return)和"换行"... 阅读全文