09 2014 档案
摘要：javax.servlet jsp-api 2.0 provided compile 默认的scope，表示 dependency 都可以在生命周期中使用。而且，这些dependencies 会传递到依赖的项目中。适用于所有阶段，会随着项目一起发布provided 跟compile相似，但是...
阅读全文
摘要：一个Hadoop程序的优化过程 – 根据文件实际大小实现CombineFileInputFormathttp://www.rigongyizu.com/hadoop-job-optimize-combinefileinputformat/mapreduce job让一个文件只由一个map来处理htt...
阅读全文
摘要：来自：http://blog.csdn.net/dandingyy/article/details/7490046众所周知，Hadoop对处理单个大文件比处理多个小文件更有效率，另外单个文件也非常占用HDFS的存储空间。所以往往要将其合并起来。1，getmergehadoop有一个命令行工具getm...
阅读全文
摘要：http://grepalex.com/2013/05/20/multipleoutputs-part1/http://grepalex.com/2013/07/16/multipleoutputs-part2/
阅读全文
摘要：来自：http://f.dataguru.cn/thread-271645-1-1.html简介本文主要介绍下面4个方面1．为什么要使用CombineFileInputFormat2．CombineFileInputFormat实现原理3．怎样使用CombineFileInputFormat4．现存...
阅读全文
摘要：来自：http://www.geedoo.info/dfs-client-block-write-replace-datanode-on-failure-enable.html这几天由于杭州集群处于升级过度时期，任务量大，集群节点少（4个DN），集群不断出现问题，导致flume收集数据出现错误，以致...
阅读全文
摘要：来自：http://blog.csdn.net/yangjl38/article/details/75833741获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这...
阅读全文
摘要：http://flume.apache.org/FlumeUserGuide.htmlflume抓取 exec 的command 官网有如下建议：以下内容来自：http://blog.163.com/yinlong_bgp/blog/static/21733277201031503321806/ta...
阅读全文
摘要：来自：http://blog.sina.com.cn/s/blog_75247c770100yxpb.html面试的时候，常常会被问到这样一个问题：请您写出一个单例模式（Singleton Pattern）吧。好吧，写就写，这还不容易。顺手写一个： publicfinalclassEagerSin...
阅读全文
