摘要： 经过上一篇的分析，我们知道了Hadoop的作业提交目标是Cluster还是Local，与conf文件夹内的配置文件参数有着密切关系，不仅如此，其它的很多类都跟conf有关，所以提交作业时切记把conf放到你的classpath中。　　因为Configuration是利用当前线程上下文的类加载器来加载资源和文件的，所以这里我们采用动态载入的方式，先添加好对应的依赖库和资源，然后再构建一个URLCla... 阅读全文

摘要： 前面我们所分析的部分其实只是Hadoop作业提交的前奏曲，真正的作业提交代码是在MR程序的main里，RunJar在最后会动态调用这个main，在（二）里有说明。我们下面要做的就是要比RunJar更进一步，让作业提交能在编码时就可实现，就像Hadoop Eclipse Plugin那样可以对包含Mapper和Reducer的MR类直接Run on Hadoop。　　一般来说，每个MR程序都会有这么... 阅读全文

摘要： Alibaba DFS这个PDF是我从阿里巴巴的《互联网时代的软件革命》这本书里扫描出来，放到Hadoop群里给大家共享的，但时不时发现有人来寻这个PDF，原来在我的小站上有下载链接，但现在挂了，所以在网上貌似没的下了。这里我再上传一次吧，方便想下载的人。　　ADFS这个东西到底只是虚构的还是真实存在，我不得而知，请找阿里人询问。　　如果这东西侵权或干啥的，请联系我，我撤掉。　　>>点... 阅读全文