摘要：
转自：http://www.importnew.com/15884.html Java 7引入了NIO.2，NIO.2是继承自NIO框架，并增加了新的功能（例如：处理软链接和硬链接的功能）。这篇帖子包括三个部分，我将使用NIO.2的一些示例，由此向大家演示NIO.2的基本使用方法。 文件拷贝 Q：怎 阅读全文
摘要：
Markdown支持流程图、序列图、甘特图等图 支持转换成PDF、HTML等电子书 支持参考文献，支持LATEX，支持相关的论文图表等写作 支持目录，支持combobox 一个优秀的MarkDown在线编辑器，该编辑器里面展示了较完整的Markdown语法：https://www.zybuluo.c 阅读全文
摘要：
YARN和MR1的区别： 1、YARN1框架分为资源调度和任务调度，而MR1中都由JobTracker完成。YARN是一个通用的分布式调度系统。 2、MR1的setUp和cleanUp等任务，是在TaskTracker上的任务执行，具体的实现见OutputCommitter。YARN的setUp和c 阅读全文
摘要：
转自：https://www.zybuluo.com/frank-shaw/note/206604 MapReduce基本过程 关于MapReduce中数据流的传输过程，下图是一个经典演示： 关于上图，可以做出以下逐步分析： OK，大致的步骤就是这样。这里面有很多实践上的细节值得注意。本人经验为0， 阅读全文
摘要：
本文转自：Hadoop MapReduce 工作机制 工作流程 作业配置 相对不难理解。 具体略。 作业提交 首先熟悉上图，4个实例对象： client jvm、jobTracker、TaskTracker、SharedFileSystem MapReduce 作业可以使用 JobClient.ru 阅读全文
摘要：
问题：reduce输出时，如果不是推测任务写结果时会先写临时目录最后移动到输出目录吗？ 下面部分转自Hadoop官网说明 OutputFormat 描述Map/Reduce作业的输出样式。 Map/Reduce框架根据作业的OutputFormat来： 检验作业的输出，例如检查输出路径是否已经存在。 阅读全文
摘要：
参见http://blog.csdn.net/hanchengxi/article/details/19089589 磁盘的读写速率一般为大概200MB/S 三星SSD的性能（三星 MZ-750120B） 参见https://detail.tmall.com/item.htm?spm=a220m.1 阅读全文
摘要：
转自http://shiyanjun.cn/archives/962.html 我们可以从java.io.InputStream类中看到，抽象出一个read方法，用来读取已经打开的InputStream实例中的字节，每次调用read方法，会读取一个字节数据，该方法抽象定义，如下所示：public a 阅读全文
摘要：
转自http://shiyanjun.cn/archives/942.html HDFS是一个分布式文件系统，在HDFS上写文件的过程与我们平时使用的单机文件系统非常不同，从宏观上来看，在HDFS文件系统上创建并写一个文件，流程如下图（来自《Hadoop：The Definitive Guide》一 阅读全文
摘要：
在实际编程中可以不用关注JVM中使用的是什么编码，而只需要关注自己输出需要采用的编码，JVM会根据你设置的编码正确操作。 1、String采用的是什么编码？ 很多厂家根据规范实现了JVM，JVM只说明了String应该符合Unicode编码。Unicode编码只是一种编码模型，utf8,utf16, 阅读全文