07 2019 档案
摘要：在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(job, submitJobDir); //设置map的数量，而map的数量是根据文件的大小和分片的大
阅读全文
摘要：接着作业提交详解（上）继续写：在上一篇（hadoop2.7之作业提交详解（上））中已经讲到了YARNRunner.submitJob() [WordCount.main() -> Job.waitForCompletion() -> Job.submit() -> Job.connect() ->
阅读全文
摘要：#######linux文件系统管理########## 文件系统 文件系统这个名词大家都很陌生，不过如果说成分区，大家就比较容易理解了。原先每个分区只能格式化为一个文件系统，所以我们可以认为文件系统就是指分区。不过随着技术的进步，现在一个文件系统可以由几个分区组成，或者一个分区可以格式化为几个不同
阅读全文
摘要：根据wordcount进行分析： 这上面是个简单wordcount的代码，这里就不一一说明了，我们首先看main方法：获取一个job对象，然后经过一系列的设置，最后调用waitForCompletion方法 接下来我们看下一调用waitForCompletion方法的这个类Job（由于类的内容很多，
阅读全文
摘要：归档：也称为打包，指的是一个文件或目录的集合，而这个集合被存储在一个文件中。归档文件没有经过压缩，因此，它占用的空间是其中所有文件和目录的总和。压缩：压缩文件也是一个文件和目录的集合，且这个集合也被存储在一个文件中，但它们的不同之处在于，压缩文件采用了不同的存储方式，使其所占用的磁盘空间比集合中所有
阅读全文
摘要：一、进程与线程 进程：是代码在数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位。 线程：是进程的一个执行路径，一个进程中至少有一个线程，进程中的多个线程共享进程的 资源。 虽然系统是把资源分给进程，但是CPU很特殊，是被分配到线程的，所以线程是CPU分配的基本单位。 二者关系： 一个进程
阅读全文
摘要：################shell 模拟实现并发跑数#################有时候我们知道一些程序是可以同时跑的，互不影响，为了提高效率不得不使用并发跑脚本 #1、思路一我们都知道在linux中把程序丢后台跑脚本，我们可以同时跑很多个，这就是实现并发的思路，但是呢？如果我们一次性跑
阅读全文
摘要：############grep命令############这个命令属于文本处理三大命令之一，强大的文本搜索工具（贪婪模式）全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用
阅读全文
摘要：一、什么是异常? 异常就是有异于常态，和正常情况不一样，有错误出错。在java中，阻止当前方法或作用域正常运行的情况，称之为异常。 二、异常体系 Java把异常当作对象来处理，并定义一个基类java.lang.Throwable作为所有异常的超类。在Java API中已经定义了许多异常类，这些异常类
阅读全文
摘要：#############java面向对象详解#############1、面向对象基本概念2、类与对象3、类和对象的定义格式4、对象与内存分析5、封装性6、构造方法7、this关键字8、值传递与引用传递？9、对象的一对一关系10、static关键字11、main方法分析12、继承13、对象的初始化
阅读全文