liutoutou

摘要： MapReduce是一种处理海量数据的并行编程模型和计算框架，用于对大数据及的并行计算。1、MapReduce基础1）MapReduce处理数据集过程，如下图：a）Map阶段：MapReduce 框架将任务的输入分割成固定大小的片段（splits），随后将每个split进一步分解成一批键值对。Hadoop为每个split创建一个Map任务用于执行用户自定义的map函数，并将对应split中的对作为输入，得到计算的中间结果.接着将中间结果按照K2进行排序，并将key值相同的value放在一起形成元组。最后再根据Key值的范围将这些元组进行分组，对应不同的Reduce任务。b）Reduce阶段：R 阅读全文

摘要： 1、HDFS设计前提与目标（1）硬件错误是常态而不是异常。 错误检测并快速自动恢复是HDFS最核心设计目标（2）流式数据访问。运行在HDFS上的应用主要是以流式数据读取为主，做批量处理而不是用户交互处理，所以HDFS更关注数据访问的高吞吐量。（3）大规模数据集。HDFS支持大文件存储，并能提供整体上高的数据传输宽带，能在一个集群里扩展到数百个节点。（4）简单一致性模型。HDFS的应用程序需要对文件实行一次性写、多次读的访问模式。文件一经创建、写入和关闭之后就不需要再更改了。（5）移动计算比移动数据更划算。在数据旁边执行操作效率会比较高，可以减少网络的拥塞和提高系统的吞吐量。HDFS提供了接口， 阅读全文

摘要： 1、Hadoop 是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多小的工作单元放到任何集群节点上执行。作业（job）:一个准备提交执行的应用程序；任务（task）:从一个作业划分出的、运行于各计算节点的工作单元；HDFS:主要负责各个节点上的数据存储，并实现高吞吐率的数据读写；2、在分布式存储和分布式计算方面，Hadoop使用主/从(Master/Slave)架构，在集群中运行一系列后台程序（1）NameNode：HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块分别被存储到哪些数据节点上。主要功能是 阅读全文

摘要： 1、局部(local)变量是在一个方法内定义的变量, 也被称作自动（automatic）、临时（temporary）或栈（stack）变量- 当一个方法被执行时, 局部变量被创建；当一个方法被终止时, 局部变量被清除- 局部变量必须使用之前初始化, 否则编译时将出错2、在方法外定义的变量被自动初始化3、当一个对象被创建时，实例变量在分配存储器的同时被下列值初始化4、一个具有空值的引用不引用任何对象。试图使用它引用的对象将会引起一个异常5、如果使用｜｜运算符，而且第一个表达式返回真， 则第二个表达式不必求值，因为整个表达式已经被认为是真。6、如果使用&&运算符，当第一个子表达式是 阅读全文

摘要： 1、在Java编程语言中，标识符是赋予变量、类或方法的名称。标识符可从一个字母、下划线(_)或美元符号($)开始，随后也可跟数字。标识符是大小写区别对待的并且未规定最大长度。2、Java技术源程序采用有效的16-bit 双字节字符编码标准(Unicode) ，而不是8-bit ASCII文本。3、标识符不能是关键字，但是它可包含一个关键字作为它的名字的一部分。4、无sizeof运算符；所有类型的长度和表示是固定的，不依赖执行。5、goto和const不是Java编程语言中使用的关键字。6、整数类型和boolean类型之间无转换计算。7、char类型可表示单个字符。一个char代表一个16-bi 阅读全文

摘要： 1、什么是Java编程语言 Java是：一种编程语言、一种开发环境、一种应用环境、一种部署环境2、Java编程语言的主要目标 （1）提供一种解释环境为：提高开发速度、代码可移植性、使用户能运行不止一个活动线程、当程序运行时，能动态支持程序改变、提供更好的安全性 提高开发速度──消除编译─链接—装载—测试周期。 代码可移植性──使操作系统能为运行环境做系统级调用 为运行不止一个活动线程的程序提供了一种方式 通过允许下载代码模块，从而当程序运行时也能动态支持程序改变。 为那些保证安全性而装载的代码模块提供了一种检查方法 （2）提供一种易于编程的语言 消除其它语言在诸... 阅读全文

摘要： 我拎着刚买的levi’s从茂业出来，站在门口等一个朋友。一个职业乞丐发现了我，非常专业的、径直的停在我面前。这一停，于是就有了后面这个让我深感震撼的故事，就象上了一堂生动的市场调查案例课。为了忠实于这个乞丐的原意，我凭记忆尽量重复他原来的话。 “先生……行行好，给点吧。”我一时无聊便在口袋里找出一个硬币扔给他并同他攀谈起来。 乞丐很健谈。“……我只在华强北一带乞讨，你知道吗？我一扫眼就见到你。在茂业买levi’s，一定舍得花钱……” “哦？你懂的蛮多嘛！”我很惊讶。 “做乞丐，也要用科学的方法。”他说。 我一愣，饶有兴趣地问“什么科学的方法？” “你看看我和其他乞丐有什么不同... 阅读全文