摘要: 阅读全文
posted @ 2019-08-25 23:21 西兰花像棵小树 阅读(82) 评论(0) 推荐(0) 编辑
摘要: 以Wordcount程序为例,简单描述MapReduce程序的编程模型。 MapReduce程序组成 MapReduce程序一般分成三个部分: 一个程序主引导部分; 一个Map程序部分; 一个Reduce部分。 主引导部分用来设置MapReduce(以下简称 “ MR” )程序的一些非业务逻辑属性, 阅读全文
posted @ 2019-08-25 23:19 西兰花像棵小树 阅读(353) 评论(0) 推荐(0) 编辑
摘要: Map Reduce是一个计算框架。Map函数发送到所有含有涉及数据的节点上运行,而Reduce之运行在多台主机上用作收集map结果用,reduce数量取决于reduce收集函数分了几个组,只在几个几个节点上运行。 shuffle机制:分组排序 MapReduce执行过程 map进程数量基于切片思想 阅读全文
posted @ 2019-08-25 23:17 西兰花像棵小树 阅读(295) 评论(0) 推荐(0) 编辑
摘要: HDFS存储方式: 将用户的文件分块,分散在多台主机上,同时每个块又有多个备份,多个备份不会出现在一台主机上,以确保即使一台主机出现问题,文件的访问依然正常。但是由于用户访问文件用的是一个路径指向一个文件,而具体的文件是被分块的,所以对于文件具体存储和路径之间存在映射关系,这个映射关系由nameno 阅读全文
posted @ 2019-08-25 23:16 西兰花像棵小树 阅读(140) 评论(0) 推荐(0) 编辑
摘要: Linux版本:Ubuntu 16.04 Server LTS 1. 安装Linux,初始用户名设置为hadoop,host依次是: Lead1,Lead2,Register1,Register2,Register3,Follower1,,Follower2,Follower3,Follower4, 阅读全文
posted @ 2019-08-25 23:13 西兰花像棵小树 阅读(214) 评论(0) 推荐(0) 编辑
摘要: 使用过C++的人应该知道,使用new运算符在堆上创建对象的代价是非常高的——不但创建很麻烦,管理也很麻烦。Java也是通过new运算符在堆上创建对象,但是很明显有着较高的速度。这就要归功于垃圾回收器的存在了。 C++的堆分配和Java堆分配的不同之处 C++堆的管理是由程序员来负责的,这就意味着,对 阅读全文
posted @ 2019-08-25 23:06 西兰花像棵小树 阅读(127) 评论(0) 推荐(0) 编辑
摘要: --Client.java public class Client { private static String ip = null; private static int port = 10000; public static void main(String[] args) throws Ex 阅读全文
posted @ 2019-08-25 23:04 西兰花像棵小树 阅读(200) 评论(0) 推荐(0) 编辑
摘要: --Client.java public class Client { private static String ip = null; private static String websiteName = null; private static int port = 10000; privat 阅读全文
posted @ 2019-08-25 23:03 西兰花像棵小树 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 最近做了一个数据结构课上迷宫求解的问题,要求在栈结构上最好能带一个图形界面,将找到的迷宫路径展示出来。原本打算连图形界面一起用C语言写,但是C语言的图形界面如果不调用操作系统的图形库真的很难看,所以选择了Java写图形界面,C语言写算法的这样一个混合编程的方案。这里不对Java图形界面的具体实现和C 阅读全文
posted @ 2019-08-25 23:02 西兰花像棵小树 阅读(207) 评论(0) 推荐(0) 编辑
摘要: 我们几乎无法从Java本身改变其回收机制的策列,但我们可以改变我们的编程方式和在编程中的注意事项。 1.Java没有C++中对象析构的功能,但Java的垃圾回收机制是有原则的,它会回收没有变量引用的对象。这种对象没有变量引用它,也就再也不可能有任何方法找到这个“丢失的”对象了——GC回收的就是这种对 阅读全文
posted @ 2019-08-25 23:00 西兰花像棵小树 阅读(99) 评论(0) 推荐(0) 编辑