06 2018 档案
摘要：概括：combine和partition都是函数。中间的步骤应该仅仅有shuffle！1.combinecombine分为map端和reduce端，作用是把同一个key的键值对合并在一起，能够自己定义的。combine函数把一个map函数产生的<key,value>对（多个key,value）合并成
阅读全文
摘要：转载http://my.oschina.net/Chanthon/blog/150500 map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行
阅读全文
摘要：1.MapReduce作业运行流程2.Map、Reduce任务中Shuffle和排序的过程 一. MapReduce框架组成 MapReduce主要包括JobClient、JobTracker、TaskTracker、HDFS四个独立的部分。 1、JobClient 配置参数Configuratio
阅读全文
摘要：SSH（Secure Shell）是一种提供网络安全的传输协议。它保证了在网络上的数据并非明文传输，目前使用SSH登录远程终端已经是通用方式。 SSH登录时有两种验证方法： 第一种：基于密码的安全验证，它要求用户在每次登录服务器时输入密码，服务器端验证通过后即登录成功。 第二种：基于密钥的安全验证，
阅读全文
摘要：1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到window
阅读全文
摘要：一、 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 Firs
阅读全文
摘要：进入hbase命令行./hbase shell 显示hbase中的表list 创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'} 向user表中插
阅读全文
摘要：假如client想要从hbase的“user”表中去取“333”的数据， 第一步。client从zookeeper中得到.ROOT的位置（在第二个HRegionserver中），然后去第二个HRegionserver中找.ROOT文件，然后从.ROOT中找到.META的位置（在第一个和第三个HReg
阅读全文
摘要：一、实验目的 1. 了解线性表的逻辑结构特性，以及这种特性在计算机内的两种存储结构。 2. 重点是线性表的基本操作在两种存储结构上的实现；其中以链表的操作为侧重点；并进一步学习结构化的程序设计方法。 二、实验原理 约瑟夫问题的一种描述：编号为1，2，……，n的n个人按顺时针方向围坐一圈，每人持有一个
阅读全文
摘要：一、实验目的 熟练掌握哈希表的构造方法，深刻理解哈希表与其他结构表的实质性差别。 二、实验内容 程序的功能是对一批关键字集合采用除留余数法和线性探测再散列的方法解决冲突来建立相应的哈希表和完成查找过程及平均查找长度的计算。 【问题描述】 研究哈希（HAXI）表查找技术的两个重要问题是：构造HAXI函
阅读全文
摘要：一、实验目的 二、实验原理 哈夫曼树，即最优树，是带权路径长度最短的树。有着广泛的应用。在解决某些判定问题上，及字符编码上，有着重要的价值。 构造一棵哈夫曼树，哈夫曼最早给出了算法，称为哈夫曼算法： （1）根据给定的N个权值 W1，W2，W3，……，Wn ，构成N棵二叉树的集合F= T1，T2，T3
阅读全文
摘要：TCP运输连接的三个阶段： 连接建立。 数据传送。 连接释放。 TCP连接建立过程中要解决的问题： （1） 每一方能够确知对方的存在。 （2） 允许双方协商参数。如：最大窗口值，是否使用窗口扩大选项，是否使用时间戳选项，服务质量，…… （3） 能够对运输实体资源进行分配。如：缓存大小，连接表中的项目
阅读全文
摘要：1. 前几天做了一道题，做错了，遂良心发现，我觉得你从头看到尾，差不多可以明白KMP算法的思想 2. 暴力匹配算法 假设现在我们面临这样一个问题：有一个文本串S，和一个模式串P，现在要查找P在S中的位置，怎么查找呢？ 如果用暴力匹配的思路，并假设现在文本串S匹配到 i 位置，模式串P匹配到 j 位置
阅读全文
摘要：https是什么？ HTTPS是以安全为目标的HTTP通道，简单讲是HTTP的安全版。之所以安全是因为它在将HTTP报文发送给TCP之前，先将其发送给了一个安全层(通过SSL协议实现)对报文进行加密。 报文加密的优点 保证客户端和服务器的对话不会被其他人窃听 保证双方发送的数据不会中途被修改 确保双
阅读全文
摘要：HTTP（HyperText Transport Protocol）是超文本传输协议的缩写，它用于传送WWW方式的数据，关于HTTP协议的详细内容请参考RFC2616。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求，请求头包含请求的方法、URL、协议版本、以及包含请求修饰符、客户信息和
阅读全文
摘要：1. HTTP 的URL 以http:// 开头，而HTTPS 的URL 以https:// 开头2. HTTP 是不安全的，而 HTTPS 是安全的3. HTTP 标准端口是80 ，而 HTTPS 的标准端口是4434. 在OSI 网络模型中，HTTP工作于应用层，而HTTPS 工作在传输层5.
阅读全文
摘要：简单选择排序的基本思想：第1趟，在待排序记录r[1]~r[n]中选出最小的记录，将它与r[1]交换；第2趟，在待排序记录r[2]~r[n]中选出最小的记录，将它与r[2]交换；以此类推，第i趟在待排序记录r[i]~r[n]中选出最小的记录，将它与r[i]交换，使有序序列不断增长直到全部排序完毕 vo
阅读全文
摘要：原先只知道最初的冒泡版本，突然感觉好渣啊，哈哈 不过，没事，学无止境，越学越不简单喔！！！ 设数组的长度为N： （1）比较前后相邻的二个数据，如果前面数据大于后面的数据，就将这二个数据交换。 （2）这样对数组的第0个数据到N-1个数据进行一次遍历后，最大的一个数据就“沉”到数组第N-1个位置。 （3
阅读全文
摘要：根据日志中的路径，cd /home/hadoop/tmp/dfs，能看到 data和name两个文件夹。 方法一：删除DataNode的所有资料及将集群中每个datanode节点的/dfs/data/current中的VERSION删除，然后重新执行hadoop namenode -format进行
阅读全文
摘要：高快省的排序算法 有没有既不浪费空间又可以快一点的排序算法呢？那就是“快速排序”啦！光听这个名字是不是就觉得很高端呢。 假设我们现在对“6 1 2 7 9 3 4 5 10 8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数（不要被这个名词吓到了，就是一个用来参照的数，待会你就知道它用
阅读全文
