摘要：
Shuffle过程是MapReduce的核心，描述着数据从map task输出到reduce task输入的这段过程。 Hadoop的集群环境，大部分的map task和reduce task是执行在不同的节点上的，那么reduce就要取map的输出结果。那么集群中运行多个Job时，task的正常执 阅读全文
摘要：
Hadoop是什么？ Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划 阅读全文
摘要：
今天在写代码的时候，突然想到利用xshell连接虚拟机都要输入密码，而从本机访问虚拟机却不需要，有些疑惑，原来是使用的服务不一致，下面是查到的资料 （1）SSH为建立在应用层和传输层基础上的安全协议，SSH采用面向连接的TCP协议传输 应用22号端口，安全系数较高。 （2）FTP是File Tran 阅读全文
摘要：
一、回收站简介： 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站/trash，回收站里的文件可以快速恢复。 可以设置一个时间阀值，当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。 二、设置： Hadoop的回收站trash功能默认是关闭的 阅读全文
摘要：
文件系统是操作系统与驱动器之间的接口，当操作系统请求从硬盘里读取一个文件时，会请求相应的文件系统(FAT 16/32/NTFS)打开文件。扇区是磁盘最小的物理存储单元，但由于操作系统无法对数目众多的扇区进行寻址，所以操作系统就将相邻的扇区组合在一起，形成一个簇，然后再对簇进行管理。每个簇可以包括2、 阅读全文
摘要：
vim /etc/profile JAVA_HOME=/home/software/jdk1.8 HADOOP_HOME=/home/software/hadoop 2.7.1 PATH=./:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sb 阅读全文
摘要：
环境变量是什么？ 环境变量，是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。例如Windows和DOS操作系统中的path环境变量，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到path中指定的路径去找。用户通过 阅读全文
摘要：
RPM介绍：可以在linux环境下被安装或被卸载的程序软件包。通过Linux的rpm指令来进行安装或 卸载； RPM优点： RPM内含已经编译过的程序与配置文件等数据,可以让用户免除重 新编译的困扰； RPM在被安装之前,会先检查系统的硬盘容量、操作系统版本等,可 避免文件被错误安装； RP 阅读全文
摘要：
默认设置为：true:不会等待ajax请求返回结果，会直接执行ajax后面的语句，直到服务器端返回数据后，触发$.ajax里的sucess方法，这时候执行的是两个线程； async:false，则所有的请求均为同步请求，在没有返回值之前，同步请求将锁住浏览器，用户其它操作必须等待请求完成后才可以执行 阅读全文
摘要：
定义和用法 eval() 函数可计算某个字符串，并执行其中的的 JavaScript 代码。 返回值 通过计算 string 得到的值（如果有的话）。 说明 该方法只接受原始字符串作为参数，如果 string 参数不是原始字符串，那么该方法将不作任何改变地返回。因此请不要为 eval() 函数传递 阅读全文