摘要：windows下使用idea远程链接Hadoop一.配置环境二.Idea中创建Maven项目,导入依赖三.启动四.FAQ一.配置环境1.将在Linux系统中解压的hadoop版本(.gz后缀),解压到指定目录2.配置HADOOP_HOME环境变量(1)新建环境变量(我解压在F:/) (2)Path变 阅读全文

摘要：IDEA中新建Maven工程，添加POM依赖， 在IDE的提示中， 点击 Import Changes 等待自动下载完成相关的依赖包。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM 阅读全文

摘要：shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是 阅读全文

摘要：一、scp命令 scp命令用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读read only system时，用scp可以帮你把文件移出来。另外，scp还非常不占资源，不会提 阅读全文

摘要：一、说明 cp：是在同一个linux系统上，在不同的目录之间复制文件； scp：是在不同linux系统之间来回复制文件； 二、cp 用法 单个文件复制： cp 源文件 目标路径 ~~从原路径复制源文件到目标路径下；如果在目标路劲之后加文件名称和格式意思就是复制过去之后将该文件重命名。 多个文件复制： 阅读全文