摘要：
windows下使用idea远程链接Hadoop一.配置环境二.Idea中创建Maven项目,导入依赖三.启动四.FAQ一.配置环境1.将在Linux系统中解压的hadoop版本(.gz后缀),解压到指定目录2.配置HADOOP_HOME环境变量(1)新建环境变量(我解压在F:/) (2)Path变 阅读全文
摘要：
IDEA中新建Maven工程，添加POM依赖， 在IDE的提示中， 点击 Import Changes 等待自动下载完成相关的依赖包。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM 阅读全文
摘要：
shuffle概念 shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。其在MapReduce中所处的工作阶段是 阅读全文