2019年5月8日
Java操作Hadoop集群
摘要： mavenhdfsMapReduce 1. 配置maven环境 2. 创建maven项目 2.1 pom.xml 依赖 2.2 单元测试 3. hdfs文件操作 3.1 文件上传和下载 3.2 RPC远程方法调用 4. MapReduce操作 4.1 WordCount 4.2 本地模式运行 4.3 阅读全文
posted @ 2019-05-08 15:38 林宇风 阅读(946) 评论(0) 推荐(0) 编辑
Hadoop分布式集群搭建
摘要： hadoopsshrsyncntpMapReduce 1. 分布式集群规划 2. 网络IP规划 3. 修改hadoop配置 3.1 core-site.xml 3.2 hdfs-site.xml 3.3 mapred-site.xml 3.4 yarn-site.xml 3.5 slaves 3.6 阅读全文
posted @ 2019-05-08 13:15 林宇风 阅读(1501) 评论(1) 推荐(0) 编辑
Hadoop Local（本地）模式搭建
摘要： 1. 下载压缩包 2. 配置环境变量 3. 配置Hadoop的JAVA_HOME路径 4. WordCount 1. 下载压缩包 下载Hadoop binary二进制压缩包 https://hadoop.apache.org/releases.html 上传到Linux并解压 2. 配置环境变量 提 阅读全文
posted @ 2019-05-08 00:31 林宇风 阅读(1239) 评论(0) 推荐(0) 编辑
Hadoop介绍
摘要： HadoopHDFSMapReduce Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储 MapReduce则为海量的数据提供了计算 HDFS 分布式文件系统（Hadoop Distributed File 阅读全文
posted @ 2019-05-08 00:07 林宇风 阅读(318) 评论(0) 推荐(0) 编辑