2018年8月1日
Hadoop2.X HA搭建
摘要： 三台机器：node01, node02, node03 Hadoop-env.sh:配置jdk(hadoop 1x已配置) 配置类似于hadoop1.x,依次配置: 1. core-site.xml 2. hdfs-site.xml 3.配置hadoop中的slaves(1.x已配置) 4.准备zo 阅读全文
posted @ 2018-08-01 14:29 路人庄 阅读(201) 评论(0) 推荐(0) 编辑
MapReduce安装及Wordcount实例
摘要： 一. MapReduce安装配置 准备工作: ①本机主要配置了3台虚拟机:node01、 node02、 node03 ②配置mapreduce需要解决的配置：mapred-site.xml　yarn-site.xml yarn--site.xml ③关闭防火墙:service iptables s 阅读全文
posted @ 2018-08-01 12:38 路人庄 阅读(209) 评论(0) 推荐(0) 编辑
初识MapReduce
摘要： 1.1 MapReduce 是什么 MapReduce 是一种分布式的离线计算框架，是一种编程模型，用于大规模数据集(大于 1TB)的并行运算。将自己的程序运行在分布式系统上。概念是："Map(映射)"和"Reduce(归约)"。 指定一个 Map( 映射) ) 函数，用来把一组键值对映射成一组新的 阅读全文
posted @ 2018-08-01 09:40 路人庄 阅读(302) 评论(0) 推荐(0) 编辑