随笔分类 -  【53】Hadoop生态

上一页 1 2 3
【Hadoop学习之七】Hadoop YARN
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 YARN：Yet Another Resource Negotiator 一、Yarn框架 1、概念由于MRv1存在的问题，Hadoo 阅读全文
posted @ 2019-01-15 09:58 cac2020 阅读(732) 评论(2) 推荐(0) 编辑
【Hadoop学习之六】MapReduce原理
摘要：一、概念MapReduce："相同"的key为一组，调用一次reduce方法，方法内迭代这一组数据进行计算 块、分片、map、reduce、分组、分区之间对应关系block > split1:1:1个block可以切成1个分片N:1：多个block可以以切成1个分片1:N：1个block可以切成多个 阅读全文
posted @ 2019-01-14 15:34 cac2020 阅读(439) 评论(0) 推荐(0) 编辑
【Hadoop学习之五】win7+Eclipse+hadoop3搭建本机开发环境
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 拓扑： 知识准备： 1、eclipse在win7本机电脑上，而部署的hadoop可以是在本机windows 也可以是远程Linux 伪 阅读全文
posted @ 2019-01-04 14:55 cac2020 阅读(1670) 评论(4) 推荐(1) 编辑
【Hadoop学习之四】HDFS HA搭建（QJM）
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 由于NameNode对于整个HDFS集群重要性，为避免NameNode单点故障，在集群里创建2个或以上NameNode（不要超过5个） 阅读全文
posted @ 2019-01-03 10:04 cac2020 阅读(765) 评论(0) 推荐(0) 编辑
【Hadoop学习之三】Hadoop全分布式安装
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop3.1.1 全分布式就是集群，注意配置主机名。 一、平台和软件1、安装JDK和免密登录参考：【Hadoop学习之二】Hadoop伪分布式安装 2、设 阅读全文
posted @ 2019-01-02 15:46 cac2020 阅读(794) 评论(0) 推荐(0) 编辑
【Hadoop学习之二】Hadoop伪分布式安装
摘要：环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 伪分布式就一台机器：主节点和从节点都在一个机器上，这里我们使用：node1 192.168230.11 一、平台和软件平台：GNU/L 阅读全文
posted @ 2019-01-02 10:47 cac2020 阅读(766) 评论(0) 推荐(0) 编辑
【Hadoop学习之一】Hadoop介绍
摘要：一、概念 Hadoop是一个能够对大量数据进行分布式处理的软件框架，充分利用集群的威力进行高速运算和存储。 二、主要模块Hadoop Common：支持其他Hadoop模块的常用实用程序。Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。Hadoop 阅读全文
posted @ 2018-12-29 19:54 cac2020 阅读(707) 评论(0) 推荐(0) 编辑

上一页 1 2 3