摘要： Maven介绍前言1. Maven简述&配置下载+配置maven基本指令2. eclipse-maveneclipse如何中添加maven？如何用eclipse创建maven项目？index.jsp报错问题:3. pom.xml详解pom.xml 中的pom... 阅读全文

摘要： MapReduce运行架构前言Hadoop1.x版本Hadoop2.x版本Yarn资源调度流程:前言 某天, 某研究机构设计了一款私人飞机图纸, 之后某公司根据该图纸制作出一架私人飞机. 然后某位有钱人士觉得这架飞机非常好, 就花高价钱买下这架飞机. 飞机... 阅读全文

摘要： MapReduce分布式计算思想思想引入MapReduce处理流程MapReduce概述MapReduce的定义MapReduce的优缺点分布式计算思想思想引入首先, 来看三个问题:假设有1T的文件, 文件中的每一行都是一个数字; 如何在一台48core, ... 阅读全文

摘要： Hadoop生态圈What is Hadoop?Hadoop思想来源Hadoop的历史三大发行版本Hadoop的优势Hadoop的组成Hadoop1.*和2.*的区别Hadoop组成HDFSYarnMapReduce大数据技术生态体系What is Hado... 阅读全文

摘要： 搭建流程说明下载安装包高可用完全分布式搭建一. 集群规划二. hadoop安装配置三. zookeeper安装配置四. 集群格式化五. 启动, 操作, 关闭集群六.访问NameNode的WebUI页面七.搭建Hadoop的client说明 搭建之前, 先根... 阅读全文

摘要： 说明 搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置OK.完全分布式搭建在node01节点上将上传的Hadoop压缩包解压这里我将文件解压到/opt/software/hadoop文件夹下.tar -zxf hadoop-2.6.5.tar... 阅读全文

摘要： 说明 搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置好.伪分布式搭建将上传的Hadoop压缩包解压这里我将文件解压到/opt/software/hadoop文件夹下.tar -zxf hadoop-2.6.5.tar.gz -C /opt/... 阅读全文

摘要： HDFS搭建的三种模式搭建前说明伪分布式模型说明集群规划搭建步骤完全分布式模式说明集群规划搭建步骤高可用(HighAvailable)模式说明集群规划搭建步骤搭建前准备的环境本地机环境准备安装包虚拟机工具连接工具上传工具CentOS虚拟机环境静态IP配置时间... 阅读全文

摘要： 分布式文件存储分布式引入基本的HDFS写操作备份机制写数据的详细流程HDFS读操作元数据持久化安全模式HDFS总结HDFS角色HDFS机制HDFS流程HDFS优缺点优点缺点分布式引入 大数据时代的到来, 数据的增长呈现爆炸式的状态. 数据的大小从原来... 阅读全文

摘要： 大数据概述大数据兴起的背景 --第三次信息化浪潮技术支撑数据产生方式的变革。什么是大数据?大数据特性大数据的几个来源大数据带来思维方式的转变:关键技术：典型计算模式大数据兴起的背景 --第三次信息化浪潮​​技术支撑硬盘存储容量增加；CPU计算速度提高；网络带... 阅读全文