Hadoop学习内容概述day02

一、各章概述（Hadoop部分）

(一)、Hadoop的起源与背景知识
	1、什么是大数据、大数据的核心问题是什么?
		举例：（1）商品推荐：问题1：大量的订单如何存储       问题2：大量的订单如何计算
		      （2）天气预报：问题1：大量的天气数据如何存储   问题2：大量的天气数据如何计算
			  
			  大数据的核心问题：（1）数据的存储：分布式文件系统（分布式存储）
			                    （2）数据的计算：分布式计算
	
	2、概念：数据仓库（Data warehouse）
		（1）我们可以把Hadoop和Spark看成是数据仓库的一种实现方式
		（2）数据仓库就是一个数据库，一般只做select
		（3）重要：掌握数据仓库搭建的过程
		（4）数据仓库又是一种OLAP的应用系统
			
	3、概念：OLTP和OLAP
		（1）OLTP：online transaction processing 联机事务处理
		（2）OLAP：online analytic processing 联机分析处理 ------> 一般：不会修改（删除）数据
	
	4、（最重要的内容）Google的几篇论文：3篇
		（1）GFS：Google File System   -----> HDFS              ----> 解决：数据的存储  
		（2）MapReduce计算模型         -----> Hadoop MapReduce  ----> 解决：数据的计算
		（3）BigTable大表              -----> HBase是NoSQL数据库

(二)、实验环境

(三)、Apache Hadoop的体系结构（重要）：实现Google的思想论文
	1、HDFS：Hadoop Distributed File System
		（*）主从结构
		（*）主节点：NameNode名称节点
		（*）从节点：DataNode数据节点
		（*）SecondaryNameNode：第二名称节点
	
	2、Yarn:是一个容器，运行MapReduce程序
		（*）主从结构	
		（*）主节点：ResourceManager 资源管理器
		（*）从节点：NodeManager     节点管理器
	
	3、HBase：需要单独安装
		（*）主从结构	
		（*）主节点：HMaster
		（*）从节点：RegionServer

(四)、Hadoop 2.X的安装与配置
	Hadoop有三种安装模式
	1、本地模式      一台Linux
	2、伪分布模式    一台Linux
	3、全分布模式    三台Linux
	4、掌握免密码登录的原理和配置

(五)、Hadoop应用案例分析
	1、大数据背景下，企业级系统的架构的变化
	2、HBase进行日志分析
	3、了解：Hadoop在淘宝的应用

(六)、HDFS：Hadoop的分布式文件系统，数据存储
	1、操作HDFS：（1）命令行  （2）Java API  （3）网页：Web Console
	2、原理：数据上传的过程
	         数据下载的过程
	3、HDFS的底层实现：RPC和Java动态代理
	                   RPC：remote procedure call
	4、高级特性
		（*）回收站
		（*）快照snapshot：是一种备份
		（*）配额quota：（1）名称配额  （2）空间配额
		（*）安全模式：safemode
		（*）权限			   

(七)、MapReduce：是一个计算模型，可以用Java来实现
	1、Demo：经典WordCount
	2、重点：MapReduce处理数据的过程
	3、原理：Yarn执行MapReduce的过程
	4、MapReduce的高级特性
		（*）序列化
		（*）排序
		（*）分区
		（*）合并
	5、MapReduce的核心：Shuffle（洗牌）
	6、编程案例：
		（*）排序：order by
		（*）去重：distinct
		（*）多表查询
		（*）倒排索引

补充：MySQL数据库
(八)、Hive：蜂巢  数据分析的引擎：翻译器   SQL ---------------> MapReduce
(九)、Pig： 猪    数据分析的引擎：翻译器   PigLatin语言 ------> MapReduce
	
(十)、HBase: NoSQL数据库
	1、是基于Hadoop之上的NoSQL
	2、体系结构：HMaster、RegionServer
	3、搭建：本地模式、伪分布模式、全分布模式
	4、操作：命令行、Java API、Web Console
	5、过滤器：实现复杂的查询
	6、HBase上的MapReduce

(十一)、Sqoop：数据采集引擎，采集关系型数据库中的数据
(十二)、Flume：数据采集引擎，采集日志
	
(十三)、HUE：基于Web的管理工具

(十四)、ZooKeeper： 相当于是一个”数据库“，实现HA（High Avaiblity高可用性）

(十五)、Hadoop的集群和HA
	1、HDFS的联盟（Federation）
	2、Hadoop的HA（High Avaiblity高可用性）

(十六)、Redis：基于内存的NoSQL数据库，提高性能

(十七)、Storm：处理流式数据（实时计算）
	           集成Storm和Redis