hadoop第二课

1.1为什么需要Hadoop 

(1)数据分析者面临的问题 

  – 数据日趋庞大,读写都出现性能瓶颈;

  – 用户的应用和分析结果,对实时性和响应时间 要求越来越高;

  – 使用的模型越来越复杂,计算量指数级上升。 

(2)期待的解决方案 

  – 解决性能瓶颈,在可见的未来不会出现新瓶颈 之前的技术可以平稳过渡,如SQL;

  – 转移成本,如软硬件成本,开发成本,技能培 养成本,维护成本 

(3)关系型数据库和Hadoop的比较 

 

课堂笔记

关系型数据库属于集中型的数据方案。

数据大小:

1PB=210GB

访问:

交互式处理—处理在线数据,实时处理,通俗一点就是一问一答的意思。

批处理—处理离线数据,举个例子,学生问老师10个问题,老师将这10个问题解决后,一次性将解答打包给学生。

更新:

一次写入多次读写—eg:百度搜索。(倒排索引)

ps:增删改查,Hadoop中没有改,当写错时,就只有直接覆盖。

另外,关系型数据库的数据结构是表,,在建好的表上增加或删除属性,成本是很大的。

结构:

怎么说呢?在传统关系型数据库Mysql中,比如学生管理系统,其中关于学生的一个表,有很多属性,Sno Sname Sage Ssex Sdept,其中,某些属性对应的属性值是null,存储时是会占空间的,而Hadoop的话,null值是不会占空间的。数据一大,那优势就体现出来了。

完整性:

范式是符合某一种级别的关系模式的集合。关系数据库中的关系必须满足一定的要求,满足不同程度要求的为不同范式。

换句话说,就是规则(约束),进而有了完整性一说。

因而在关系型数据库中,因为有外键的存在,在删除某个表时,要删除从表信息,才能删除主表的信息。

Hadoop就不同,它是一张大表,就没有关系型数据库的那些麻烦。

那么,问题来了,既然如此,那么我们的生活中就不需要关系型数据库了吗?

举个例子,教务系统,当中有学生的信息,老师的管理,课程的安排等等,不可能只用一张表能装下如此错综复杂的信息。因而我们生活中还是要用关系型数据库!

横向扩展:

嗯...没有图,将就了吧。想象一下,这里有个二维函数,横坐标是服务器的台数,纵坐标是性能,Hadoop和RDBMS(关系型数据库)在第一区间的函数分别是怎样的呢?前者是一个一次函数,一直上升;后者的函数先极速上升,后趋向平缓,进而无论后面增加多少台服务器,性能都趋于定值。

——————————————————————————————————————————————————

Hadoop思想-小鱼与鲨鱼,高富帅与屌丝 

(4)集群

  • 集群的定义

  – 集群是一组相互独立的、通过高速网络互联的 计算机,它们构成了一个组,并以单一系统的 模式加以管理。

  – 一个客户与集群相互作用时,集群像是一个独 立的服务器。

  • 集群的作用

  – 在付出较低成本的情况下获得在性能、可靠性、 灵活性方面的相对较高的收益  

  • 使用集群的目的

  – 提高性能(横向扩展)

  – 降低成本(买一台百万级的服务器,用分布式10万块就可以办到)

  – 提高可扩展性(加一台机器,性能呈   上升)          

  – 增强可靠性(比如说一台机子宕机了)

  • 使用集群的场景

  – 科学集群

  – 负载均衡集群

  – 高可用性集群

  • 集群的构建

  – 从硬件角度来看可以分为节点机系统、通讯系 统、存储系统等 

  – 软件角度则主要有操作系统、集群操作系统 (COS)、并行环境、编译环境和用户应用软件等

  • 集群的关键技术

   – 任务调度——进程迁移

(5)Hadoop体系下的分析手段

  – 主流:Java 程序

  – 海量离线数据处理技术:MapReduce

  – 分布式文件系统:HDFS

  – NoSQL(Not Only不止一个数据库的意思)数据库:Hbase

  – SQL技巧平稳:Hive

1.2Hadoop2.0生态系统 

 (1)Hadoop自身包括以下内容:

  Hadoop Common: hadoop的基础

  Hadoop Distributed File System (HDFS): 分布式文件系统

  Hadoop YARN: 集群任务资源管理及任务 调度的框架

  Hadoop MapReduce: 基于YARN的分布式计算 

(2)与hadoop相关的产品大致上分为两大部分:

  • 数据服务(Data Services)

  – HBase: 将文件建于HDFS上的分布式KeyValue数据库 要先搭建Hadoop平台!

  – Hive: 有比较友好接口(相对来讲)的数据仓 库,它实际上是基于MapReduce的一个应用。搭建Hive之前不必要搭建Hbase,但要搭建Hadoop。

  – Pig:它使用一个叫做“Pig Latin”的东西来作为 用户交互语言,底层依然是MapReduce。它与 Hive有类似之处,都是用来做大数据处理,但 它似乎比Hive要简单一些,没有“存储”的概念 (metadata,“表”等), 接口也少。

  – HCatalog:这是一个hadoop数据管理层,你 可以用Hive, Pig , MapReduce等来存取 hadoop的数据,而不用关心这些数据是如何存 储的。

  • 运行维护(Operational Services)

  – ZooKeeper:分布式应用协调器。只能搭建奇数个集群。

  • 其他相关产品/项目:

  – Mahout: 机器学习和数据挖掘

  – Spark:内存计算

  – Storm:实时计算 

ps:现在其余两个已经被Spark取代。

(3)Hadoop2.0中各种产品的相互关系 

 ps:灰色的Hadoop自带,绿色的是与Hadoop相关的产品。

Amban:运维工具

Avro:某种协议

Cassandra:最最专业的NoSQL工具

Oozie:向Hadoop提交数据

三大主流的数据库:Cassandra;芒果;Hbase。

 

posted @ 2018-03-14 20:34  那是个好男孩  阅读(366)  评论(0编辑  收藏  举报