大数据技术原理与应用：【第一讲】大数据概论

 

 

1.1大数据时代

 

第一次浪潮：1980前后，个人计算机，诞生公司：IBM

第二次浪潮：1995前后，互联网普及

第三次浪潮：物联网、云计算、大数据

 

导致大数据时代到来

因素：

技术支撑：

1.存储：存储设备容量不断增加（个人数据不断增加、企业数据越来越多）

2.计算：CPU处理能力大幅提升

3.网络：网络带宽不断增加

经历三个阶段: 

第一阶段：运营式系统阶段

第二阶段：用户原创内容阶段

第三阶段：感知式系统阶段（物联网的大规模普及）

 

大数据发展历程：

 

 

 

1.2 大数据概念和影响

特性：4V

 

 

 1.数据量大：

大数据摩尔定律：每年多增长50%

2.多样化：

结构化数据与非结构化数据

3.快速化：

处理速度非常快；很多企业级应用都需要秒级决策

4.价值密度低：

 

大数据的影响：

1.第四种范式

第一种：实验

第二种：理论

第三种：计算

第四种：数据

2.在思维方式方面，颠覆传统的思维方式

1）全样而非抽样

2）效率而非精确（在第1个基础上）

3）相关而非因果

 

1.3 大数据的应用

影视剧的投拍：大数据分析软件

谷歌预测流感：实时掌握公民搜索相关信息

 

1.4 大数据的关键技术

五个层面：数据采集、(核心)数据存储与管理、数据处理与分析、数据隐私与安全

 

两大核心：分布式存储、分布式处理

 

分布式存储：Google公司为代表

 

大数据的计算模式：

不同的计算模式需要使用不同的产品

 

1.批处理计算：（实时性不够好）

代表产品：MapReduce，Spark

2.流计算：

实时处理、实时响应

3.图计算：

高效处理图结构的数据

4.查询分析计算（交互式查询）：

代表：Hive等

 

 

 

1.5 大数据与云计算、物联网

 

云计算：

1.云计算解决问题：

两大核心：分布式存储、分布式处理

2.典型特征：

虚拟化、多用户

3.概念：

通过网络以服务的方式为用户提供非常廉价的IT资源

4.优势：

企业不需要自建IT基础设施，可以租用云端资源

5.三种模式：公有云、混合云、私有云

公有云：面向所有用户

私有云：面向企业内部

混合云：部分给自己、部分给外面

6.三种云服务：

1.IaaS：基础设施即服务

将基础设施作为服务出租

2.PaaS：平台即服务

 用提供的平台资源开发、部署软件

3.SaaS：软件即服务

典型案例：云财务软件

 

7.云计算关键技术：

1.多租户

2.虚拟化：虚拟机、虚拟专用网（VPN）

3.分布式存储

4.分布式计算

 

8.云计算数据中心

数据中心包含有大量刀片服务器

 

数据中心建设位置：

地质构造稳定、天气凉爽

 

慕课链接：https://www.icourse163.org/learn/XMU-1002335004?tid=1003965001#/learn/announce