大数据课程笔记 1

大数据技术

　　分布式存储 = 集群分布式存储（谷歌技术为代表）

　　　　分布式数据库（BigTable） 分布式文件系统（GFS)

　　分布式处理

　　　　分布式并行处理技术（MapReduce）

计算模式

　　1. 批处理：大规模数据的批量处理 MapReduce >> Spark 不满足实时性

　　2. 流计算：处理源源不断数据流的实时计算

　　3. 图计算：大规模图数据

　　4. 查询分析计算：大数据交互式查询分析软件

 

云计算？ 解决海量数据的分布式存储和分布式处理 = 虚拟化 + 多租户

　　　　企业租用云端资源 （购买百度云服务。。。

　　　　公有云：百度云

　　　　私有云：面向企业内部 电信

　　　　混合云

　　　　IaaS 基础设施即服务 出租计算资源与设施

　　　　PaaS 平台即服务 应用开发者租用开发平台

　　　　SaaS 软件即服务 申请云软件，在任何浏览器上访问，不用安装

　　　　虚拟化：Hadoop >> Linux>>windows

　　　　云计算数据中心：刀片服务器 建设在地质稳定 能稳定供电 气温低易于设备降温，减少耗电

物联网？ IoT the Internet Of Things

　　　　感知层（摄像头 、 传感器）收集大量数据

　　　　网络层 （电信网、互联网、专用网）

　　　　处理层（网络管理平台 数据处理平台）

　　　　应用层 （各类应用）

　　　　关键技术 识别与感知