大数据计数原理与应用——笔记——大数据概述
大数据的由来：2010年前后第三次信息化浪潮，提出了物联网、云计算和大数据概念。
大数据时代的计数支撑：存储设备容量不断增加、CPU处理能力大幅提升、网络带宽不断增加。【存储、计算、网络】
数据产生方式的变革促成大数据时代的到来：运营式系统阶段——用户原创内容阶段——感知式系统阶段
【运营活动产生的数据存储到数据库（数据是被动产生的）——web2.0时代用户原创内容（移动设备加速内容产生，数据是主动产生的）——感知式系统的广泛应用（摄像头等等传感器，每时每刻在产生数据）】
大数据概念
大数据的特性（4V）: 大量化Volume、快速化Velocity、多样化Variety、价值化Value
数据量大、处理速度快、数据类型繁多、价值密度低
大数据摩尔定律：数据一直都在以每年50%的数据增长。
大数据的思维方式：1、全样而非抽样 2、效率而非精确 3、相关而非因果
大数据的关键技术：数据采集、数据存储和管理、数据处理与分析、数据隐私和安全
两大核心技术：分布式存储、分布式处理
大数据的计算模式
| 计算模式 | 解决问题 | 代表产品 |
| 批处理计算 | 针对大规模数据的批量处理 | MapReduce、Spark等 |
| 流计算 | 针对流数据的实时计算 | Storm、S4、Flume等 |
| 图计算 | 针对大规模图结构数据的处理 | Pregel、GraphX、Giraph等 |
| 查询分析计算 | 大规模数据的存储管理和查询分析 | Dremel、Hive、Cassandra等 |
大数据与云计算、物联网的关系
云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别。
云计算为大数据提供了技术基础，大数据为云计算提供用武之地。
物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑。
云计算为物联网提供海量数据存储能力，物联网为云计算技术提供广阔的应用空间。
云计算概念：云计算实现了通过网络提供可伸缩的、廉价的分布是计算能力，用户只需要在具备网络接入条件的的房，就可以随时随地获得所需的各种IT资源。
云计算的典型特点：解决了分布式存储了分布式处理的问题、虚拟化和多租户
云计算的三个层次：基础设施服务（IaaS）、平台服务（PaaS）、软件应用服务（SaaS）
物联网（IOT）概念：物联网是物物相连的互联网，是互联网的延伸，利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。
物联网的层次架构：感知层——网络层——处理层——应用层
物联网的关键技术：识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术
