第八周

初步了解大数据

“大数据”是一个体量特别大，数据类型特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。

大数据分析

 1. 可视化分析

        大数据分析的使用者有大数据分析专家，同时还有普通用户，但是二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样及简单明了。

2. 数据挖掘算法

        大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3. 预测性分析能力

        大数据分析最重要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4. 语义引擎

        大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义、分析、判断用户需求，从而实现更好的用户体验和广告匹配。

大数据技术

1. 数据采集

        ETL工具负责将分布式的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

2. 数据存取

        关系数据库、NOSQL、SQL等。

3. 基础架构

        云存储、分布式文件存储等。