大数据-数据库的学习

大数据的基本处理流程：数据采集、存储管理、处理分析、结果呈现等环节

大数据的全流程：数据采集与预处理、数据存储和管理、数据处理与分析、数据可视化、数据安全和隐私保护　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　　　　　　等几个层面的内容

 

大数据技术是许多技术的集合体，如关系数据库、数据仓库、数据采集、ETL、OLAP（On-Line Analytical Processing）、数据挖掘、数据隐私和安全、数据可视化等

重点：分布式并行编程、分布式文件系统、分布式数据库、NoSQL数据库、日志采集工具等

 

 

 

批处理计算

流计算

 Hive是一个基于Hadoop的数据仓库工具，可以用于对存储在Hadoop文件中的数据集进行数据整理、特殊查询和分析处理。