数据开发（持续梳理）

数据开发相关的经验不是很多，目前已自己对这块工作的理解，先初步整理下。

所谓数据开发是面向数据仓库的开发，所以结合一般数据仓库的架构主要有几个方面的生态内容。

1、数据采集

mysql等关系型数据的搜集

分布式日志搜集（flume、kafka）

2、数据存储

hdfs

3、数据计算（离线、实时）

mr、hive、spark、spark sql

spark streaming 、 storm

4、数据应用

BI系统、数据报表可视化、机器学习