大数据架构分析
最近,我再整理学习的大数据的架构知识。
大数据,只是的对大量数量的存储,分析(计算),应用(处理)。
大数据采取非关系型存储。monogo居多。
价格比较系统。
1.kafak分布式写入采集系统。
2.Hbase写入信息。
3.storm处理数据。
4.结果保存MySQl。
日志系统:
1.日志写入。
2.hbase存储。
3.规则计算(进行规则分析,报警等后续处理)。
5.生成报表。
大数据系统关键点:
1.大数据的写入,存储,一致性,事物等。
2.大数据如何处理,数据清理,数据加工(根据Id取信息等),数据计算,结果保存。
3.结果的后续处理。