Storm VS Hadoop
序号 | Storm | Hadoop | remark |
1 | 实时或者接近实时,适合急脾气的工程师 |
有最小计算时间(原生hadoop,不是各种各公司改装版的) ,喜欢钻探的工程师有福了 |
|
2 | 集群内存计算,网络直传数据 | hdfs传递数据,不同阶段的数据会在机器间通过存储转移 | |
3 |
擅长对数据流中的每一个数据及时处理, 但是进入系统的数据间不能有任何的逻辑前后关系 |
逐个处理数据会把人气死,进入系统的数据有着一定的要求量 | |
4 |
storm适合无间断的计算密集型, 请求量24小时不间断的系统最好 |
hadoop的工作有始有终,如果最好以它的计算时长最为 请求间隔时间最佳 |
|
5 | Storm的过程中不适宜检索大批量数据的操作 | hadoop的过程中可以对大批量数据各种玩 | |
6 | 内存杀手 | 硬盘杀手 | |
7 | storm的计算结构必须预先定制 | hive能采用类似sql的语句生成各种的mr程序 |