kafka storm hbase性能

kafka  单台机器部署 1个partition

storm 单台机器部署

hbase 四台机器集群

机器配置大概是4G cpu 4G内存

 

从kafka 读出到storm，然后flush到hbase中

34秒处理了6869条记录，每条记录416字节

 

仅仅从kafka 读出到storm

4秒处理了6869条记录，每条记录416字节

 

如果开启两个bolt，flush到hbase

28秒处理了6869条记录，每条记录416字节 （提升了6秒）

 

如果开启5个bolt，flush到hbase

19秒处理了6869条记录，每条记录416字节 （再提升了11秒）