大数据处理工具汇总(没有最全,只有更全^_^)

开源大数据处理工具:
查询引擎:phoenix、Stinger、Presto、shark、pig、Cloudera impala、Apache Drill、Apache Tajo、Hive
流式计算:Facebook Puma、Twitter Rainbird、YAhoo S4、Twitter Storm
迭代计算:Apache Hama、Apache Giraph、HaLoop、Twister
离线计算:Hadoop MapReeduce、Berkeley Spark、DataTorrent
键值存储:LeverDB、RocksDB、HyperDex、TokyoCabinet、Voldemort、Amazon Dynamo、Tair、Apache Accumulo、Redis
表格存储:Oceanbase、Amazon SimpleDB、Vertica、Cassandra、FoundationDB、HBase
文件存储:CouchDB、MongoDB、Tachyon、KFS、HDFS
资源管理:Twitter Mesos、Hadoop Yarn
日志搜集系统:Facebook Scribe、Cloudera Flume、logstash、kibana
消息系统:StormMQ、ZeroMQ、RabbitMQ、Apache ActiveMQ、Jafka、Apache Jfaka
分布式服务:Zookeeper
RPC:Apache Avro、Facebook Thrift
集群管理:Nagios、Ganglia、Apache Ambari
基础设施:LeverDB、SSTable、RecordIO、Flat Buffers、Protocol Buffers、Consistent Hashing、Netty、BloomFilter 
搜索引擎:Nutch 、Lucene、SolrCloud、Solr、Elasticsearch、Sphinx、senseiDB
数据挖掘:Mahout
Iaas:OpenStack、Docker、Kuberbetes、Imctfy
监控管理:Dapper、Zipkin
posted @ 2015-07-26 15:45  孤望灯塔  阅读(415)  评论(0编辑  收藏  举报