摘要：kafka诞生之初，它自带一个基于scala的生产者和消费者客户端。但是慢慢的我们认识到这些API有很多限制。比如，消费者有一个“高级”API支持分组和异常控制，但是不支持很多更复杂的应用场景；它也有一个“低级”API，支持对细节的完全控制，但是要求码农自己控制失败和异常。所以重新设计了它们。 这个 阅读全文

摘要：Kafka发布0.9了，这一重磅消息，让小伙伴们激动不已，来看看这个版本有哪些值得关注的地方吧！ 一、安全特性 在0.9之前，Kafka安全方面的考虑几乎为0，在进行外网传输时，只好通过Linux的防火墙、或其他网络安全方面进行配置。相信这一点，让很多用户在考虑使用Kafka进行外网消息交互时有些担心。在安全方面，主要有以下方面设计： 客户端连接borker使用SSL或SASL进行验证 bor... 阅读全文

摘要：导入数据最快的方式，可以略过WAL直接生产底层HFile文件 （环境：centos6.5、Hadoop2.6.0、HBase0.98.9） 1.SHELL方式 1.1 ImportTsv直接导入 命令：bin/hbase org.apache.hadoop.hbase.mapreduce.Impor 阅读全文

摘要：Choosing the Right Import Method If the data is already in an HBase table: To move the data from one HBase cluster to another, use snapshot and either the clone_snapshot or ExportSnapshot utility; o... 阅读全文

摘要：1.HA HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。 在一个典型的HDFSHA场景中，通常由两个NameNod 阅读全文