摘要：
Kafka高性能的特点及条件 Kafka是一个高吞吐量分布式消息中间件，并且提供了消息的持久化功能。其高可行有两个重要的特点： 利用了磁盘连续读写性能显著高于随机读写性能的特点 并发，将一个topic拆分为多个partition 磁盘的连续性 要充分利用磁盘连续读写高性能的特点，就意味着要减少操作系 阅读全文
摘要：
如何在Kafka上创建topic? 手工脚本创建 topic制定topic的name –partitions指定分区数，这个参数要根据broker数和数据量决定，一般情况下每个Broker上两个分区最好 –replication factor指定partition的replicas数，建议设置为2 阅读全文
摘要：
依赖包导入 producer开发 producer参数说明 metadata.broker.list:指定kafka节点列表，用于获取metadata，不必全部指定.如metadata.broker.list=192.168.1.10:9092,192.168.1.11:9092 partition 阅读全文
摘要：
引用自：http://blog.csdn.net/lizhitao/article/details/51718185 Kafka副本 Kafka中主题的每个Partition有一个预写式日志文件，每个Partition都由一系列有序的、不可变的消息组成，这些消息被连续的追加到Partition中，P 阅读全文
摘要：
Kafka简介 Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输 支持Kafka Server 阅读全文
摘要：
Supervisor 参数调整 修改${STORM_HOME}conf/storm.yaml文件内容 supervisor变更参数 slots 配置： 若storm host仅仅执行supervisor(不包含nimbus)时，slots数目 = (Memory GB 1 ) 若同时包含了storm 阅读全文
摘要：
设置Cassandra使用用户名和密码验证的步骤如下： 1.修改${CASSANDRA_HOME}/conf/cassandra.yaml，把authenticator: AllowAllAuthenticator修改为authenticator: PasswordAuthenticator 2.使 阅读全文
摘要：
理解Zookeeper的一种方法是将他视为一个提供高可用性的文件系统。它没有文件和目录，但是有一个统一概念的节点，叫做znode，作为数据以及其他znode的容器。znode来自于一个层次级的命名空间。传统的建立成员列表的方法是以小组的名称创建一个父znode，同时子znode使用的是组成员的名称。 阅读全文
摘要：
Guava 是一个 Google开发的 基于java的类库集合的扩展项目，包括 collections, caching, primitives support, concurrency libraries, common annotations, string processing, I/O, 等 阅读全文
摘要：
Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有的tuple都被处理成功。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？换句话说Storm如何保证事物性呢？本节从简单的事物实现入手，最后引出事物型Topology的原理。 一.一致性事物设计 1 阅读全文