摘要：
Kafka的配置文件 1 producer.properties参数说明 指定kafka节点列表,用于获取metadata,不必全部指定 metadata.broker.list=hdp01:9092,hdp02:9092,hdp03:9092 指定分区处理类。默认kafka.producer.De 阅读全文
摘要：
1 kafka文件存储机制 1.1 kafka文件存储的基本结构 说明:a、在kafka文件存储中，同一个topic下有多个不同的partition，每个partition为一个 为一个目录，partition的命名规则为topic名称+有序序号，第一个partition从0开 始，序号最大值为pa 阅读全文
摘要：
1 kafka中topic的Partition 1.1 hadoop、storm、kafka中partion介绍 hadoop：默认是hashPartition分组策略,作用是每个maptask中相同的key数据发往同一 的reduce上，避免数据统计时的唯一性； storm：包含很多的分组策略(S 阅读全文
摘要：
kafka集群部署 1 下载安装包 "http://kafka.apache.org/downloads.html" 2 解压安装包 tar zxvf kafka_2.11 0.9.0.1.tgz 建立软连接:ln s kafka_2.11 0.9.0.1 kafka 3 修改kafka broke 阅读全文
摘要：
1 kafka的常用操作命令 1.1 创建topic: 命令:kafka topics.sh create //创建topic命令参数 zookeeper hdp01:2181 //指定zookeeper地址来保存元数据相关信息 replication factor 1 //指定topic副本数量 阅读全文
摘要：
kafka的简介 "http://kafka.apache.org/" 1、kafka是什么？ 说明:a、Apache Kafka是一个开源的消息系统，由Scala写成。由Apache软件基金 会开发的一个消息开源系统项目； b、Kafka最初是由LinkedIn开发，并于2011年初开源。2012 阅读全文
摘要：
MQ的扩展 1 JMS消息服务器ActiveMQ "http://activemq.apache.org/" 说明:ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支 持JMS1.1和J2EE 1.4规范的。 主要特点： a、多种语言和协议编写客户 阅读全文
摘要：
信号量Semaphore初探 1.信号量(Semaphore)简述 信号量Semaphore是java.util.concurrent包下一个常用的同步工具类,他维护了一个许可集,可以理解成资源数,可以通过aquire操作来获取一个资源, 并通过release来释放一个资源,但需要注意的是,rele 阅读全文
摘要：
AQS初探 1.AQS(AbstractQueuedSychronizer)简述 1.AbstractQueuedSychronizer是java.util.concurrent包下同步器类的灵魂组件,很多同步组件都是基于它实现的,比如 CountDownLatch、CyclicBarrier、Re 阅读全文