随笔分类 - 17.消息中间件
摘要：Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理?针对这个问题，有以下几个建议： 最好的方法是不
阅读全文
摘要：一、 Broker Config 二、Producer Config 三、Consumer Config
阅读全文
摘要：Flume架构整体上看就是 source -->channel --> sink 的三层架构，类似生成者和消费者的架构，他们之间通过queue（channel）传输，解耦。 Source:完成对日志数据的收集，分成 transtion 和 event 打入到channel之中 Channel:主要提
阅读全文
摘要：在使用zookeeper过程中，会有dataDir和dataLogDir两个目录，分别用于snapshot和事务日志的输出（默认情况下只有dataDir目录，snapshot和事务日志都保存在这个目录中。 正常运行过程中，ZK会不断地把快照数据和事务日志输出到这两个目录，并且如果没有人为操作的话，Z
阅读全文
摘要：通常Kafka的监控我们采用KafkaOffsetMonitor，相关下载链接请参见：http://blog.csdn.net/lizhitao/article/details/27199863 安装布署完成后通过如下命令来启动监控： 可以通过http://IP:9090或者http://DNS:9
阅读全文
摘要：1、pom.xml配置 2、producer.xml配置 3、consumer.xml配置 4、producer.java示例 5、consumer.java示例 链接请参见:https://www.oschina.net/code/snippet_1866237_52084和http://colo
阅读全文
摘要：Zookeeper的常用开源监控工具可以参考：http://zqhxuyuan.github.io/2016/12/31/BigData-Monitor-Tool
阅读全文
摘要：详情请参见：http://zqhxuyuan.github.io/2016/05/26/2016-05-13-Kafka-Book-Sample
阅读全文
摘要：1、topic注册信息 /brokers/topics/[topic] :存储某个topic的partitions所有分配信息 2、partition状态信息 /brokers/topics/[topic]/partitions/[0...N] 其中[0..N]表示partition索引号 /bro
阅读全文
摘要：项目中使用log4j打印的内容同时传输到flume 1、flume端 flume的agent配置内容如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1.sources.s1.ch
阅读全文
摘要：Avro Source 监听avro端口，接收外部avro客户端数据流。跟前面的agent的Avro Sink可以组成多层拓扑结构。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 a1.sources=s1 a1.sinks=k1 a1.channels=c1 a1.
阅读全文
摘要：一、Flume Source Syslog Sources syslogtcp multiport_syslogtcp syslogudp 二、Flume Sink 三、Flume Channel Channel Selector Sink Processor Event Serializer Ev
阅读全文
摘要：Apache Storm 是 Apache 基金会的开源的分布式实时计算系统。与 Hadoop 的批处理相类似，Storm 可以对大量的数据流进行可靠的实时处理，这一过程也称为“流式处理”，是分布式大数据处理的一个重要方向。Storm 支持多种类型的应用，包括：实时分析、在线机器学习、连续计算、分布
阅读全文
摘要：在实际项目中采用http://www.cnblogs.com/moonandstar08/p/6091384.html方案进行布署时，由于系统产生的消费比较大按照原方案进行布署时，随着国外局点不断增加，那么SZ局点的Channel会不断增加，另一方面，在Kafaka集群中创建Partitation时
阅读全文
摘要：由于项目原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用，需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志，中间关联的很多东西需要手动同时去清理，否则可能会导致删除后客户端无法消费的情况。 在介绍手动删除操作
阅读全文
摘要：一、更改日志输出级别 config/log4j.properties中日志的级别设置的是TRACE，在长时间运行过程中产生的日志大小吓人，所以如果没有特殊需求，强烈建议将其更改成INFO级别。具体修改方法如下所示，将config/log4j.properties文件中最后的几行中的TRACE改成IN
阅读全文
摘要：一、Kafka中topic级别配置 1、Topic级别配置 配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它
阅读全文
摘要：Kafka配置优化其实都是修改server.properties文件中参数值 1、网络和io操作线程配置优化 # broker处理消息的最大线程数 num.network.threads=xxx # broker处理磁盘IO的线程数 num.io.threads=xxx 建议配置： 一般num.ne
阅读全文
摘要：原文链接请参见：http://www.cnblogs.com/5iTech/articles/6043224.html
阅读全文
摘要：一、启动Server (1)启动Zookeeper (2)启动Kafka 二、关于Topic (1)创建Topic,名为test(partition:分片；replica:副本) (2)查看Topic列表 (3)查看指定Topic的Partition 输出如下： 表示：分区0的Leader是1；分区
阅读全文
