随笔分类 - kafka
kafka 相关资料
摘要：现场需求，过滤 指定IP段位的相关话单,收集看看用正则表达式怎么写, 原文地址：http://www.cnblogs.com/kongxianghai/p/3995463.html 检测IP地址的正则表达式 正则表达式： ((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[
阅读全文
摘要：apache kafka系列之Producer处理逻辑 apache kafka系列之Producer处理逻辑 下文是转载的，原文链接地址：点这儿 【转】 Kafka ProducerKafka Producer处理逻辑kafka生产者处理逻辑apache kafka系列 下文是转载的，原文链接地址
阅读全文
摘要：【转】关于kafka producer 分区策略的思考 from：http://blog.csdn.net/ouyang111222/article/details/51086037 今天跑了一个简单的kafka produce程序，如下所示 发现其只向topic：user11中的某一个partit
阅读全文
摘要：key为null时Kafka会将消息发送给哪个分区? 当你编写kafka Producer时， 会生成KeyedMessage对象。 1 KeyedMessage<K, V> keyedMessage = new KeyedMessage<>(topicName, key, message) 这里的
阅读全文
摘要：最近研究producer的负载均衡策略，，，，我在librdkafka里边用代码实现了partition 值的轮询方法，，，但是在现场验证时，他的负载均衡不起作用，，，所以来找找原因； 下文是一篇描写kafka处理逻辑的文章，转载过来，研究一下. apache kafka系列之Producer处理逻
阅读全文
摘要：kafka的log存储解析——topic的分区partition分段segment以及索引等 转自：http://blog.csdn.net/jewes/article/details/42970799 引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立
阅读全文
摘要：Kafka 之 中级 悟性 发表于 3年前 阅读 21353 Kafka 之 中级 悟性 发表于 3年前 阅读 21353 悟性 发表于 3年前 阅读 21353 悟性 悟性 发表于 3年前 阅读 21353 发表于 3年前 阅读 21353 摘要: Kafka配置介绍，原理介绍及生产者，消费者Ja
阅读全文
摘要：转载：from:http://www.verydemo.com/demo_c92_i210679.html 这个程序虽然我调试过，也分析过，但是没有记录笔记，发现下边这篇文章分析直接透彻，拿来借用，聊以自省，开发一直要研究透彻源码，学习其中的处理手段！ kafka c接口librdkafka介绍之二
阅读全文
摘要：使用librdkafka过程中，遇到的一些问题，解决办法！ 暂时先转载：form:http://blog.csdn.net/lybingo/article/details/52808192?locationNum=1&fps=1 后续上线稳定使用后，会做一点总结出来！ ...............
阅读全文
摘要：今天在本地测试flume的exec 监控文件 分割的问题！！！遇到各种141异常问题！ 怀疑是在切割文件的时候超过了监控文本的时间，导致flume异常退出，，，所以增加了keep-alive 时长，，，他的默认值是3秒，，我把它设置为30秒，，，之后运行，，，，他不再异常！！！ 解决：设置agent
阅读全文
摘要：我现在使用的是librdkafka 的C/C++ 的客户端来生产消息，用flume来辅助处理异常的数据，，， 但是在前段时间，单独使用flume测试的时候发现，flume不能对分区进行负载均衡！同一个集群中，一个broker的一个分区已经有10亿条数据，另外一台的另一个分区只有8亿条数据； 因此，我
阅读全文
摘要：摘要: Kafka配置介绍，原理介绍及生产者，消费者Java基本使用方法。 摘要: Kafka配置介绍，原理介绍及生产者，消费者Java基本使用方法。 摘要: Kafka配置介绍，原理介绍及生产者，消费者Java基本使用方法。 摘要: Kafka配置介绍，原理介绍及生产者，消费者Java基本使用方法
阅读全文
摘要：我在本地做kafka的producer调试，每隔一段时间后，所使用的topic管道就会堆积数据，而且我这边使用的是 kafka bin 下的consumer命令单独消费的，每次都是 --from-beginning，，启动后有一堆数据，感觉麻烦，，，所幸抽出点时间来，，看看怎么干掉他 下边来看俩种常
阅读全文
摘要：今天在64服务器上：发现好像bash 坏了，用户名前边 用-bash 显示，，前几天就发现这个问题，，，但是当时忙没有解决，，，，，今天来看看到底是怎么回事！ File Exists but... "-bash: No such file or directory" 网上找到一篇文章，是说ubunt
阅读全文
摘要：from：云栖社区 玛德，今天又被人打脸了，小看人，艹，确实，相对比起来，在某些方面差一点，，，，该好好捋捋了，强化下短板，规划下日程，，，引以为耻，铭记于心。 跟我学Kafka之NIO通信机制 main 2016-03-31 16:54:06 浏览166 评论0 摘要： 很久没有做技术方面的分享了
阅读全文
摘要：粘贴一下这个配置，与我自己的程序做对比，看看能不能完善我的异步带代码； 详解Kafka生产者Producer配置 2016-04-26 14:57:50 粘贴一下这个配置，与我自己的程序做对比，看看能不能完善我的异步带代码； 详解Kafka生产者Producer配置 粘贴一下这个配置，与我自己的程序
阅读全文
摘要：去掉换行符的几个方法 上一篇 / 下一篇 2010-08-20 22:12:29 / 个人分类：Linux 查看( 6387 ) / 评论( 0 ) / 评分( 0 / 0 ) Linux今天，研究了换行符"\n"后就在想，如何让替换掉每行的"\n"，最开始从sed下手，居然没找到比较完美的方案；其
阅读全文
摘要：Flume(NG)架构设计要点及配置实践 Flume(NG)架构设计要点及配置实践 Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在
阅读全文
摘要：apache kafka监控系列-KafkaOffsetMonitor 时间 2014-05-27 18:15:01 CSDN博客 原文 http://blog.csdn.net/lizhitao/article/details/27199863 主题 Apache Kafka 时间 2014-05
阅读全文
摘要：Kafka实战－Flume到Kafka Kafka 2015-07-03 08:46:24 发布 您的评价: 0.0 收藏 2收藏 Kafka实战－Flume到Kafka Kafka 2015-07-03 08:46:24 发布 您的评价: 0.0 收藏 2收藏 Kafka实战－Flume到Kafk
阅读全文
