摘要：
转载请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/5621303.html 最近发现kafka一台服务器producer客户端写入时一直报错，查看该broker服务日志发现日志一直输出下面的内容，看上去应该是broker尝试在zk上注册节点但是产生了s 阅读全文
摘要：
转载请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/5443789.html 最近由于使用sparkstreaming的同学需要对接到部门内部的的kafka集群，由于官方的spark-streaming-kafka包和现有公司的kafka集群权限系统无法 阅读全文
摘要：
转载请注明地址http://www.cnblogs.com/dongxiao-yang/p/5417956.html 结论与下文相同，kafka不同topic的consumer如果用的groupid名字一样的情况下，其中任意一个topic的consumer重新上下线都会造成剩余所有的consumer 阅读全文
摘要：
转载请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/5414077.html 由于平时业务预警等需求，针对现在公司的kafka系统部署了几套监控系统，包括调用kafka-consumer-offset-checker.sh脚本写的lag监控，kafkaof 阅读全文
摘要：
转载请注明原帖地址：http://www.cnblogs.com/dongxiao-yang/p/5369195.html java代码编译后产生的文件是各种Class字节码文件，这些文件都需要被jvm虚拟机加载到内存中才可以运行。从类被加载到jvm内存开始，到卸载出内存为止，它的整个生命周期包括： 阅读全文
摘要：
注：这个文章主要是作者一直在研究nginx作为http server和反向代理服务器时候所谓最大的max_clients和 worker_connections的计算公式， 其实最后的结论也没有卡上公式，主要是对worker_connections以及worker_rlimit_nofile概念说的 阅读全文
摘要：
转载注明地址：http://www.cnblogs.com/dongxiao-yang/p/5312285.html 本文主要采用手动源码安装的方式将lua-nginx模块编译到nginx源码内部 一：系统版本 1 cat /etc/issue CentOS release 6.7 (Final) 阅读全文
摘要：
最近需要升级原有服务器的nginx加载逻辑，新的lua脚本需要解析一个远程返回的json格式的结果，原有的luajit并没有带cjson库，需要自己手动安装一下。 基本参考博客luajit安装cjson。 cjson下载地址：http://www.kyne.com.au/~mark/software 阅读全文
摘要：
一 kafka集群扩容比较简单，机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话，需要给原有的旧机器加上新服务器的host，不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况。 阅读全文