随笔分类 - kafka&rabbitmq&ws&apache pulsar
摘要:原因:http://rabbitmq.1065348.n5.nabble.com/Unknown-delivery-tag-1-td33885.html https://stackoverflow.com/questions/9392478/error-unknown-delivery-tag-oc
阅读全文
摘要:[rabbitmq@hs-10-20-30-100 log]$ cat crash.log.0 2020-11-25 15:09:56 =ERROR REPORT ** Node 'rabbitmq@hs-10-20-30-99' not responding ** ** Removing (tim
阅读全文
摘要:客户端报“[ERROR] code: 505, UNEXPECTED_FRAME - expected content header for class 60, got non content header frame instead, recoverable: false, server: tru
阅读全文
摘要:之所以要测试这个场景,是因为最近开发还有个缺陷未解决,leader很忙,客户端a断开了,但是断开信息未同步到follower,follower选举了新的leader,新的leader不知道客户端a断开了,所以客户端a重新连接到新的leader后,信息还在,连接没有断开。事实上没有错,逻辑上要知道的是
阅读全文
摘要:erlang宕机,一般来说都是因为内存分配失败。此时可以通过erl_crashdump_analyzer.sh分析dmp文件,如下: https://github.com/ferd/recon/blob/master/script/erl_crashdump_analyzer.sh [root@lo
阅读全文
摘要:一、broker参数 broker.id:kafka集群的唯一标识。 log.dirs:kafka存储消息日志的目录,多个用逗号隔开,需要保证指定的目录有充足的磁盘空间。 zookeeper.connect:必须配置,指定kafka集群注册的zookeeper集群的地址。格式是:[主机名]:端口,多
阅读全文
摘要:最近开发一cdc框架,为了测试极端情况,需要kafka传递100万条数据过去,1个G左右,由于其他环节限制,不便进行拆包(注:测下来,大包走kafka不一定性能更好,甚至可能更低)。 测试百万以上的变更数据时,报消息超过kafka broker允许的最大值,因此需要修改如下参数,保证包能够正常发送:
阅读全文
摘要:java spring boot配置: 参见: https://github.com/spring-projects/spring-boot/blob/v2.1.5.RELEASE/spring-boot-project/spring-boot-autoconfigure/src/main/java
阅读全文
摘要:rabbitmq的RabbitMQ Web MQTT插件可以用来支持将rabbitmq作为MQTT协议的服务器,而websocket支持mqtt协议通信实现消息推送。因为我们目前使用rabbitmq,所以采用其作为ws的服务端(原来有过activemq的做法,其原生也支持MQTT协议)。 首先安装R
阅读全文
摘要:1.下载erlang 官网地址 http://www.erlang.org/download 挑选合适的版本 然后 建议20.3运行命令 wget http://erlang.org/download/otp_src_20.3.tar.gz 2.使用yum安装下必须的配件: yum install
阅读全文
摘要:%3|1538976114.812|FAIL|rdkafka#producer-1| [thrd:kafka-server:9092/bootstrap]: kafka-server:9092/0: Receive failed: Disconnected%3|1538976114.812|ERRO
阅读全文
摘要:版本介绍 目前最新版本为2.3(20190808更新)。demo搭建可参见https://www.orchome.com/6,收发消息测试可见https://www.cnblogs.com/yoyo1216/p/14024427.html。 从使用上来看,以0.9为分界线,0.9开始不再区分高级(相
阅读全文
摘要:最近,在公司的测试环境,遇到个问题,每次重启应用重启后,原来消费过的消息又被重复推送了一遍,消费者和生产者代码如下: 消费端代码: 补充:问题已经找到了,应该是rocketmq客户端和服务器版本不一致的问题所致,我们公司的环境(由运维统管)使用的是3.2.6,上述出问题的客户端版本使用的是3.6.2
阅读全文
摘要:消息队列发展史 https://cloud.tencent.com/developer/article/1558994,始于金融、发扬于互联网,印度人发明,TIB最终归结于TIBCO https://blog.csdn.net/oWangLiang1/article/details/11105594
阅读全文
摘要:一、代码重现如下: 二、错误描述: com.alibaba.rocketmq.client.exception.MQClientException: Send [1] times, still failed, cost [6340]ms, Topic: topic_canDetail, Broker
阅读全文
摘要:如果不是因为政治原因,就rocketmq的社区活跃度、版本、特性和文档完善度,我是无论如何也不会使用rocketmq的。 rocketmq严格意义上并不支持高可靠性,因为其持久化只支持异步,有另外一个线程flush,不支持配置同步刷新到磁盘。只能说多个节点宕机的概率很低很低,外加现在的服务器一般都是
阅读全文
摘要:[root@iZbp1iiexwyqe7tpjigcg9Z rabbitmq]# cat startup_err /usr/lib/rabbitmq/bin/rabbitmq-env: line 91: cd: /var/lib/rabbitmq/mnesia/rabbit@iZbp1iiexwyq
阅读全文
摘要:一直以来,在我们大规模使用rabbitmq的服务端应用中,都没有出现rabbitmq心跳超时而造成的的影响,反倒是在rabbitmq-cpp客户端出现过很多次该问题,一直以为客户端lib实现的问题(不过一直没有对源码长时间深究、主要是cpp是我们另外一个团队负责为主),由于是WAN应用,客户又不是专
阅读全文
摘要:RabbitMQ的mirror queue(镜像队列)机制是最简单的队列HA方案,它通过在cluster的基础上增加ha-mode、ha-param等policy选项,可以根据 需求将cluster中的队列镜像到多个节点上,从而实现高可用,消除cluster模式中队列内容单点带来的风险。 在使用镜像
阅读全文
摘要:0、首先按照http://www.cnblogs.com/zhjh256/p/5922562.html在至少两个节点安装好(不建议单机,没什么意义) 1、先了解rabbitmq集群架构,http://www.cnblogs.com/zhjh256/p/6368288.html 2、vi /etc/h
阅读全文