Kafka

大型系统的Redis性能优化

摘要：本文为转载： https://blog.csdn.net/vcbin/article/details/53941682 问题描述系统背景：大型线上Java服务集群（活跃用户数上千万），业务重度使用Redis存储个管理Session，业务并发量>1WQPS,基本上每个请求都需要访问Redis(可能是阅读全文

posted @ 2019-10-11 18:03 爱知菜阅读(19) 评论(0) 推荐(0) 编辑

Kafka 命令行操作

摘要：CDH 的 kafka 命令脚本安装目录： /opt/cloudera/parcels/KAFKA-2.2.0-1.2.2.0.p0.68/lib/kafka/bin List Topics： ./kafka-topics.sh --zookeeper 172.16.26.4:2181/kafka 阅读全文

posted @ 2019-07-10 15:12 爱知菜阅读(24) 评论(0) 推荐(0) 编辑

Redis 杂记（安装，conf，还原rdb，查看key过期时间）

摘要：Redis有两个linux和windows两个版本，截至本文发表时，linux是5.05，而windows的版本不是官方的，版本为3.2。这两个版本的redis的dump.rdb文件并不兼容。 Linux的redis安装：下载官网的压缩包，tar xzvf 解压，cd进入src目录，make in 阅读全文

posted @ 2019-06-26 13:32 爱知菜阅读(52) 评论(0) 推荐(0) 编辑

Redis bgsave & setnx & zset

摘要：bgsave & save redis的数据库备份命令, 区别是阻塞: save会阻塞主线程, 锁定当前内存中的数据库写入磁盘, save期间redis无法处理外部命令, 直到写入完成 bgsave也会阻塞主线程, 只不过阻塞时间短一点, 它的逻辑是先把当前内存数据库复制一份(fork), 复制完了阅读全文

posted @ 2019-02-12 10:40 爱知菜阅读(9) 评论(0) 推荐(0) 编辑

Lambda 架构 Speed Layer 详解

摘要：目前实时层比较流行的一个解决方案是Flume + Kafka + Storm/Spark Streaming/Flink + Redis. Redis 是一个很有意思的内存数据库, 它支持五种数据结构, 并且有很多很有意思的API和使用方式, 在Speed layer中, 它充当数据库的角色. St 阅读全文

posted @ 2019-01-04 18:56 爱知菜阅读(25) 评论(0) 推荐(0) 编辑

Kafka简介, Kafka和RabbitMQ区别

摘要：kafka基本原理概述——patition与replication分配 - 新际航 - 博客园 Kafka专用术语： Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。Broker的leader叫Kafka Controller会负阅读全文

posted @ 2018-09-17 11:35 爱知菜阅读(11) 评论(0) 推荐(0) 编辑