Just Do It

摘要： Kafka常用命令 日常进程kafka运维操作时，除了借助kafka-manager图形工具查看kafka信息时，我们还可以通过kafka提供的命令工具来进行kafka的操作与查看。 1、查看所有topic ./kafka-topics.sh --zookeeper=10.111.30.3:2181 阅读全文

摘要： top命令 top命令是我们经常使用的查看进程系统资源使用情况的工具，那么top有什么常用的选项、各个显示项又代表什么呢？ 常用参数 # 常用参数 d 指定每两次屏幕信息刷新之间的时间间隔。当然用户可以使用s交互命令来改变之 p 通过指定监控进程ID来仅仅监控某个进程的状态 c 显示进程名称或整个运 阅读全文

摘要： 什么是持久化？ 持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。 还可以从如下两个层面简单的理解持久化 ： 应用层：如果关闭(shutdown)你的应用然后 阅读全文

摘要： Redis单线程 我们通常说，Redis是单线程，主要是指Redis的网络I/O和键值读写的是由一个线程来完成的。其他数据持久化、集群数据同步、异步删除等，其实是由额外线程来完成的。 所以，严格来说，Redis 并不是单线程，但是我们一般把 Redis 称为单线程高性能。接下来，会把 Redis 称 阅读全文

摘要： 提到日志，比较熟悉的数据库的写前日志(Write Ahead Log,WAL)，也就是说，在实际写入数据之前，先把修改的数据记录在日志文件中，以便故障时进行恢复。不过AOF日志正好相反，它是写后日志，“写后”的意思是Redis是先执行命令，把数据写入内存，然后踩记录日志，如下所示： Redis AO 阅读全文

摘要： 安装并导入redis pip install redis from redis import Redis Python操作Redis之普通连接 from redis import Redis # conn = Redis() #连接对象 conn = Redis(host='localhost', 阅读全文

摘要： Ceph介绍 Ceph 是一个能提供文件存储（cephfs）、块存储（rbd）和对象存储（rgw）的分布式存储系统，具有高扩展性、高性能、高可靠性等优点。Ceph 在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。 英文文档 中文文档 常用分布式 阅读全文

摘要： Kafka介绍 官网：http://kafka.apache.org Kafka是一款性能非常好的并且支持分布式的消息队列中间件。由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台。其实Kafka是一个流处理平台，这个概念不太好理解，之所以叫做流，是因为它在工作中就像是一个可以支撑高 阅读全文

摘要： 前景： 由于某些情况，我们必须修改oplog size来增大同步窗口期，例如业务的快速增长，延迟节点无法跟上Primary节点的oplog增长速度；MongoDB在3.6版本后才对oplogSize支持了动态修改，但MongoDB版本低于3.6版本则需要逐个剔除副本集逐个扩容，至此记录修改oplog 阅读全文

摘要： 随着数据量持续增多，后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构，“分片”就用这个来解决这个问题。 从图中可以看到有四个组件：mongos、config server、shard、replica set。 mongos，数据库集群请求的入口，所有的请求都通过mongo 阅读全文