一致性哈希算法
摘要：一直性Hash算法在很多场景下都有应用，尤其是在分布式缓存系统中，经常用其来进行缓存的访问的负载均衡，比如：redis等<k,v>非关系数据库作为缓存系统。我们首先来看一下采用取模方式进行缓存的问题。 一致性Hash算法的使用场景 假设我们的将10台redis部署为我们的缓存系统，存储<k,v>数据
阅读全文
posted @ 2020-10-31 18:31
10 2020 档案
一致性hash算法及java实现
摘要：一致性hash算法是分布式中一个常用且好用的分片算法、或者数据库分库分表算法。现在的互联网服务架构中，为避免单点故障、提升处理效率、横向扩展等原因，分布式系统已经成为了居家旅行必备的部署模式，所以也产出了几种数据分片的方法：1.取模，2.划段，3.一致性hash前两种有很大的一个问题就是需要固定的节
阅读全文
posted @ 2020-10-31 18:22
KAFKA的最佳实践
摘要：背景 一个Python项目中要使用kafka去deliver log，1个producer，5个consumer。单条消息的大小是100KB ～ 500KB，producer要在1秒钟之内能够发送30个这样的message。然后每个consumer也要在1秒钟之内消费30个这样的message。另外
阅读全文
posted @ 2020-10-31 14:59
Golang gRPC学习(04): Deadlines超时限制
摘要：一、为什么要使用Deadlines# 当我们使用gRPC时，gRPC库关系的是连接，序列化，反序列化和超时执行。Deadlines 允许gRPC客户端设置自己等待多长时间来完成rpc操作，直到出现这个错误 DEADLINE_EXCEEDED。但是在正常情况下，这个DEADLINE_EXCEEDED默
阅读全文
posted @ 2020-10-31 12:01
深入理解golang: interface源码分析
摘要：分析接口的赋值，反射，断言的实现原理 版本：golang v1.12 interface底层使用2个struct表示的：eface和iface 一：接口类型分为2个# 1. 空接口# Copy //比如 var i interface{} 2. 带方法的接口# Copy //比如 type stud
阅读全文
posted @ 2020-10-31 11:53
consul实现分布式锁
摘要：3篇关于分布式锁的文章，可以结合看：consul实现分布式锁：https://www.cnblogs.com/jiujuan/p/10527786.htmlredis实现分布式锁：https://www.cnblogs.com/jiujuan/p/10595838.htmletcd实现分布式锁：ht
阅读全文
posted @ 2020-10-31 11:51
mysql 慢查询的原因分析点滴
摘要：我们知道Mysql可以log下来运行的比较慢的sql语句。 不过，默认是没有这个log的，为了开启这个功能，要修改my.cnf或者在MySQL启动的时候加入一些参数。 如果在my.cnf里面修改，需增加如下几行：long_query_time = 1 //指执行超过多久的sql会被log下来，这里是
阅读全文
posted @ 2020-10-30 18:43
Consul的分布式锁实现
摘要：构建分布式系统的时候，经常需要控制对共享资源的互斥访问，就涉及到分布式锁（也称为全局锁）的实现，基于目前的各种工具，我们已经有了大量的实现方式，比如：基于Redis的实现、基于Zookeeper的实现。本文将介绍一种基于Consul 的Key/Value存储来实现分布式锁以及信号量的方法。分布式锁实
阅读全文
posted @ 2020-10-30 18:40
Python 元类
摘要：什么是元类 我们知道，实例对象是由类来创建，那么类又是由什么来创建的呢？ 答案就是元类。 元类基本都不会用到，但是就算不用到，也应该去熟悉一下概念。 类也是对象 在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段。在Python中这一点仍然成立： In [1]: class FatBoy
阅读全文
posted @ 2020-10-29 23:32
硬核！15张图解Redis为什么这么快
摘要：作为一名服务端工程师，工作中你肯定和 Redis 打过交道。Redis 为什么快，这点想必你也知道，至少为了面试也做过准备。很多人知道 Redis 快仅仅因为它是基于内存实现的，对于其它原因倒是模棱两可。 那么今天就和小莱一起看看： 图注：- 思维导图 - 基于内存实现 这点在一开始就提到过了，这里
阅读全文
posted @ 2020-10-29 14:20
Protobuf 中 any 的妙用
摘要：文章目录 目录结构 首先，我们定义我们需要传输的消息 使用 protoc 编译工具，编译 rsp.proto，生成 rsp.pb.go 文件 测试使用 any 在使用 GRPC 时，常规的操作是将 message 定义好后进行数据传输，但总会遇到某些数据结构进行组合的操作，采用默认的定义 messa
阅读全文
posted @ 2020-10-28 18:52
Grpc性能压测方法：用ghz进行压测
摘要：内容简介：现在grpc的压测工具很少，比http的压测工具少太多了，好像还没有一个“公认”的压测工具，在github中搜索“grpc benchmark”， 本文转载自：https://www.lijiaocn.com/技巧/2019/02/22/grpc-benchmark-method.html
阅读全文
posted @ 2020-10-28 17:49
压测工具Locuse的使用
摘要：我是听朋友提起的"蝗虫"（Locust），然而她不想用python,我就拿来试一试~ http的 各种压测工具也已经太多了，所以主要是试试locust在当前比较流行的rpc协议上的效果 目的 -- 调研locust应用于grpc协议 服务 -- grpc的helloworld 一 环境准备 1 需要
阅读全文
posted @ 2020-10-28 17:46
Locust 多机器分布式测试
摘要：如果单台计算机不足以模拟所需的用户数量，那么 Locust 将支持运行分布在多台计算机上的负载测试。 为此，您可以使用该 --master 标志在主模式下启动 Locust 的一个实例。 这是将运行 Locust 的 Web 界面的实例，您可以在其中开始测试并查看实时统计信息。 主节点本身不会模拟任
阅读全文
posted @ 2020-10-28 17:40
kubespray部署kubernetes高可用集群
摘要：kubespray部署kubernetes高可用集群 Kubespray是Google开源的一个部署生产级别的Kubernetes服务器集群的项目，它整合了Ansible作为部署的工具。 可以部署在AWS，GCE，Azure，OpenStack，vSphere，Packet（Bare metal），
阅读全文
posted @ 2020-10-19 21:29
连Python产生器（Generator）的原理都解释不了，还敢说Python用了5年？
摘要：最近有很多学Python同学问我，Python Generator到底是什么东西，如何理解和使用。Ok，现在就用这篇文章对Python Generator做一个敲骨沥髓的深入解析。 为了更好地理解产生器（Generator），还需要掌握另外两个东西：yield和迭代（iterables）。下面就迭代
阅读全文
posted @ 2020-10-12 17:28
golang中，new和make的区别
摘要：在golang中,make和new都是分配内存的，但是它们之间还是有些区别的，只有理解了它们之间的不同，才能在合适的场合使用。 简单来说,new只是分配内存，不初始化内存； 而make即分配又初始化内存。所谓的初始化就是给类型赋初值，比如字符为空，整型为0, 逻辑值为false等。 new 先看下n
阅读全文
posted @ 2020-10-12 17:25
