logstash日志写到es，按照时间来进行切割，生成索引配置
摘要：配置如下： es创建索引使用： logstash-chat-proxy-nginx-access-*logstash-chat-proxy-nginx-error-* 转载于:https://www.cnblogs.com/zhaojonjon/p/8616756.html
阅读全文
posted @ 2021-03-08 16:52
随笔分类 - 并发与分布
HTTP/2和HTTP/1.1的比较
摘要：前几天发现了一个对HTTP/2和HTTP/1.1之间比较直观的比较的演示，是Akamai公司给出的官方演示。https://http2.akamai.com/demo HTTP/2 相比于之前的 HTTP/1.1 在性能上的大幅度提升。 而且，HTTP/2使用的是二进制传送，HTTP/1.1是文本（
阅读全文
posted @ 2021-03-08 16:06
亿级流量架构之网关设计思路、常见网关对比
摘要：本文准备围绕七个点来讲网关,分别是网关的基本概念、网关设计思路、网关设计重点、流量网关、业务网关、常见网关对比,对基础概念熟悉的朋友可以根据目录查看自己感兴趣的部分。 什么是网关 网关,很多地方将网关比如成门, 没什么问题, 但是需要区分网关与网桥的区别, 网桥工作在数据链路层，在不同或相同类型的L
阅读全文
posted @ 2021-02-26 18:59
高并发系统限流-漏桶算法和令牌桶算法
摘要：参考： http://www.cnblogs.com/LBSer/p/4083131.html https://blog.csdn.net/scorpio3k/article/details/53103239 http://jinnianshilongnian.iteye.com/blog/2305
阅读全文
posted @ 2021-02-25 18:05
ZooKeeper集群“脑裂”
摘要：ZooKeeper 集群节点为什么要部署成奇数ZooKeeper 容错指的是：当宕掉几个ZooKeeper节点服务器之后，剩下的个数必须大于宕掉的个数，也就是剩下的节点服务数必须大于n/2，这样ZooKeeper集群才可以继续使用，无论奇偶数都可以选举Leader。例如5台ZooKeeper节点机器
阅读全文
posted @ 2021-01-07 14:28
【分布式事务】的一篇良心之作！
摘要：写在前面 在分布式、微服务大行其道的今天，相信大家对这些名词都不会陌生。而说到使用分布式，或者拆分微服务的好处，你肯定能想到一大堆。 比如每个人只需要维护自己单独的服务，没有了以前的各种代码冲突。自己想测试、想发布、想升级，只需要care自己写的代码就OK了，很方便很贴心！ 然而事物都有两面性，但是
阅读全文
posted @ 2020-12-21 17:06
干货 | 广告系统架构解密
摘要：广告、增值服务、佣金，是互联网企业最常见的三种盈利手段。在这3大经典中，又以广告所占的市场份额最大，几乎是绝大部分互联网平台最主要的营收途径，业务的重要性不言而喻。 从技术角度来说，广告业务涉及到 AI算法、大数据处理、检索引擎、高性能和高可用的工程架构 等多个方向，同样有着不错的技术吸引力。 我从
阅读全文
posted @ 2020-12-14 14:59
阿里双11同款流控降级组件 Sentinel Go简介
摘要：前言 微服务的稳定性一直是开发者非常关注的话题。随着业务从单体架构向分布式架构演进以及部署方式的变化，服务之间的依赖关系变得越来越复杂，业务系统也面临着巨大的高可用挑战。在生产环境中大家可能遇到过各种不稳定的情况，比如： 大促时瞬间洪峰流量导致系统超出最大负载，load 飙高，系统崩溃导致用户无法下
阅读全文
posted @ 2020-12-10 14:46
Ceph剖析：Paxos算法实现
摘要：作者：吴香伟 发表于 2014/10/8版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 Recovery阶段 在Leader选举成功后，Leader和Peon都进入Recovery阶段。该阶段的目的是为了保证新Quorum的所有成员状态一致，这些状态包括：最后一
阅读全文
posted @ 2020-11-06 11:54
Ceph剖析：数据分布之CRUSH算法与一致性Hash
摘要：作者：吴香伟 发表于 2014/09/05版权声明：可以任意转载，转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素： 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险； 负载均衡。数据能够均匀
阅读全文
posted @ 2020-11-06 11:51
哈希算法的一些理论
摘要：一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 一致性hash算法提出了
阅读全文
posted @ 2020-11-04 11:40
一致性哈希算法
摘要：一直性Hash算法在很多场景下都有应用，尤其是在分布式缓存系统中，经常用其来进行缓存的访问的负载均衡，比如：redis等<k,v>非关系数据库作为缓存系统。我们首先来看一下采用取模方式进行缓存的问题。 一致性Hash算法的使用场景 假设我们的将10台redis部署为我们的缓存系统，存储<k,v>数据
阅读全文
posted @ 2020-10-31 18:31
一致性hash算法及java实现
摘要：一致性hash算法是分布式中一个常用且好用的分片算法、或者数据库分库分表算法。现在的互联网服务架构中，为避免单点故障、提升处理效率、横向扩展等原因，分布式系统已经成为了居家旅行必备的部署模式，所以也产出了几种数据分片的方法：1.取模，2.划段，3.一致性hash前两种有很大的一个问题就是需要固定的节
阅读全文
posted @ 2020-10-31 18:22
一文搞懂蓝绿发布、灰度发布和滚动发布
摘要：应用程序升级面临最大挑战是新旧业务切换，将软件从测试的最后阶段带到生产环境，同时要保证系统不间断提供服务。 长期以来，业务升级渐渐形成了几个发布策略：蓝绿发布、灰度发布和滚动发布，目的是尽可能避免因发布导致的流量丢失或服务不可用问题。 一、 蓝绿发布项目逻辑上分为AB组，在项目系统时，首先把A组从负
阅读全文
posted @ 2020-08-26 15:12
分布式存储Seaweedfs源码分析
摘要：基于源码版本号 0.67 ， 【Seaweedfs以前旧版叫Weedfs】。 Seaweedfs 是一个非常优秀的由 golang 开发的分布式存储开源项目， 虽然在我刚开始关注的时候它在 github.com 上面只有 star 50+， 但是我觉得这个项目是一个几千 star 量级的优秀开源项目
阅读全文
posted @ 2020-05-21 17:50
Ceph剖析：数据分布之CRUSH算法与一致性Hash
摘要：数据分布是分布式存储系统的一个重要部分，数据分布算法至少要考虑以下三个因素： 故障域隔离。同份数据的不同副本分布在不同的故障域，降低数据损坏的风险； 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点，避免部分节点空闲部分节点超载，从而影响系统性能； 控制节点加入离开时引起的数据迁移量。当节点离开
阅读全文
posted @ 2020-04-28 11:43
redis 分布式锁的 5个坑，真是又大又深
摘要：引言 最近项目上线的频率颇高，连着几天加班熬夜，身体有点吃不消精神也有些萎靡，无奈业务方催的紧，工期就在眼前只能硬着头皮上了。脑子浑浑噩噩的时候，写的就不能叫代码，可以直接叫做Bug。我就熬夜写了一个bug被骂惨了。 由于是做商城业务，要频繁的对商品库存进行扣减，应用是集群部署，为避免并发造成库存超
阅读全文
posted @ 2020-04-22 12:22
consul实现分布式锁
摘要：分布式一致性问题：# 分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。”所以，很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的
阅读全文
posted @ 2019-11-27 21:50
10分钟弄懂Raft算法
摘要：分布式系统在极大提高可用性、容错性的同时，带来了一致性问题（CAP理论）。Raft算法能够解决分布式系统环境下的一致性问题。 我们熟悉的ETCD注册中心就采用了这个算法；你现在看的这篇微信公众号文章，也是保存在基于Raft算法的高可用存储服务器中。 没有耐心看文字，就直接拉到第四章。 一、Raft算
阅读全文
posted @ 2019-11-27 21:42
