随笔分类 - MiddleWare
摘要：1. 简介 Canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费功能。 工作原理 Mysql主备复制原理 MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以
阅读全文
摘要：1. 简介 Ingress 是对集群中服务的外部访问进行管理的 API 对象，典型的访问方式是 HTTP。 Ingress 可以提供负载均衡、SSL 终结和基于名称的虚拟托管。 Ingress 公开了从集群外部到集群内Service的 HTTP 和 HTTPS 路由。 流量路由由 Ingress 资
阅读全文
摘要：1. 简介 Secret 是一种包含少量敏感信息例如密码、令牌或密钥的对象。 这样的信息可能会被放在 Pod 规约中或者镜像中。 使用 Secret 意味着你不需要在应用程序代码中包含机密数据。 由于创建 Secret 可以独立于使用它们的 Pod， 因此在创建、查看和编辑 Pod 的工作流程中暴露
阅读全文
摘要：1. 简介 ConfigMap 是一种 API 对象，用来将非机密性的数据保存到键值对中。使用时， Pods 可以将其用作环境变量、命令行参数或者存储卷中的配置文件。 ConfigMap 将您的环境配置信息和容器镜像解耦，便于应用配置的修改。 注意：ConfigMap 并不提供保密或者加密功能。 如
阅读全文
摘要：1. 简介 StorageClass 为管理员提供了描述存储 "类" 的方法。 通过StorageClass的定义，管理员可以将存储资源定义为某种类别（Class），正如存储设备对于自身的配置描述（Profile），例如 "快速存储" "慢速存储" "有数据冗余" "无数据冗余"等。用户根据Stor
阅读全文
摘要：1. 简介 持久卷（PersistentVolume，PV）是集群中的一块存储，可以由管理员事先供应，或者 使用存储类（Storage Class）来动态供应。 持久卷是集群资源，就像节点也是集群资源一样。PV 持久卷和普通的 Volume 一样，也是使用 卷插件来实现的，只是它们拥有独立于任何使用
阅读全文
摘要：1. 简介 我们都知道 Container 中的文件在磁盘上是临时存放的，这给 Container 中运行的较重要的应用 程序带来一些问题。 是当容器崩溃时文件丢失。（kubelet 会重新启动容器， 但容器会以干净的状态重启） 在同一 Pod 中运行多个容器如何共享文件 Kubernetes 卷（
阅读全文
摘要：1. 简介 kubernets service 是将运行一组pods上的应用程序公开为网络服务的抽象方法。 有了 kubernets service，你就无需修改应用程序即可使用服务发现机制，kubernets 为 pods 提供自己的ip地址，并为一组pod提供相同的DNS名，并且可以在它们之间进
阅读全文
摘要：1. 简介 DaemonSet 确保全部（或者某些）节点上运行一个 Pod 的副本。 当有节点加入集群时， 也会为他们新增一个 Pod 。 当有节点从集群移除时，这些 Pod 也会被回收。删除 DaemonSet 将会删除它创建的所有 Pod。 DaemonSet 的一些典型用法： 在每个节点上运行
阅读全文
摘要：1. 简介 StatefulSet 是用来管理有状态应用的工作负载Api对象。 StatefulSet 用来管理某 Pod 集合的部署和扩缩， 并为这些 Pod 提供持久存储和持久标识符。 和 Deployment 类似， StatefulSet 管理基于相同容器规约的一组 Pod。 但和 Depl
阅读全文
摘要：1. 简介 一个 Deployment 为 Pods 和 ReplicaSets 提供声明式的更新能力。 用户负责描述 Deployment 中的 目标状态，而 Deployment 控制器（Controller）以受控速率更改实际状态， 使其变为期望状态。你可以定义 Deployment 以创建新
阅读全文
摘要：1. 简介 Pod 是可以在 Kubernetes 中创建和管理的、最小的可部署的计算单元。 Pod 是一组（一个或多个） 容器； 这些容器共享存储、网络、以及怎样运行这些容器的声明。 Pod 中的内容总是并置（colocated）的并且一同调度，在共享的上下文中运行。 Pod 所建模的是特定于应用
阅读全文
摘要：1. 简介 Kubernetes 支持多个虚拟集群，它们底层依赖于同一个物理集群。 这些虚拟集群被称为namespace。 在一些文档里namespace也称为命名空间。 namespace为资源提供了一个范围。 资源的名称需要在namespace内是唯一的。 namespace不能相互嵌套，每个
阅读全文
摘要：1. kubernetes 是什么？ Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 这个名字源于希腊语，意为“舵手”或“飞行员”。k8s 这个缩写是因为 k 和 s 之间有八个字符的关系。 Google 在
阅读全文
摘要：1. 简介 我们在上一篇博文中遗留了一个小问题，就是虽然TTL + DLX能实现延迟队列的功能，但是有两个问题。 首先业务场景为：比如海底捞预约，每个人预约的时间段不一致，有个可能一个小时后，有的可能三个小时等，当快到预约时间点需要给用户进行短信通知。 通过给Queue设置过期时间的方式不现实，因为
阅读全文
摘要：1. 简介 死信队列，简称：DLX，Dead Letter Exchange（死信交换机），当消息成为Dead message后，可以被重新发送到另外一个交换机，这个交换机就是DLX。 (一般会将DLX和与其binding 的 Queue，一并称为死信队列或DLX，习惯而已，不必纠结) 那么什么情况
阅读全文
摘要：1.简介 为什么要对消费端进行限流？ 其实很好理解，比如我们常能接触到的消费场景：春运期间12306火车票的抢购，双11期间的下单等。这些场景都有一个共同点就是都会导致短暂时间内请求数激增，如果我们的Consumer最多只支持每秒1000的QPS，而由于请求的激增导致每秒2000甚至更多的并发，此时
阅读全文
摘要：1. 简介 MQ虽然帮我们解决了很多问题，但是也带来了很多问题，其中最麻烦的就是：如何保证消息的可靠性传输。 我们在聊如何保证消息的可靠性传输之前，先考虑下哪些情况下会出现消息丢失的情况。 首先，上图中完整的展示了消息从生产到被消费的完整链路，我们通过图列举下各种情况。 Producer在把Mess
阅读全文
摘要：1. 简介 MQ（Message Queue）消息队列，是基础数据结构中“FIFO（先进先出）”的一种数据结构。 一般用来解决应用解耦，异步消息，流量削峰等问题，实现高性能，高可用，可伸缩和最终一致性架构。 应用解耦 MQ相当于一个中介，生产方通过MQ与消费方交互，它将应用程序进行解耦合。 异步消息
阅读全文
摘要：1. 简介 我们在之前的博文中讲解了如何使用redis实现分布式锁，其实除了 redis 还有 zookeeper 也能实现分布式锁。 废话不多说，直接上图。 从整个流程中可以看出，zk实现分布式锁，主要是靠zk的临时顺序节点和watch机制实现的。 2. quick start Curator 是
阅读全文