2020 年 1月随笔档案 - ExplorerMan

keepalived+Haproxy搭建高可用Web群集

摘要：Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如LVS和Nginx。相比较而言，LVS性能最好，但是搭建相对复杂，搭建LVS群集可以参考博文：搭建：LVS+Keepalived高可用Web服务群集环境；Nginx的upstream模块支持群集功能，但是相对群集节点健康检查功阅读全文

posted @ 2020-01-14 01:04 ExplorerMan 阅读(360) 评论(0) 推荐(0) 编辑

keepalived实现haproxy高可用

只有注册用户登录后才能阅读该文。

posted @ 2020-01-14 00:58 ExplorerMan 阅读(1) 评论(0) 推荐(0) 编辑

Haproxy的负载均衡和高可用配置

只有注册用户登录后才能阅读该文。

posted @ 2020-01-14 00:57 ExplorerMan 阅读(4) 评论(0) 推荐(0) 编辑

使用haproxy实现负载均衡集群

只有注册用户登录后才能阅读该文。

posted @ 2020-01-14 00:53 ExplorerMan 阅读(3) 评论(0) 推荐(0) 编辑

haproxy安装配置(笔记一)

只有注册用户登录后才能阅读该文。

posted @ 2020-01-14 00:52 ExplorerMan 阅读(9) 评论(0) 推荐(0) 编辑

Haproxy压测及参数调优

摘要：Haproxy压测及参数调优 [root@3b9d411b-0a16-4bc4-acd8-10f71b997c29 etc]# ss -s&&free -g Total: 102008 (kernel 102040) TCP: 102003 (estab 101812, closed 56, orp 阅读全文

posted @ 2020-01-14 00:17 ExplorerMan 阅读(2416) 评论(0) 推荐(0) 编辑

压测工具使用（vegeta）

只有注册用户登录后才能阅读该文。

posted @ 2020-01-14 00:14 ExplorerMan 阅读(1) 评论(0) 推荐(0) 编辑

Nginx、HAProxy、LVS三者的优缺点

摘要：一、Nginx优点： 1、工作在网络7层之上，可针对http应用做一些分流的策略，如针对域名、目录结构，它的正规规则比HAProxy更为强大和灵活，所以，目前为止广泛流行。 2、Nginx对网络稳定性的依赖非常小，理论上能ping通就能进行负载功能。 3、Nginx安装与配置比较简单，测试也比较方便阅读全文

posted @ 2020-01-14 00:09 ExplorerMan 阅读(156) 评论(0) 推荐(0) 编辑

Pika 连接 rabbitmq 集群

摘要：使用 Pika 连接 rabbitmq 集群使用 python 编程经常会用到 pika 来向 rabbitmq 发送消息，单个 rabbitmq 节点连接比较简单，本文介绍使用 rabbitmq 集群情况下的连接方式。 vip 连接方式在 client 与 rabbitmq server 之间通过阅读全文

posted @ 2020-01-14 00:05 ExplorerMan 阅读(971) 评论(0) 推荐(0) 编辑

redis分布式锁深度剖析(超时情况)

摘要：1、redis分布式锁的基本实现 redis加锁命令：这个命令的作用是在只有这个key不存在的时候才会设置这个key的值（NX选项的作用），超时时间设为30000毫秒（PX选项的作用）这个key的值设为“my_random_value”。这个值必须在所有获取锁请求的客户端里保持唯一。 SETNX 阅读全文

posted @ 2020-01-13 22:50 ExplorerMan 阅读(1977) 评论(0) 推荐(0) 编辑

python中，用Redis构建分布式锁

摘要：分布式锁在实际应用场景中，我们可能有多个worker，可能在一台机器，也可能分布在不同的机器，但只有一个worker可以同时持有一把锁，这个时候我们就需要用到分布式锁了。这里推荐python的实现库，Redlock-py (Python 实现). 正常情况下，worker获得锁后，处理自己的任务阅读全文

posted @ 2020-01-13 22:38 ExplorerMan 阅读(801) 评论(0) 推荐(0) 编辑

RedLock算法-使用redis实现分布式锁服务

摘要：在多线程共享临界资源的场景下，分布式锁是一种非常重要的组件。许多库使用不同的方式使用redis实现一个分布式锁管理。其中有一部分简单的实现方式可靠性不足，可以通过一些简单的修改提高其可靠性。这篇文章介绍了一种指导性的redis分布式锁算法RedLock，RedLock比起单实例的实现方式更加安阅读全文

posted @ 2020-01-13 22:37 ExplorerMan 阅读(497) 评论(0) 推荐(0) 编辑

golang删除数组某个元素

摘要：golang中对一个slice进行“slice”可以取片段得到一个新的slice，那么如何用简洁的代码删除slice中的一个元素呢？ a := []int{0, 1, 2, 3, 4} //删除第i个元素 i := 2 a = append(a[:i], a[i+1:]...) 作者：krystol 阅读全文

posted @ 2020-01-12 23:50 ExplorerMan 阅读(6266) 评论(0) 推荐(0) 编辑

golang用通道实现信号量，控制并发个数

摘要：func main() { var wg sync.WaitGroup sem := make(chan struct{}, 2) // 最多允许2个并发同时执行 taskNum := 10 for i := 0; i < taskNum; i++ { wg.Add(1) go func(id int) { ... 阅读全文

posted @ 2020-01-12 23:09 ExplorerMan 阅读(872) 评论(0) 推荐(0) 编辑

golang channel 用法

摘要：一、Golang并发基础理论 Golang在并发设计方面参考了C.A.R Hoare的CSP，即Communicating Sequential Processes并发模型理论。但就像John Graham-Cumming所说的那样，多数Golang程序员或爱好者仅仅停留在“知道”这一层次，理解CS 阅读全文

posted @ 2020-01-12 21:04 ExplorerMan 阅读(393) 评论(0) 推荐(0) 编辑

ELK部署

摘要：ELK适用场景公司网站的访问量有多大，访问高峰期的时间段是多少，最经常访问的热点数据是什么？这一切的一切，虽然我们可以自己通过shell等手段截取出来，但是如果网站多了，服务器多了，还是非常不方便，而且阅读性也不好，因此ELK应运而生，不仅可以获取访问高峰期，还可以制作图表，让你的领导一目了然，E 阅读全文

posted @ 2020-01-10 18:05 ExplorerMan 阅读(435) 评论(0) 推荐(0) 编辑

Go gRPC 调试工具

摘要：目录概述写一个 gRPC API grpcui 使用 go-gin-api 系列文章目录概述写一个 gRPC API grpcui 使用 go-gin-api 系列文章概述写一个 gRPC API grpcui 使用 go-gin-api 系列文章概述最近这段时间工作挺忙的，发现已阅读全文

posted @ 2020-01-10 11:34 ExplorerMan 阅读(429) 评论(0) 推荐(0) 编辑

使用go tool pprof分析内存泄漏、CPU消耗

摘要：go中提供了pprof包来做代码的性能监控，在两个地方有包： net/http/pprof runtime/pprof 其实net/http/pprof中只是使用runtime/pprof包来进行封装了一下，并在http端口上暴露出来。使用 net/http/pprof 做WEB服务器的性能监控阅读全文

posted @ 2020-01-10 11:31 ExplorerMan 阅读(1975) 评论(0) 推荐(0) 编辑

Python使用requests時遇到Failed to establish a new connection

摘要：再寫Zeppelin的CLI工具的時候https://github.com/del680202/zdairi 遇到了開起太多connection這樣一個錯誤 requests.exceptions.ConnectionError: HTTPConnectionPool(host='xxxxx', p 阅读全文

posted @ 2020-01-07 18:58 ExplorerMan 阅读(6002) 评论(0) 推荐(0) 编辑

Golang gRPC实践连载一 gRPC介绍与安装

摘要：gRPC介绍与安装 A high performance, open source, general RPC framework that puts mobile and HTTP/2 first. ——gRPC Website gRPC 是一个高性能、开源、通用的RPC框架，由Google推出，基阅读全文

posted @ 2020-01-07 18:26 ExplorerMan 阅读(447) 评论(0) 推荐(0) 编辑

Golang gRPC实践连载四 gRPC认证

摘要：gRPC 默认提供了两种认证方式：基于SSL/TLS认证方式远程调用认证方式基于SSL/TLS认证方式远程调用认证方式两种方式可以混合使用 TLS认证示例这里直接扩展hello项目，实现TLS认证机制首先需要准备证书，在hello目录新建keys目录用于存放证书文件。证书制作制作私阅读全文

posted @ 2020-01-07 18:25 ExplorerMan 阅读(409) 评论(0) 推荐(0) 编辑

Golang gRPC实践连载三 Protobuf语法

摘要：Protobuf语法 gRPC推荐使用proto3，本节只介绍常用语法，更多高级使用姿势请参考官方文档 Message定义一个message类型定义描述了一个请求或相应的消息格式，可以包含多种类型字段。例如定义一个搜索请求的消息格式，每个请求包含查询字符串、页码、每页数目。 syntax = "p 阅读全文

posted @ 2020-01-07 18:25 ExplorerMan 阅读(639) 评论(0) 推荐(0) 编辑

Golang gRPC实践连载七 HTTP协议转换

摘要：gRPC HTTP协议转换正当有这个需求的时候，就看到了这个实现姿势。源自coreos的一篇博客，转载到了grpc官方博客gRPC with REST and Open APIs。 etcd3改用grpc后为了兼容原来的api，同时要提供http/json方式的API，为了满足这个需求，要么开发两阅读全文

posted @ 2020-01-07 18:24 ExplorerMan 阅读(785) 评论(0) 推荐(0) 编辑

Golang gRPC实践连载六内置Trace

摘要：内置Trace grpc默认提供了客户端和服务端的trace日志，可惜没有提供自定义接口，当前只能查看基本的事件日志和请求日志，对于基本的请求状态查看也是很有帮助的，客户端与服务端基本一致，这里已服务端开启trace为例，修改hello项目的server代码： server/main.go 这里我们阅读全文

posted @ 2020-01-07 18:23 ExplorerMan 阅读(421) 评论(0) 推荐(0) 编辑

Golang gRPC实践连载五拦截器 Interceptor

摘要：Interceptor grpc服务端提供了interceptor功能，可以在服务端接收到请求时优先对请求中的数据做一些处理后再转交给指定的服务处理并响应，功能类似middleware，很适合在这里处理验证、日志等流程。在自定义Token认证的示例中，认证信息是由每个服务中的方法处理并认证的，如果阅读全文

posted @ 2020-01-07 18:22 ExplorerMan 阅读(446) 评论(0) 推荐(0) 编辑

Go 1.8 http graceful 体验

摘要：很高兴Go 1.8发布了，这是个值得庆祝的日子。如何优雅的关闭http服务在Go Web开发中一直被提及和讨论的话题，今天Go 1.8的发布终于为我们带来了这个特性。文档中是这样介绍的： Shutdown 将无中断的关闭正在活跃的连接，然后平滑的停止服务。处理流程如下：首先关闭所有的监听然后阅读全文

posted @ 2020-01-07 18:06 ExplorerMan 阅读(243) 评论(0) 推荐(0) 编辑

golang安装gRpc 报错

摘要：golang安装gRpc安装官方安装命令： go get google.golang.org/grpc 是安装不起的，会报： package google.golang.org/grpc: unrecognized import path "google.golang.org/grpc"(https 阅读全文

posted @ 2020-01-07 17:10 ExplorerMan 阅读(1312) 评论(0) 推荐(0) 编辑

Linux下替换默认版本的protobuf

摘要：1. 下载下载地址，我下载的是protobuf-all-3.5.0.tar.gz，尽量下载all，里面包含protobuf库的所有文件。 2. 编译 3. 环境变量 4. 替换阅读全文

posted @ 2020-01-07 17:03 ExplorerMan 阅读(602) 评论(0) 推荐(0) 编辑

微服务全流程分析

摘要：转眼已经2020，距离微服务这个词落地已经过去好多年！（我记得2017年就听过这个词）。然而今天我想想什么是微服务，其实并没有一个很好的定义。为什么这样说，按照微服务的定义：微服务架构就是将一个庞大的业务系统按照业务模块拆分成若干个独立的子系统，每个子系统都是一个独立的应用，它是一种将应用构建成一阅读全文

posted @ 2020-01-07 12:57 ExplorerMan 阅读(387) 评论(0) 推荐(0) 编辑

Go orm框架gorm学习

摘要：之前咱们学习过原生的Go连接MYSQL的方法，使用Go自带的"database/sql"数据库连接api，"github.com/go-sql-driver/mysql"MYSQL驱动，通过比较原生的写法去写sql和处理事务。目前开源界也有很多封装好的orm操作框架，帮我们简省一些重复的操作，提高代阅读全文

posted @ 2020-01-07 12:56 ExplorerMan 阅读(1598) 评论(0) 推荐(0) 编辑

golang-protobuf使用

摘要：什么是protobuf? Protocol buffers是一个灵活的、高效的、自动化的用于对结构化数据进行序列化的协议，与XML、json相比，Protocol buffers序列化后的码流更小、速度更快、操作更简单。安装protoc工具 proto用来将.proto文件转化为自己使用的语言格式阅读全文

posted @ 2020-01-07 11:31 ExplorerMan 阅读(368) 评论(0) 推荐(0) 编辑

python grpc+jwt+s3 对用户token进行验证

摘要：写在前面：用户信息是存储在aws的s3上，现在要做到用户登陆创建新token，访问api，验证token。目录结构： 1.grpc部分：第一步，序列化，规定api方法及参数等。。syntax = "proto3"; package authsvc; """In Python, the packag 阅读全文

posted @ 2020-01-06 16:09 ExplorerMan 阅读(658) 评论(0) 推荐(0) 编辑

gRPC-Web发布，REST又要被干掉了？

摘要：云原生计算基金会（CNCF）正式发布GA版本的gRPC-Web，这是一个JavaScript客户端库，使Web应用程序能够直接与后端gRPC服务通信，不需要HTTP服务器充当中介。这意味着你现在可以通过.proto文件来定义客户端和服务器端数据类型和服务接口，轻松构建真正的端到端gRPC应用程序架构阅读全文

posted @ 2020-01-06 15:42 ExplorerMan 阅读(947) 评论(0) 推荐(0) 编辑

01 2020 档案

导航

公告

搜索

常用链接

随笔分类 (2306)

随笔档案 (2318)