11 2020 档案

python热编译
摘要:现在,我们已经把一个Web App的框架完全搭建好了,从后端的API到前端的MVVM,流程已经跑通了。 在继续工作前,注意到每次修改Python代码,都必须在命令行先Ctrl-C停止服务器,再重启,改动才能生效。 在开发阶段,每天都要修改、保存几十次代码,每次保存都手动来这么一下非常麻烦,严重地降低 阅读全文

posted @ 2020-11-26 18:23 ExplorerMan 阅读(249) 评论(0) 推荐(0)

使用Rancher webhook实现弹性扩容缩容
摘要:使用Rancher webhook实现弹性扩容缩容 实验目标: 学会使用Rancher中的Webhook,实现Rancher应用服务的扩容或缩容。 实验过程: 通过在Rancher中创建webhook,获取扩容或缩容的HTTP API网址,然后通过curl工具发送HTTP POST请求,实现扩容或缩 阅读全文

posted @ 2020-11-23 18:16 ExplorerMan 阅读(778) 评论(0) 推荐(0)

详解Redis布隆过滤器和缓存穿透解决方案
摘要:一、使用场景 1.布隆过滤器的特性是:去重,多数去重场景都跟这个特性有关。比如爬虫的时候去掉相同的URL,推送消息去掉相同的消息等。 2.解决缓存击穿的问题。 3.反垃圾邮件,从数十亿个垃圾邮件列表中判断某邮箱是否垃圾邮箱(同理,垃圾短信). 二、概念 其内部维护一个全为0的bit数组,需要说明的是 阅读全文

posted @ 2020-11-20 15:17 ExplorerMan 阅读(685) 评论(0) 推荐(0)

Python+request+unittest实现接口测试框架集成实例
摘要:1、为什么要写代码实现接口自动化 大家知道很多接口测试工具可以实现对接口的测试,如postman、jmeter、fiddler等等,而且使用方便,那么为什么还要写代码实现接口自动化呢?工具虽然方便,但也不足之处: 测试数据不可控制 接口测试本质是对数据的测试,调用接口,输入一些数据,随后,接口返回一 阅读全文

posted @ 2020-11-17 15:51 ExplorerMan 阅读(197) 评论(0) 推荐(0)

真正解决Jenkins安装插件总是报错的问题(网上查的解决方案都无效)
摘要:一、前言 最近打算学习Jenkins,所以就在虚拟机CentOS7上想练练手,网上安装教程很多,我选择了下载war包,部署到tomcat的方式,启动项目后,第一次访问会提示你安装推荐的插件,咱当然安装了,可谁知这龟速啊,几k的走,而且一会儿就报错了,立马去网上查找解决方案,此方法可能无效了,可以作为 阅读全文

posted @ 2020-11-13 14:36 ExplorerMan 阅读(1254) 评论(0) 推荐(0)

Rancher 2.2.2 - HA 部署高可用k8s集群
摘要:对于生产环境,需以高可用的配置安装 Rancher,确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时,Rancher将与集群的 etcd 集成,并利用Kubernetes 调度实现高可用。 为确保高可用,本文所部署的 Kubernetes 集群将专用于运行 R 阅读全文

posted @ 2020-11-11 19:01 ExplorerMan 阅读(233) 评论(0) 推荐(0)

Rancher管理k8s集群
摘要:一、概述 Rancher和k8s都是用来作为容器的调度与编排系统。但是rancher不仅能够管理应用容器,更重要的一点是能够管理k8s集群。Rancher2.x底层基于k8s调度引擎,通过Rancher的封装,用户可以在不熟悉k8s概念的情况下轻松的通过Rancher来部署容器到k8s集群当中。 为 阅读全文

posted @ 2020-11-11 18:58 ExplorerMan 阅读(1106) 评论(0) 推荐(0)

Rancher 2.4.3 - HA 部署高可用k8s集群
摘要:一、概述 对于生产环境,需以高可用的配置安装 Rancher,确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时,Rancher将与集群的 etcd 集成,并利用Kubernetes 调度实现高可用。 为确保高可用,本文所部署的 Kubernetes 集群将专用 阅读全文

posted @ 2020-11-11 18:57 ExplorerMan 阅读(587) 评论(0) 推荐(0)

jenkins Redeploy Rancher2.x Workload插件实现CI/CD
摘要:一、概述 在上一篇文章,链接如下: https://www.cnblogs.com/xiao987334176/p/13074198.html 已经实现了基于Jenkins+Gitlab+Harbor+Rancher+k8s CI/CD,但是有一个问题,需要jenkins ssh登录到k8s mas 阅读全文

posted @ 2020-11-11 15:52 ExplorerMan 阅读(801) 评论(1) 推荐(0)

rancher-cli的使用
摘要:Rancher CLI工具可用于与Rancher进行交互,使用此工具,可以使用命令行而不是GUI来操作Rancher并管理其下的资源。 1、下载rancher-cli工具 Rancher CLI二进制文件可以直接从Rancher UI下载,下载链接可以从Rancher UI右下角找到。还可以从ran 阅读全文

posted @ 2020-11-10 19:38 ExplorerMan 阅读(1000) 评论(0) 推荐(0)

Jenkins+Rancher+Harbor+Gitlab部署应用到生产环境
摘要:Jenkins结合rancher进行项目的持续集成,这个流程其实跟之前的java项目、React项目、安卓项目的持续集成都差不多。但是相较之前的项目部署来说,在流程上多了很多的步骤,需要注意的地方比较多,所以在这里以部署一个java的demo项目进行演示和记录。 一、环境准备 本次实验的主机系统全部 阅读全文

posted @ 2020-11-10 17:58 ExplorerMan 阅读(2079) 评论(0) 推荐(0)

持续集成高级篇之Jenkins资源调度
摘要:系列目录 之前的示例我们主要关注点在于功能的实现,都是在一个节点的完成了.有了多个节点后,必须涉及到资源的调度问题.本节我们讲解在创建任务时与资源调度的有关选项以及一些平时没有注意到的但在生产环境需要精细控制的选项. 我们随便创建一个自由式风格任务,这里主要讲解General里的一些选项 Restr 阅读全文

posted @ 2020-11-10 11:57 ExplorerMan 阅读(572) 评论(0) 推荐(0)

持续集成高级篇之Jenkins Pipeline git拉取
摘要:系列目录 PipeLine中拉取远程git仓库 前面讲自由式任务的时候,我们可以看到通过自由式job里提供的图形界面配置git拉取非常方便的,实际上使用PipeLine也并不复杂.这一节我们展示一下如何在PipeLine任务中拉取git仓库代码. node{ stage("check out"){ 阅读全文

posted @ 2020-11-09 19:14 ExplorerMan 阅读(628) 评论(0) 推荐(0)

持续集成高级篇之Jenkins参数传入与常见任务
摘要:系列目录 有的童鞋可能已经发现,PipeLine项目与自由式项目相比,可配置的项少了很多,比如说环境变量定义,所有步骤完成后执行动作,拉git代码库等.其实这些功能并没有缺,而是配置的方式不一样了,以前是通过图形化界面配置,虽然直观简便,但是功能不能包罗万像,对于一些复杂的项目显得捉襟见肘,而Jen 阅读全文

posted @ 2020-11-06 18:58 ExplorerMan 阅读(516) 评论(0) 推荐(0)

持续集成高级篇之Jenkins参数化构建(二)
摘要:上一节我们讲解了如何使用bat脚本或者powershell脚本自身的机制来达到参数化构建的目的,这在一定程序上增加了灵活性,然而缺点也相当明显:它只能适应一些相对比较固定的参数传入(比如像上一节讲到的,构建的环境分为(development和production)两种情况,对于一些相对较复杂的情况以 阅读全文

posted @ 2020-11-06 18:52 ExplorerMan 阅读(424) 评论(0) 推荐(0)

持续集成高级篇之Jenkins脚本参数化构建
摘要:系列目录 本系列已经很久没有更新了,接前面基础篇,本系统主要介绍jenkins构建里的一些高级特性.包括脚本参数化,Jenkins Pipeline与及在PipeLine模式下如何执行常见的传统构建任务(这里指jenkins自由风格构建模式),jenkins cli,jenkins ssh,jenk 阅读全文

posted @ 2020-11-06 18:44 ExplorerMan 阅读(481) 评论(0) 推荐(0)

Jenkins结合.net平台工具之Msbuild
摘要:前面我们讲解了关于Jenkins的一些基本知识,通过这些知识我们可以结合一些其它工具实现更为复杂的任务,本篇我们将介绍如何使用msbuild工具结合Jenkins实现构建一个.net控制台框. 首先我们打开visual studio创建一个控制台程序,叫作ConsoleBuildTest,如下图示 阅读全文

posted @ 2020-11-06 18:27 ExplorerMan 阅读(395) 评论(0) 推荐(0)

Jenkins入门之执行定时任务
摘要:通过前面我们讲解了如何通过Jenkins执行windows command,powershell脚本,此时我们便可以开始完成一些简单任务了,然而可能看到我们都是通过手动按下Build Now按钮来执行任务构建的,有些时候我们可能需要定时执行一些脚本,Jenkins也是支持的,下面就讲一下如何使用Je 阅读全文

posted @ 2020-11-06 18:25 ExplorerMan 阅读(354) 评论(0) 推荐(0)

Jenkins入门之执行Powershell脚本
摘要:之前章节提到过powershell,如果需要构建复杂的任务时,使用cmd不是很方便(也可能是由于笔者不太熟悉cmd命令,这里见笑了),这时候powershell就派上用场了,这里并不详细介绍powershell脚本,如果有需要以后另开章节讲解powershell基本命令,powershell面向对象 阅读全文

posted @ 2020-11-06 18:23 ExplorerMan 阅读(465) 评论(0) 推荐(0)

Jenkins入门之新建任务
摘要:简单了解了Jenkins界面之后,下面我们简单介绍一下如何使用jenkins创建一个任务.打开Jenkins web管理界面之后,点击左侧最上方的NewItem图标 便会进入如下界面 产生要输入一个构建项目名称,否则将无法创建项目,输入项目名称后,下面jenkins提供了多种项目模板,比如自由式项目 阅读全文

posted @ 2020-11-06 18:20 ExplorerMan 阅读(511) 评论(0) 推荐(0)

Redis主体流程分析
摘要:转自:七把刀 https://www.jianshu.com/p/427cf97d7951 网上分析Redis源码的文章挺多,如黄健宏的《Redis设计与实现》就很详尽的分析了redis源码,很赞。前不久看到Paul Smith的较早年份的大作《Redis:under the hood》,受益匪浅, 阅读全文

posted @ 2020-11-06 11:58 ExplorerMan 阅读(224) 评论(0) 推荐(0)

【ELK】Centos7 安装 ELK 7.6.2 和 UI 管理界面以及测试例子
摘要:1. 初始化环境 1.0 初始化环境官网参考 https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html 1.1 架构 主机 iphostname安装的服务 192.168.110.245 no 阅读全文

posted @ 2020-11-06 11:56 ExplorerMan 阅读(296) 评论(0) 推荐(0)

Ceph剖析:Paxos算法实现
摘要:作者:吴香伟 发表于 2014/10/8版权声明:可以任意转载,转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 Recovery阶段 在Leader选举成功后,Leader和Peon都进入Recovery阶段。该阶段的目的是为了保证新Quorum的所有成员状态一致,这些状态包括:最后一 阅读全文

posted @ 2020-11-06 11:54 ExplorerMan 阅读(207) 评论(0) 推荐(0)

Linux命令小结:crontab/netstat/iostat/sar
摘要:crontab cron可以设定在指定的时间运行任务。 1、查看定时任务 [root@client1 ~]# crontab -l -u root */1 * * * * date >> /root/1.txt [root@client1 ~]# cat /var/spool/cron/root * 阅读全文

posted @ 2020-11-06 11:52 ExplorerMan 阅读(231) 评论(0) 推荐(0)

Ceph剖析:数据分布之CRUSH算法与一致性Hash
摘要:作者:吴香伟 发表于 2014/09/05版权声明:可以任意转载,转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素: 故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险; 负载均衡。数据能够均匀 阅读全文

posted @ 2020-11-06 11:51 ExplorerMan 阅读(73) 评论(0) 推荐(0)

Prometheus监控+Grafana+Alertmanager告警安装使用 (图文详解)
摘要:一:前言# 一个服务上线了后,你想知道这个服务是否可用,需要监控。假如线上出故障了,你要先于顾客感知错误,你需要监控。还有对数据库,服务器的监控,等等各层面的监控。近年来,微服务架构的流行,服务数越来越多,监控指标变得越来越多,所以监控也变得越来越复杂,需要新的监控系统适应这种变化。 以前我们用za 阅读全文

posted @ 2020-11-06 11:47 ExplorerMan 阅读(887) 评论(0) 推荐(0)

Go语言mgo使用情况
摘要:本文重点介绍mgo使用,仅简单介绍mongodb。 mongodb特性 mongdb简单介绍 注意: 上图已经告知我们mongo不支持事务,在开发项目应用时,想要保证数据的完整性请考虑关系型数据库(经典例子银行转账)。 mongo提供了许多原子操作,比如文档的保存,修改,删除等,都是原子操作。所谓原 阅读全文

posted @ 2020-11-06 11:39 ExplorerMan 阅读(560) 评论(0) 推荐(0)

gob,protobuf,json在golang中的序列化效率对比
摘要:先上代码: looptimes:=10000 u:=User{66,"nxin","beijing"} gobbegintimestamp:=strconv.FormatInt(time.Now().UTC().UnixNano(), 10) gobbeginint,_:=strconv.Atoi( 阅读全文

posted @ 2020-11-05 18:38 ExplorerMan 阅读(1114) 评论(0) 推荐(0)

golang json性能分析详解
摘要:原文地址:https://www.jb51.net/article/135264.htm json格式可以算我们日常最常用的序列化格式之一了,Go语言作为一个由Google开发,号称互联网的C语言的语言,自然也对JSON格式支持很好。下面这篇文章主要给大家详细分析介绍了golang json性能的相 阅读全文

posted @ 2020-11-05 18:36 ExplorerMan 阅读(818) 评论(0) 推荐(0)

msgpack和protobuf的对比
摘要:msgpack和protobuf的对比 msgpack的序列化速度比protobuf要快一些,但反序列化要比protobuf要慢一些,但总体都接近msgpack可以直接序列化类对象,但protobuf需要先写描述映射文件(.proto)msgpack支持的基本类型比protobuf支持的要全面些pr 阅读全文

posted @ 2020-11-05 15:33 ExplorerMan 阅读(2651) 评论(0) 推荐(0)

mongodb系列(一)mongoose find普通查询与aggregate聚合查询的 简单性能对比
摘要:背景 mongodb 3.4,使用默认的配置(没有调整内存限制或其他性能配置),数据库有90万+条数据 开始实验 以下分别使用 find 查询 和 aggregate 聚合查询 以下为dao层(server/dao/cmsResourceDao.js),基于mongoose查询mongodb get 阅读全文

posted @ 2020-11-04 17:25 ExplorerMan 阅读(1791) 评论(0) 推荐(0)

mongodb系列(二)使用复合索引中要注意字段的前后
摘要:背景 预先创建了一个复合索引,分别以 updated_at 和 size 两个字段作为索引依据,其中该collection有94万+个document db.cms_resources.createIndex({updated_at:-1,size:-1},{name:'index_updated_ 阅读全文

posted @ 2020-11-04 17:22 ExplorerMan 阅读(482) 评论(0) 推荐(0)

MongoDB 创建基础索引、组合索引、唯一索引以及优化
摘要:一、索引 MongoDB 提供了多样性的索引支持,索引信息被保存在system.indexes 中,且默认总是为_id创建索引,它的索引使用基本和MySQL 等关系型数据库一样。其实可以这样说说,索引是凌驾于数据存储系统之上的另一层系统,所以各种结构迥异的存储都有相同或相似的索引实现及使用接口并不足 阅读全文

posted @ 2020-11-04 17:21 ExplorerMan 阅读(718) 评论(0) 推荐(1)

哈希算法的一些理论
摘要:一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用。 一致性hash算法提出了 阅读全文

posted @ 2020-11-04 11:40 ExplorerMan 阅读(116) 评论(0) 推荐(0)

导航