11 2018 档案

kafka介绍与搭建(单机版)
摘要：一、kafka介绍 1.1 主要功能 根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类 阅读全文
posted @ 2018-11-29 11:50 肖祥 阅读(4354) 评论(0) 推荐(0) 编辑
Zookeeper原理架构与搭建
摘要：一、Zookeeper到底是什么！？ 学一个东西，不搞明白他是什么东西，哪还有心情学啊！！ 首先，Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。 然后看到官网那些专有名词，实在理解不了。 在Zookeeper的官网上有这么一句话：ZooKeeper is 阅读全文
posted @ 2018-11-28 12:05 肖祥 阅读(1195) 评论(0) 推荐(0) 编辑
Python 发送邮件
摘要：一、介绍 SMTP是发送邮件的协议，Python内置对SMTP的支持，可以发送纯文本邮件、HTML邮件以及带附件的邮件。 Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件。 二、需求分析 有一个shell脚本，需要有发送邮件的功能。如 阅读全文
posted @ 2018-11-27 18:24 肖祥 阅读(966) 评论(0) 推荐(0) 编辑
python 统计MySQL大于100万的表
摘要：一、需求分析 线上的MySQL服务器，最近有很多慢查询。需要统计出行数大于100万的表，进行统一优化。 需要筛选出符合条件的表，统计到excel中，格式如下： 二、统计表的行数 统计表的行数，有2中方法： 1. 通过查询mysql的information_schema数据库中INFODB_SYS_T 阅读全文
posted @ 2018-11-26 17:18 肖祥 阅读(1199) 评论(0) 推荐(0) 编辑
ElasticSearch 6.x head插件安装
摘要：一、Head插件简介 ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具，可以对集群进行傻瓜式操作。 显示集群的拓扑,并且能够执行索引和节点级别操作 搜索接口能够查询集群中原始json或表格格式的检索数据 能够快速访问并显示集群的状态 有一个输入窗口,允 阅读全文
posted @ 2018-11-23 11:26 肖祥 阅读(1592) 评论(0) 推荐(0) 编辑
python_docx制作word文档
摘要：一、docx模块 Python可以利用python-docx模块处理word文档，处理方式是面向对象的。也就是说python-docx模块会把word文档，文档中的段落、文本、字体等都看做对象，对对象进行处理就是对word文档的内容处理。 二、相关概念 如果需要读取word文档中的文字（一般来说，程 阅读全文
posted @ 2018-11-21 16:37 肖祥 阅读(6270) 评论(0) 推荐(1) 编辑
python 删除前3天的文件
摘要：一、需求分析 1. 删除前3天的文件 2.如果目录为空，也一并删除掉 如果使用shell脚本，一条命令就搞定了。干啥还要用python？ 1. 因为需要记录一些日志，使用shell不好实现 2. 作为一名python开发，能用python实现，岂不增长你的技术，不是吗？ 二、相关知识点 1. 获取文 阅读全文
posted @ 2018-11-20 18:32 肖祥 阅读(3959) 评论(2) 推荐(1) 编辑
API文档管理平台
摘要：一、应用场景 在公司中，有很多开发，每个人维护的api接口是不一样的。如果有一个统一的api文档管理平台，每个开发，把自己维护的接口录入进去。 之后再开发别的功能时，不需要重复造轮子，直接调用就可以了。有新员工入职时，也可以快速上手！ 关于api文档管理，网上有很多。有在线收费的，也有开源的。基于节 阅读全文
posted @ 2018-11-19 10:45 肖祥 阅读(3901) 评论(0) 推荐(0) 编辑
Ubuntu 搭建ELK
摘要：一、简介 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/e 阅读全文
posted @ 2018-11-14 14:41 肖祥 阅读(3670) 评论(0) 推荐(0) 编辑
Kubernetes 1.11.2概述和搭建(多节点)
摘要：一、Kubernetes整体概述和架构 Kubernetes是什么 Kubernetes是一个轻便的和可扩展的开源平台，用于管理容器化应用和服务。通过Kubernetes能够进行应用的自动化部署和扩缩容。在Kubernetes中，会将组成应用的容器组合成一个逻辑单元以更易管理和发现。Kubernet 阅读全文
posted @ 2018-11-13 17:01 肖祥 阅读(4017) 评论(0) 推荐(0) 编辑
Ubuntu 搭建docker registry 私有仓库
摘要：一、为什么要搭建 docker 私有仓库 原因有几个： 二、用什么搭建 docker 私有仓库 docker 官方提供了 registry 的镜像，可以使用它来建私有仓库。 三、搭建过程 环境介绍 安装docker 2台服务器，都安装docker 配置阿里云docker加速器 2台服务器都 编辑配置 阅读全文
posted @ 2018-11-12 15:49 肖祥 阅读(4379) 评论(0) 推荐(0) 编辑
Ubuntu 搭建etcd
摘要：一、简介 etcd是一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法，etcd基于Go语言实现。 提供配置共享和服务发现的系统比较多，其中最为大家熟知的是[Zookeeper]（后文简称ZK），而ETCD可以算得上是后起之秀了。在项目实现，一致性协议易理 阅读全文
posted @ 2018-11-11 15:19 肖祥 阅读(7033) 评论(0) 推荐(0) 编辑
python 多线程删除MySQL表
摘要：一、需求分析 在《python 统计MySQL表信息》这篇博客中，链接如下： https://www.cnblogs.com/xiao987334176/p/9901692.html 已经统计出来了一个MySQL服务器的所有表信息，但是还不够，还缺2个列。分别是备注和是否使用 注意：前4列，我用py 阅读全文
posted @ 2018-11-10 17:37 肖祥 阅读(1144) 评论(0) 推荐(0) 编辑
基于Prometheus的Pushgateway实战
摘要：一、Pushgateway 简介 Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是： Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因，导致 Prometheus 无法直接拉取各个 target 数据。 在监控业务数据的时候，需要 阅读全文
posted @ 2018-11-09 11:07 肖祥 阅读(68481) 评论(0) 推荐(6) 编辑
基于docker 搭建Prometheus+Grafana
摘要：一、介绍Prometheus Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社会也十分活跃，他们便将它独立成开源项目，并且有公司来运作。Google SRE的书内也曾提 阅读全文
posted @ 2018-11-08 17:37 肖祥 阅读(80960) 评论(17) 推荐(12) 编辑
基于docker 搭建Elasticsearch6.2.4(centos)
摘要：一、介绍 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索 阅读全文
posted @ 2018-11-07 18:25 肖祥 阅读(2875) 评论(0) 推荐(1) 编辑
Ubuntu CEPH快速安装
摘要：一、CEPH简介 不管你是想为云平台提供Ceph 对象存储和/或 Ceph 块设备，还是想部署一个 Ceph 文件系统或者把 Ceph 作为他用，所有 Ceph 存储集群的部署都始于部署一个个 Ceph 节点、网络和 Ceph 存储集群。 Ceph 存储集群至少需要一个 Ceph Monitor 和 阅读全文
posted @ 2018-11-05 14:39 肖祥 阅读(7104) 评论(0) 推荐(0) 编辑
python 统计MySQL表信息
摘要：一、场景描述 线上有一台MySQL服务器，里面有几十个数据库，每个库有N多表。 现在需要将每个表的信息，统计到excel中，格式如下： 二、需求分析 怎么做呢？ 1. 手动录入(太TM苦逼了，那么多表呀...) 2. 使用Python自动录入(Great) 三、获取相关信息 需要利用的技术点，有2个 阅读全文
posted @ 2018-11-03 18:46 肖祥 阅读(3162) 评论(0) 推荐(1) 编辑