随笔分类 - python 运维开发
摘要：一、介绍 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。下面介绍了利用Python API接口进行数据查询，方便其他系统的调用。 安装API 建立es连接 无用户名密码状态 默认的超时时间是10秒，如果数据量
阅读全文
摘要：一、简介 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafk
阅读全文
摘要：一、Kafka 拓扑结构 一个典型的Kafka 集群中包含若干Producer（可以是web 前端产生的Page View，或者是服务器日志，系统 CPU、Memory 等）， 若干broker（Kafka 支持水平扩展，一般broker 数量越多，集群吞吐率越高）， 若干Consumer Grou
阅读全文
摘要：一、Zookeeper原理简介 ZooKeeper是一个开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。 Zookeeper设计目的 最终一致性：client不论连接到那个Server，展示给它的都是同一个视图。 可靠性：具有简单
阅读全文
摘要：一、场景 线上已经有kafka集群，服务运行稳定。但是因为产品升级，需要对kakfa做安全测试，也就是权限验证。 但是增加权限验证，会不会对性能有影响呢？影响大吗？不知道呀！ 因此，本文就此来做一下对比！ 测试环境 本文使用的是单机kafka测试，仅在一台服务器做测试。 使用的kafka版本为kaf
阅读全文
摘要：一、测试目的 本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据10w、100w和1000w级别的消息处理结果，评估Kafka的处理性能是否满足项目需求。（该项目期望Kafka能够处理上亿级别的MQ消息） 二、
阅读全文
摘要：一、安装filebeat 简介 Beats 是安装在服务器上的数据中转代理。 Beats 可以将数据直接传输到 Elasticsearch 或传输到 Logstash 。 Beats 有多种类型，可以根据实际应用需要选择合适的类型。 常用的类型有： Packetbeat：网络数据包分析器，提供有关您
阅读全文
摘要：一、概述 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafk
阅读全文
摘要：一、YAML 基础 YAML是专门用来写配置文件的语言，非常简洁和强大，使用比json更方便。它实质上是一种通用的数据串行化格式。后文会说明定义YAML文件创建Pod和创建Deployment。 YAML语法规则： 大小写敏感 使用缩进表示层级关系 缩进时不允许使用Tal键，只允许使用空格 缩进的空
阅读全文
摘要：一、简介 自0.9.0.0.版本引入Security之后，Kafka一直在完善security的功能。当前Kafka security主要包含3大功能：认证(authentication)、信道加密(encryption)和授权(authorization)。信道加密就是为client到broker
阅读全文
摘要：一、Docker网络基本原理 直观上看，要实现网络通信，机器需要至少一个网络接口（物理接口或虚拟接口）与外界相通，并可以收发数据包；此外，如果不同子网之间要进行通信，需要额外的路由机制。 Docker中的网络接口默认都是虚拟的接口。虚拟接口的最大优势就是转发效率极高。这是因为Linux通过在内核中进
阅读全文
摘要：一、kafka介绍 1.1 主要功能 根据官网的介绍，ApacheKafka®是一个分布式流媒体平台，它主要有3种功能： 1：It lets you publish and subscribe to streams of records.发布和订阅消息流，这个功能类似于消息队列，这也是kafka归类
阅读全文
摘要：一、Zookeeper到底是什么！？ 学一个东西，不搞明白他是什么东西，哪还有心情学啊！！ 首先，Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。 然后看到官网那些专有名词，实在理解不了。 在Zookeeper的官网上有这么一句话：ZooKeeper is
阅读全文
摘要：一、介绍 SMTP是发送邮件的协议，Python内置对SMTP的支持，可以发送纯文本邮件、HTML邮件以及带附件的邮件。 Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件。 二、需求分析 有一个shell脚本，需要有发送邮件的功能。如
阅读全文
摘要：一、需求分析 线上的MySQL服务器，最近有很多慢查询。需要统计出行数大于100万的表，进行统一优化。 需要筛选出符合条件的表，统计到excel中，格式如下： 二、统计表的行数 统计表的行数，有2中方法： 1. 通过查询mysql的information_schema数据库中INFODB_SYS_T
阅读全文
摘要：一、Head插件简介 ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具，可以对集群进行傻瓜式操作。 显示集群的拓扑,并且能够执行索引和节点级别操作 搜索接口能够查询集群中原始json或表格格式的检索数据 能够快速访问并显示集群的状态 有一个输入窗口,允
阅读全文
摘要：一、docx模块 Python可以利用python-docx模块处理word文档，处理方式是面向对象的。也就是说python-docx模块会把word文档，文档中的段落、文本、字体等都看做对象，对对象进行处理就是对word文档的内容处理。 二、相关概念 如果需要读取word文档中的文字（一般来说，程
阅读全文
摘要：一、需求分析 1. 删除前3天的文件 2.如果目录为空，也一并删除掉 如果使用shell脚本，一条命令就搞定了。干啥还要用python？ 1. 因为需要记录一些日志，使用shell不好实现 2. 作为一名python开发，能用python实现，岂不增长你的技术，不是吗？ 二、相关知识点 1. 获取文
阅读全文
摘要：一、应用场景 在公司中，有很多开发，每个人维护的api接口是不一样的。如果有一个统一的api文档管理平台，每个开发，把自己维护的接口录入进去。 之后再开发别的功能时，不需要重复造轮子，直接调用就可以了。有新员工入职时，也可以快速上手！ 关于api文档管理，网上有很多。有在线收费的，也有开源的。基于节
阅读全文
摘要：一、简介 官网地址:https://www.elastic.co/cn/ 官网权威指南:https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南：https://www.elastic.co/guide/e
阅读全文