随笔分类 - python 运维开发
摘要：一、概述 获取北京周边城区的天气数据，链接如下：http://www.weather.com.cn/weather1d/101010100.shtml#input 最终需要得到以下数据： [ {'location': '香河', 'high': '36', 'low': '23°C'}, ... ]
阅读全文
摘要：一、概述 现有2个列表 keys = ['name', 'age', 'food'] values = ['Monty', 42, 'spam'] 需要将转换为字典，结果如下： a_dict = {'name' : 'Monty', 'age' : 42, 'food' : 'spam'} 那么最简
阅读全文
摘要：一、概述 Automagica 是一个开源智能机器人流程自动化（SRPA，Smart Robotic Process Automation）平台，借助 Automagica 的python 函数库，可以通过简单程序脚本实现打开各种应用程序并对应用进行操作的功能，使自动化跨平台流程变得轻而易举。 环境
阅读全文
摘要：一、概述 目标url https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=123 注意：123是搜索关键字。这不是重点，因为必须要搜索，才能在网页右侧出现百度热搜。 需求 提取标题，链接，点击量。 环境说明 pyth
阅读全文
摘要：一、概述 官方dockerhub上面的prometheus，下载命令如下： docker pull prom/prometheus 发现它的时区为：UTC，我需要更改为CST，也就是中国上海时区。 发现修改变量TZ=Asia/Shanghai，修改/etc/localtime 文件都无法修改时区，均
阅读全文
摘要：一、概述 Jenkins 的前身是 Hudson 是一个可扩展的持续集成引擎。Jenkins 是一款开源 CI&CD 软件，用于自动化各种任务，包括构建、测试和部署软件。Jenkins 支持各种运行方式，可通过系统包、Docker 或者通过一个独立的 Java 程序。 二、安装 环境说明 操作系统：
阅读全文
摘要：一、概述 原gitlab 操作系统：centos 6.9 版本：GitLab 社区版 10.5.1 安装方式：yum 新gitlab 操作系统：centos 7.6 版本：GitLab Community Edition 13.2.0 安装方式：docker 现在需要将部分老的gitlab项目，迁移
阅读全文
摘要：一、概述 GitLab是一个利用 Ruby on Rails 开发的开源应用程序，实现一个自托管的Git项目仓库，可通过Web界面进行访问公开的或者私人项目。 它拥有与Github类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。它
阅读全文
摘要：一、概述 有一个用户表，models.py内容如下： from django.db import models # Create your models here. class User(models.Model): #用户名表 username = models.CharField(max_len
阅读全文
摘要：一、概述 最近部署kubesphere时，使用kubectl delete -f xxx.yaml，再次执行 kubectl apply -f xxx.yaml，提示： Error from server (Forbidden): error when creating "kubesphere-co
阅读全文
摘要：一、概述 官方中文文档：https://kubesphere.io/docs/zh-CN/introduction/what-is-kubesphere/ KubeSphere 是什么 KubeSphere 是在 Kubernetes 之上构建的以应用为中心的企业级分布式容器平台，提供简单易用的操作
阅读全文
摘要：一、概述 kubernetes Api python client 相关内容信息 Github地址：https://github.com/kubernetes-client/python/blob/master/kubernetes/README.md 目前公司才用的镜像更新的方式为，jenkins
阅读全文
摘要：一、概述 Minio支持集成prometheus，用以监控CPU、硬盘、网络等数据。 二、修改docker-compose.yaml 官方的给docker-compose.yaml，默认是不能访问metric数据的。 这里配置用是"public"类型，无身份认证。 需要在docker-compose
阅读全文
摘要：一、概述 Minio 是一个基于Go语言的对象存储服务。它实现了大部分亚马逊S3云存储服务接口，可以看做是是S3的开源版本，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。区别于分布式存储系统，mini
阅读全文
摘要：一、概述 引言 当接口开发完成，紧接着需要编写接口文档。传统的接口文档使用Word编写，or一些接口文档管理平台进行编写，但此类接口文档维护更新比较麻烦，每次接口有变更，需要手动修改接口文档。为了改善这种情况，推荐使用Swagger来管理接口文档，实现接口文档的自动更新。 简介 Swagger：是一
阅读全文
摘要：一、概述 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供
阅读全文
摘要：一、概述 Cassandra是一个NoSQL数据库，具有类SQL CQL入口，基本语法与SQL保持一致。其实笔者认为 Cassandra的自带的cqlsh已经满足本的需求：如： 但是用习惯了数据库操作管理工具的同学还是希望可视化的界面。 本文以上一篇《基于Docker创建Cassandra集群》为例
阅读全文
摘要：一、概述 简介 Cassandra是一个开源分布式NoSQL数据库系统。 它最初由Facebook开发，用于储存收件箱等简单格式数据，集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身。Facebook于2008将 Cassandra 开源，此后，由于Cas
阅读全文
摘要：一、概述 Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用
阅读全文
摘要：一、概述 hadoop是什么 Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Had
阅读全文