08 2020 档案
摘要：一、概述 使用ELK收集nginx access日志，利用Grafana做出一套可视化图表，效果图如下： https://ae01.alicdn.com/kf/H1f4fb17500f244859f10ee0702b4d701q.png 二、环境准备 环境说明 操作系统：centos 7.6 doc
阅读全文
摘要：一、概述 使用 helm 安装 Prometheus Operator。使用 helm 安装后，会在 Kubernetes 集群中创建、配置和管理 Prometheus 集群，chart 中包含多种组件： prometheus-operator prometheus alertmanager nod
阅读全文
摘要：一、概述 高可用性 Elasticsearch 作为一个搜索引擎，我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步我们需要保证的就是 Elasticsearch 的高可用性，什么是高可用性呢？它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提
阅读全文
摘要：一、概述 filebeat和beats的关系 首先filebeat是Beats中的一员。 Beats在是一个轻量级日志采集器，其实Beats家族有6个成员，早期的ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比Logstash，Beats
阅读全文
摘要：一、概述 Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。 环境说明 操作系统：centos 7.6 docker版本：19.03.12 ip地址：192
阅读全文
摘要：一、概述 需要使用docker 安装Logstash，来收集文件/var/log/messages 环境说明 操作系统：centos 7.6 docker版本：19.03.12 ip地址：192.168.31.196 二、安装 下载镜像 docker pull logstash:7.5.1 启动lo
阅读全文
摘要：一、概述 需要在服务器中部署elasticsearch和head插件 环境说明 操作系统：centos 7.6 docker版本：19.03.12 ip地址：192.168.31.190 二、安装 下载镜像 docker pull elasticsearch:7.5.1 docker pull mo
阅读全文
摘要：一、概述 最近在数据分析，需要判断当前时间是否为上班时间：9:00~18:00 二、代码实现 import datetime # 范围时间 d_time = datetime.datetime.strptime(str(datetime.datetime.now().date()) + '9:00'
阅读全文
摘要：一、概述 简介 skywalking是一个开放源码的，用于收集、分析，聚合，可视化来自于不同服务和本地基础服务的数据的可观察的平台，skywalking提供了一个简单的方法来让你对你的分布式系统甚至是跨云的服务有清晰的了解。它更像是一个现代的系统性能管理，特别为分布式系统而设计。 功能 skywal
阅读全文
摘要：一、接口 基金实时信息：http://fundgz.1234567.com.cn/js/001186.js?rt=1463558676006 001186为基金代号 返回值：jsonpgz({"fundcode":"001186","name":"富国文体健康股票","jzrq":"2016-05-
阅读全文
摘要：一、概述 最近在做数据分析，需要判断一个日期是否为工作日，节假日。 找到一个现成的插件，蛮好用的。 插件介绍 https://pypi.org/project/chinesecalendar/ 判断某年某月某一天是不是工作日/节假日。 支持 2004年 至 2020年，包括 2020年 的春节延长。
阅读全文
摘要：一、概述 业务有一个需求，需要根据日期，判断周几。 二、代码 当前日期 import datetime today = datetime.datetime.now().weekday() + 1 print(today) 执行输出：5 指定日期 import datetime week = date
阅读全文
摘要：一、概述 DNSmasq是一个小巧且方便地用于配置DNS和DHCP的工具，适用于小型网络，它提供了DNS功能和可选择的DHCP功能。它服务那些只在本地适用的域名，这些域名是不会在全球的DNS服务器中出现的。DHCP服务器和DNS服务器结合，并且允许DHCP分配的地址能在DNS中正常解析，而这些DHC
阅读全文
摘要：一、概述 现有环境的jenkins是在docker里面运行的，需要执行docker相关命令才行。 关于基于docker搭建jenkins，请参考链接： https://www.cnblogs.com/xiao987334176/p/13373198.html jenkins镜像里面的操作系统为：De
阅读全文
摘要：一、概述 使用automagica 调用迅雷，批量下载美剧。这里以《老友记第一季》为例。 网站链接如下： https://www.9tata.com/content/14371.html 使用xpath获取下载链接，规格如下： /html/body/section/div/div/div/artic
阅读全文
摘要：一、概述 automagica 官方文档：https://automagica.readthedocs.io/get_started.html 需求： 1. 使用automagica 调用windows画图软件，画一个字母a 2. 调用qq.exe程序，登录qq。 windows的画图软件，路径为：
阅读全文
摘要：一、概述 由于百度页面经常更新，因此页面元素，比如class和id会做更新。因此网上大多数文章，直接拿来用，是无法实现登录的。 二、完整代码 # ！/usr/bin/python3 # -*- coding: utf-8 -*- from selenium import webdriver from
阅读全文
摘要：一、概述 获取北京周边城区的天气数据，链接如下：http://www.weather.com.cn/weather1d/101010100.shtml#input 最终需要得到以下数据： [ {'location': '香河', 'high': '36', 'low': '23°C'}, ... ]
阅读全文
摘要：一、概述 现有2个列表 keys = ['name', 'age', 'food'] values = ['Monty', 42, 'spam'] 需要将转换为字典，结果如下： a_dict = {'name' : 'Monty', 'age' : 42, 'food' : 'spam'} 那么最简
阅读全文