SRE运维充电站

2021年5月16日

摘要： Ps 参考博文 : https://www.cnblogs.com/centos-python/articles/10886525.html 一、Pod资源调度 1.1、Pod资源调度介绍 API Server 在接受客户端提交的Pod对象创建请求后，然后是通过调度器（kube-schedule）从阅读全文

posted @ 2021-05-16 20:15 SRE运维充电站阅读(300) 评论(0) 推荐(0) 编辑

24-K8S Basic-二进制部署K8S

摘要： (24-K8S Basic-二进制部署K8S) 一、k8s高可用集群架构图二、二进制高可用基本配置 2.1、主机信息（我的环境） 172.17.64.138 binary-k8s-master.com 172.17.64.139 binary-k8s-node1.com 172.17.64.137 阅读全文

posted @ 2021-05-16 20:00 SRE运维充电站阅读(167) 评论(0) 推荐(0) 编辑

25-K8S Basic-HPA控制器

摘要： Ps 参考博文：https://pdf.us/2019/04/17/3267.html 一、HPA自动弹性缩放介绍自动弹性伸缩工具 Auto Scaling: HPA，Horizontal Pod Autoscaler，两个版本，HPA仅支持CPU指标；HPAv2支持资源指标API和自定义指标A 阅读全文

posted @ 2021-05-16 19:59 SRE运维充电站阅读(99) 评论(0) 推荐(0) 编辑

2021年5月9日

异步爬虫-协程概念、协程相关操作（单线程+异步协程）

摘要：一、异步爬虫的方式梳理 1、多线程，多进程（不推荐）好处：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行；弊端：无法无限制的开启多线程或者多进程； 2、线程池、进程池（适当使用）好处：可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销；弊端：池阅读全文

posted @ 2021-05-09 17:41 SRE运维充电站阅读(208) 评论(0) 推荐(0) 编辑

异步爬虫-线程池方式对梨视频的视频数据爬取

摘要：一、需求分析需求：爬取梨视频的视频的视频数据分析： 1、对生活分类的数据进行发起请求：https://www.pearvideo.com/category_5 2、解析出视频详情页面的url和视频的名称二、梨视频的视频数据爬取编码 # 原则：线程池处理的是阻塞并且比较耗时的操作 #爬取梨视阅读全文

posted @ 2021-05-09 17:24 SRE运维充电站阅读(155) 评论(0) 推荐(0) 编辑

异步爬虫-异步爬虫（单线程串行、多线程&多进程、进程池或者线程池）

摘要：一、单线程串行方式爬取单线程下使用串行方式请求发送，获取请求相应方式： import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 阅读全文

posted @ 2021-05-09 13:47 SRE运维充电站阅读(202) 评论(0) 推荐(0) 编辑

爬虫代理-代理在爬虫中的应用

摘要：一、爬虫代理理论网络代理的作用：一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。什么是代理阅读全文

posted @ 2021-05-09 12:41 SRE运维充电站阅读(223) 评论(0) 推荐(0) 编辑

2021年5月7日

requests高级之人人网进行模拟登陆

摘要：一、引出模拟登陆需求什么场景需要使用爬虫程序进行模拟登陆需求呢？经常爬取的内容是基于某些用户的用户信息，这些用户信息是需要进行登陆后才会跳转到用户信息当中的；我们需要使用requests模块进行模拟登陆，登录后才可以进行对用户信息爬取；所以接下来会对人人网进行模拟登陆，那么和此前的验证阅读全文

posted @ 2021-05-07 22:40 SRE运维充电站阅读(690) 评论(1) 推荐(0) 编辑

Storage-Minio的原理和K8S部署

摘要：一、OSS简介 1.1、Object Storage Service 何为对象存储？我们来看下阿里云 OSS （Object Storage Service）的介绍：https://link.zhihu.com/?target=https%3A//helpcdn.aliyun.com/product 阅读全文

posted @ 2021-05-07 17:25 SRE运维充电站阅读(3862) 评论(0) 推荐(1) 编辑

2021年5月6日

Monitoring-K8s事件监控kube-eventer

摘要：一、背景监控是保障系统稳定性的重要组成部分，在Kubernetes开源生态中，资源类的监控工具与组件监控百花齐放。 cAdvisor：kubelet内置的cAdvisor，监控容器资源，如容器cpu、内存； Kube-state-metrics：kube-state-metrics通过监听 API 阅读全文

posted @ 2021-05-06 16:50 SRE运维充电站阅读(2473) 评论(15) 推荐(1) 编辑

SRE运维充电站

公告