摘要：
一、Mac下iTerm2配置lrzsz功能 1.1、安装iTerm2 iTerm2是Mac OS下的一款终端利器，相对于系统自带的终端软件具有很多更好的功能和扩展。官方地址为https://www.iterm2.com 安装iTerm2主要有下面两种方法： 从官网下载安装包进行安装 下载的是压缩文件 阅读全文
摘要：
1、安装脚本 /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)" 2、卸载脚本 /bin/zsh -c "$(curl -fsSL https://gitee.com/cunka 阅读全文
摘要：
一、本地Harbor搭建 1.1、源码托管地址及安装包下载 源代码托管在github:https://github.com/goharbor/harbor 1.2、docker环境搭建 1.##########################确保时间同步####################### 阅读全文
摘要：
一、Consul基础 1.1、Consul介绍及特性 Consul是一个服务网格（微服务间的 TCP/IP，负责服务之间的网络调用、限流、熔断和监控）解决方案，它是一个一个分布式的，高度可用的系统，而且开发使用都很简便。它提供了一个功能齐全的控制平面，主要特点是：服务发现、健康检查、键值存储、安全服 阅读全文
摘要：
一、The back-end 1.1、ATT #!groovy @Library('jenkinslib@master') _ //build.groovy 封装构建工具 def build = new org.devops.build() //deploy.groovy def deploy = 阅读全文
摘要：
一、环境介绍 研发团队想要使用gitlab+企业邮箱实现开发人员可以注册gitlab和gitlab代码拉取或变动时实现邮件通知功能。 centos 7.5 gitlab版本 - GitLab: 11.6.5 (237bddc) 二、配置gitlab实现发送邮件功能 1.编辑配置文件 ~]# vim 阅读全文
摘要：
一、异步爬虫的方式梳理 1、多线程，多进程（不推荐） 好处 ：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行； 弊端 ：无法无限制的开启多线程或者多进程； 2、线程池、进程池（适当使用） 好处 ：可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销； 弊端 ：池 阅读全文
摘要：
一、需求分析 需求 ：爬取梨视频的视频的视频数据 分析： 1、对生活分类的数据进行发起请求 ：https://www.pearvideo.com/category_5 2、解析出视频详情页面的url和视频的名称 二、梨视频的视频数据爬取编码 # 原则：线程池处理的是阻塞并且比较耗时的操作 #爬取梨视 阅读全文
摘要：
一、单线程串行方式爬取 单线程下使用串行方式请求发送，获取请求相应方式 ： import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, 阅读全文
摘要：
一、爬虫代理理论 网络代理的作用 ： 一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会会禁止这个IP的访问。所以我们需要设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。 什么是代理 阅读全文