摘要: 一. 概述 我们在 k8s 中使用 ConfigMap 作为配置文件的时候会遇到一个问题:修改 ConfigMap 后无法实现热部署,也就是更改了 ConfigMap 配置文件后需要手动重启 Pod 配置才会生效,为了处理这个问题 github 专门有个开源的项目 Reloader 来解决这个问题, 阅读全文
posted @ 2022-02-17 14:11 blogwd 阅读(435) 评论(0) 推荐(0) 编辑
摘要: 一. 概述 在上一篇【爬虫】将scrapy部署到k8s文章中提到在自定义 spiderkeeper 镜像时报错,所以自己基于它的源码提交了一个叫做 spiderkeeper-new 的 python 包到 pypi 官网,本文将记录一下整个构建过程,希望对有同样需求的小伙伴提供一些帮助。 二. 上传 阅读全文
posted @ 2022-01-14 11:14 blogwd 阅读(222) 评论(0) 推荐(0) 编辑
摘要: 一. 概述 因为学习了 docker 和 k8s ,不管什么项目都想使用容器化部署😬,一个最主要的原因是,使用容器化部署是真的方便😎。上一篇文章 【爬虫】从零开始使用 Scrapy 介绍了如何使用 scrapy,如果需要启动或者定时运行 scrapy 项目可以部署如下两个组件: scrapyd: 阅读全文
posted @ 2022-01-12 15:27 blogwd 阅读(665) 评论(2) 推荐(0) 编辑
摘要: 一. 概述 最近有一个爬虫相关的需求,需要使用 scrapy 框架来爬取数据,所以学习了一下这个非常强大的爬虫框架,这里将自己的学习过程记录下来,希望对有同样需求的小伙伴提供一些帮助。 本文主要从下面几个方面进行介绍: 我的学习过程 需求分析 搭建项目 编写代码实现需求 部署爬虫项目到 Spider 阅读全文
posted @ 2022-01-09 10:51 blogwd 阅读(454) 评论(0) 推荐(0) 编辑
摘要: 今天是 2021 年的最后一天,周围的同事到点差不多都下班回家了,现在只剩下我一个人坐在工位上写下这些文字。这也算是我的第一篇年终总结,以前没有写总结的习惯,主要是自己不擅长写文章,还有感觉自己的生活很平淡,没有什么值得写的东西,看了很多其他人写的年终总结,发现他们的生活怎么那么精彩,有那么多的东西 阅读全文
posted @ 2021-12-31 23:17 blogwd 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 一. 概述 基于 vite 和 webpack 5,构建、安装、切换博客园皮肤 源码地址:https://gitee.com/guangzan/awescnb 经常浏览博客园,看到别人的博客非常酷炫,所以也想定义一个酷炫的页面,但是发现自己的前端 css 水平太差,只会修改博客园的字体大小和颜色,百 阅读全文
posted @ 2021-12-03 19:49 blogwd 阅读(112) 评论(4) 推荐(0) 编辑
摘要: python实现掘金定时签到抽奖 一. 概述 这里记录一下使用 python 实现掘金定时签到抽奖。首先需要登录掘金,进入签到页面,按 F12 打开浏览器的调试面板,选择 Network,选择 XHR,然后按 F5 刷新页面,找到 check_in_rules 这个请求,获取签到请求接口的参数就可以 阅读全文
posted @ 2021-11-17 19:17 blogwd 阅读(196) 评论(1) 推荐(0) 编辑
摘要: k8s中的nginx-ingress如何配置路径重定向 一. 需求描述 路径重定向的一般应用场景: 调整用户浏览的URL,看起来更规范 为了让搜索引擎收录网站内容,让用户体验更好 网站更换新域名后 根据特殊的变量、目录、客户端信息进行跳转 我这里遇到的问题是,以前的很多服务路径配置不规范,有的服务使 阅读全文
posted @ 2021-11-17 11:30 blogwd 阅读(5297) 评论(1) 推荐(0) 编辑
摘要: 【golang学习记录】环境搭建 一. 概述 本文是【golang学习记录】系列文章的第一篇,安装Go语言及搭建Go语言开发环境,接下来将详细记录自己学习 go 语言的过程,一方面是为了巩固自己学到的内容,另一方面希望对有同样需求的小伙伴提供一些帮助。 二. 下载并安装 Go Go官网下载地址(在国 阅读全文
posted @ 2021-11-16 17:49 blogwd 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 一. 概述 写本文的目的是我在写 python 项目的时候需要记录日志,我忘记怎么处理了,每次都需要去网上查一遍,好记性不如烂笔头, 这里把查阅的内容记录下来,方便以后查找。 python 项目中记录日志,可以使用 logging 模块,logging 模块定义的函数和类为应用程序和库的开发实现了一 阅读全文
posted @ 2021-11-10 19:38 blogwd 阅读(885) 评论(0) 推荐(0) 编辑