摘要：
当使用 Scrapy 进行网络爬取时，HTTP 缓存中间件是一个十分有用的工具，它可以根据HTTP状态来帮助我们保存和重用先前爬取的响应，例如缓存状态为2xx的响应。但有时，我们可能希望基于响应的实际内容来决定是否进行缓存。例如，如果Response正文中包含“请求频繁”、“error_code”这 阅读全文
posted @ 2023-10-12 21:37
seozed
阅读(30)
评论(0)
推荐(0)
摘要：
## 背景 我有一台运行 Linux 的服务器，而我本地的电脑运行的是 Mac 系统。我原本使用的是 Tailscale 来创建局域网，但我计划在此基础上增加 ZeroTier 作为备用的组网方案。 ## 问题的产生 在服务器和本地都成功安装 ZeroTier 并加入网络后，我发现两台设备之间无法实 阅读全文
posted @ 2023-07-21 11:31
seozed
阅读(7958)
评论(0)
推荐(0)
摘要：
最近在使用 Scrapy 和 Scrapyd 时，我遇到了一个关于 subprocess.CalledProcessError 的问题。在这篇博文中，我将描述这个错误、找出的原因以及最后的解决方案。 ## 错误描述 在使用 `scrapyd-deploy` 命令部署我的 Scrapy 项目时，我遇到 阅读全文
posted @ 2023-07-21 11:22
seozed
阅读(852)
评论(0)
推荐(0)
摘要：
最近在搭测试环境，一开始就在vagant和docker之间来回折腾。两者其实都非常适合用来搭开发环境；但最终让我决定用Docker的原因是因为Vagant在hyper-v下出现了一些奇怪的问题，所以Docker就顺理成章的成了最后的选择。 总结了下Docker相比vagant的优势： 1. dock 阅读全文
posted @ 2020-03-10 18:02
seozed
阅读(741)
评论(0)
推荐(0)
摘要：
最近新项目准备启动，在开始前内容、词库这些都需要提前做好准备，所以就有了这篇文章。在开始动手，看了下行业核心词排在首页的站，发现内容都多得不要不要的，各种乱七八糟的频道、页面模板，心想，如果每个网站、每套页面都写一套采集模板的话，那简直要累死。 所以，这次，玩点不一样的。 首先，根据需求，采集一个行 阅读全文
posted @ 2020-01-15 16:26
seozed
阅读(775)
评论(0)
推荐(1)
摘要：
今天在安装wsl的时候，装了几次一直中断，一直提示正在从Windows 应用商店下载，网络无法连接... 每次都是加载到2%就断了。网上搜了一圈，找到以下2种解决办法： 修改DNS把DNS修改为微软的DNS：4.2.2.1和4.2.2.2就可以了https://www.zhihu.com/quest 阅读全文
posted @ 2020-01-15 16:25
seozed
阅读(684)
评论(0)
推荐(0)
摘要：
这几天在用wxpy写机器人，在调用里面的上传文件接口的时候，一直报错。经过排查后，发现是不支持中文文件名；在群里问了下作者后才知道是requests惹的祸，默认requests用的是unicode来处理文件路径的，所以一旦文件名里面包含了汉字，就会出现下面的错误。 An error occurred 阅读全文
posted @ 2020-01-15 16:24
seozed
阅读(419)
评论(0)
推荐(0)
摘要：
搞了台VPS，想要装docker，发现死活装不上，各种报错。之前系统是centos6，发现官方现在已经不支持centos6了，遂升级到centos7，然后还是出现下面这个错误。 Error: Package: docker-engine-1.12.3-1.el7.centos.x86_64 (doc 阅读全文
posted @ 2020-01-15 16:23
seozed
阅读(871)
评论(0)
推荐(0)
摘要：
今天重启squid的时候发现，squid启动后，status 一会就stop了 whoami@blackman:~/script/AutoProxy-master/main/server$ sudo service squid3 start squid3 start/running, process 阅读全文
posted @ 2020-01-15 16:21
seozed
阅读(1096)
评论(0)
推荐(0)
浙公网安备 33010602011771号