摘要：
BeautifulSoup是Python的一个HTML或XML的解析库，可以用它来方便地从网页提取数据（以下为崔庆才的爬虫书的学习笔记） 一. 安装方式 二. 基本语法 1. 节点选择器：基本用法 假如想要获取上述html中的title节点及其文本内容，请看以下语法： 引入并初始化beautiful 阅读全文
摘要：
报错代码： 报错原因：用urllib.request.urlopen方式打开一个URL，服务器只会收到一个单纯的对于该页面访问的请求，但是服务器并不知道发送这个请求使用的浏览器，操作系统等信息，而缺失这些信息的访问往往都是非正常访问，会被一些网站禁止掉 解决办法：在headers中加入UserAge 阅读全文
摘要：
windows上pip install scrapyd-client，发现出错了： 后来百度，找了一篇文章，需要在python的Scripts目录下增加scrapyd-deploy.bat文件（bat文件python.exe和scrapyd-deploy的绝对路径因人而异） 再次运行，发现就可以了 阅读全文
摘要：
崔庆才的爬虫书上写道：pip install scrapyd安装完毕之后，需要新建一个配置文件/etc/scrapyd/scrapyd.conf，scrapyd在运行的时候会读取此配置文件 这是针对于Linux来说，但没有提到windows要不要新建。于是，我用Everything搜索了一下关键字s 阅读全文
摘要：
docker toolbox是一个docker组件的集合，还包括一个极小的虚拟机，在windows宿主机上安装了一个支持命令行工具，并提供了一个docker环境 docker toolbox自带了很多组件，包括： virtualbox; docker客户端； docker compose； Kite 阅读全文
摘要：
接着上一篇，本来以为pyspider装成功了，后来失业pyspider all验证时，发现又报错了： 原因是从python 3.7开始async和await已经加入保留的关键字中，所以async不能最为函数的参数名 使用Notepad++将run.py中的async统一改为async1，重新运行py 阅读全文
摘要：
使用pip install pyspider时，报错： 这是pycurl安装错误，需要安装pycurl库。从https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的python版本，通过pip install whl文件即可。成功后，再次pip 阅读全文
摘要：
pip install tesserocr pillow时，提示： 按照给的提示，进到微软官网，啥都没有，pip的安装报错提示是时候更新一波了~ 在网上找Microsoft Visual C++的资料，十分稀少，只能采用wheel安装编译后的压缩包。whl文件本质上是一个压缩包，里面包含了py文件以 阅读全文
摘要：
安装firefox驱动geckodriver不用像chrome驱动一样找对应版本号，直接去github上下载最新的releases版本即可，按照崔庆才《Python3网络爬虫开发实战》来装，发现验证环节，在cmd中输入geckodriver，应该输出一些信息，类似于这样的： 实际上，可能由于我的驱动 阅读全文
摘要：
在jenkins新建工程，配置源码管理时，发现输入gitlab的Repository URL，总会抛出一个错误： 后来在网上各种百度，终于找到了一篇比较靠谱的文章，顺着文章的提示，去Manage Jenkins—Global Tool Configuration里面查看 发现找不到git.exe，因 阅读全文