小明在线

摘要： 1 import pymysql as ps 2 3 # 打开数据库连接 4 db = ps.connect(host='localhost', user='root', password='123456', database='test', charset='utf8') 5 6 # 创建一个游标对象 7 cur = db.cursor() 8 9 a = cur.ex... 阅读全文

摘要： 一、创建Scrapy工程 二、进入工程目录，根据爬虫模板生成爬虫文件 三、设置IP池或用户代理（middlewares.py文件） 四、settngs.py配置 五、定义爬取关注的数据（items.py文件） 六、爬虫文件编写（test.py） 七、管道文件编写（pipelines.py） 八、测试 阅读全文

摘要： middlewares.py settngs.py中添加一下代码（注意根据项目名修改指向，如这里的工程名是“的demo3”） 阅读全文

摘要： 一、middlewares.py源代码： 二、settings.py文件设置，添加下面代码： 三、总结一些需要的东西 1.在引入（有关IP池有关的和关用户代理的）模块是注意这个 "contrib"不能丢了 2.配置下载中间件的连接信息时，注意文件指向，也就是调用类的指向 3.“.”表示这一级目录，" 阅读全文

摘要： 一、创建Scrapy工程 二、进入工程目录，根据爬虫模板生成爬虫文件 三、定义爬取关注的数据（items.py文件） 四、编写爬虫文件 五、设置IP池或用户代理 （1）设置IP池 步骤1：在settings.py文件中添加代理服务器的IP信息，如： 步骤2：创建下载中间文件middlewares.p 阅读全文

摘要： 1.通过命令行创建scrapy工程项目 scrapy startproject (工程名) 2.利用爬虫模板设置爬虫文件 在这个过程中我们可以先利用 scrapy genspider -l(小写的L)命令查看当前的爬虫模板 如：scrapy genspider -t 模板名 爬虫文件名 允许的域名 阅读全文

摘要： 原因是：Twisted版本高了。 解决办法： 只要把Twisted库降级到16.6.0即可： 阅读全文

摘要： 1.解决scrapy fetch http://www.csdn.netModuleNotFoundError No module named 'win32api' Python是没有自带访问windows系统API的库的，需要下载。库的名称叫pywin32，可以从网上直接下载。 以下链接地址可以下 阅读全文

摘要： 安装： pip3 install scrapy==1.1.0rc3 一、.解决scrapy安装错误： 二、具体操作： 1.在http://landinghub.visualstudio.com/visual-cpp-build-tools下载相应的文件 点击下载，并安装即可 2.再次安装 pip3 阅读全文

摘要： 一、调用封装的Url_ProxyHelper类，源码如下 二、爬取源码 三、一点总结 1.关于urllib.request.urlopen("www.x.com").read()是否调用decode("utf-8")。答：一般而言，当我们抓取一个页面需要将该信息存档（如存为x.html文件）时，这个 阅读全文