摘要：
1. Scrapy：是一个基于Twisted的异步IO框架，有了这个框架，我们就不需要等待当前URL抓取完毕之后在进行下一个URL的抓取，抓取效率可以提高很多。 2. Scrapy-redis：虽然Scrapy框架是异步加多线程的，但是我们只能在一台主机上运行，爬取效率还是有限的，Scrapy-re 阅读全文
摘要：
方法一：同步操作 1.pipelines.py文件（处理数据的python文件） import pymysql class LvyouPipeline(object): def __init__(self): # connection database self.connect = pymysql. 阅读全文
摘要：
远程服务端Scrapyd先要开启 远程服务器必须装有scapyd,并开启。 这里远程服务开启的端口和ip: 192.166.12.80:6800 客户端配置和上传 先修爬虫项目文件scrapy.cfg:如下图 cd 到爬虫项目文件夹下，后执行： scrapyd-deploy # 上传 scrapyd 阅读全文
摘要：
1.创建虚拟环境 ，虚拟环境名为sd mkvirtualenv sd #方便管理 2. 安装 scrapyd pip3 install scrapyd 3. 配置 mkdir /etc/scrapyd vim /etc/scrapyd/scrapyd.conf 写入一下配置 参考官网：https:/ 阅读全文
摘要：
1下载： pip install gerapy 2. 在D盘中新建一个文件夹，该然后cd 到该文件夹中，执行： gerapy init # 初始化，可以在任意路径下进行 cd gerapy # 初始化后，在该目录下有一个gerapy文件夹 gerapy migrate # 数据迁移初始命令 3. 启 阅读全文