随笔分类 -  爬虫开发进阶

4----scrapy框架redis和mysql之分布式操作
摘要：准备： 1、.安装scrapy_redis包,打开cmd工具,执行命令 pip install scrapy_redis 2、准备好一个没有BUG，没有报错的爬虫项目 3、准备好 redis主服务器还有跟程序相关的 mysql数据库 前提mysql数据库要打开允许远程连接,因为mysql安装后roo 阅读全文
posted @ 2018-11-12 16:45 王竹笙 阅读(5) 评论(0) 推荐(0) 编辑
3-----Scrapy框架之CrawlSpier操作
摘要：CrawlSpider CrawlSpider 提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于 Scrapy框架中的 Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于 CrawlSpider的自动爬取进行实现（更 阅读全文
posted @ 2018-11-05 09:40 王竹笙 编辑
2----scrapy框架之代理and日志级和请求传参
摘要：一、代理 爬虫文件 daili.py middlewares.py 开启中间件 settings.py557行 scrapy crawl daili --nolog 会保存daili.html 在刘拉你打输入ip显示美国的ip 二、Scrapy的日志等级 在使用scrapy crawl spider 阅读全文
posted @ 2018-11-05 09:20 王竹笙 阅读(222) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示