随笔分类 -  Scrapy

scrapy 项目实战（一）----爬取雅昌艺术网数据
摘要：第一步：创建scrapy项目： 第二步：创建一个爬虫 第三步：项目结构： 第四部：依次粘贴处各个文件的代码： 1. demo.py 文件验证码 2. items.py 文件 3. pipelines.py 4. setting.py 5. 爬虫数据库表格： 6.数据展示 阅读全文
posted @ 2017-07-29 10:40 淋哥 阅读(649) 评论(0) 推荐(0) 编辑
解决 scrapy 爬虫出现Forbidden by robots.txt
摘要：我们在爬取网站的时候，scrapy 默认的是遵循 robots.txt 协议，怎么破解这个文件 操作很简单，找到setting 文件 直接改成 阅读全文
posted @ 2017-07-27 21:08 淋哥 阅读(1762) 评论(0) 推荐(0) 编辑
scrapy添加 请求头
摘要：直接在 setting 文件中添加 阅读全文
posted @ 2017-07-27 21:08 淋哥 阅读(1259) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示