摘要: 将爬取数据存储在JSON文件里并不难,只需修改pipelines文件 直接看代码: 来看下结果: 中文字符恶心的很 之后我会在后卷中做出修改 阅读全文
posted @ 2018-02-01 21:23 我爱在伊甸园吃苹果 阅读(452) 评论(0) 推荐(0) 编辑
摘要: 之前我们做的数据爬取都是单页的现在我们来讲讲多页的 一般方式有两种目标URL循环抓取 另一种在主页连接上找规律,现在我用的案例网址就是 通过点击下一页的方式获取多页资源 话不多说全在代码里(因为刚才写这篇文章时电脑出现点问题所以没存下来,所以这一版本不会那么详细) 来 看下结果522*35条连接页面 阅读全文
posted @ 2018-02-01 11:40 我爱在伊甸园吃苹果 阅读(8812) 评论(1) 推荐(0) 编辑
摘要: 之前我们都是在终端切入到scrapy的路境内执行爬虫的,你要多敲多少行的字节,所以这次我们谈谈如何在编辑器里执行,这个你可以用在爬虫中,当你使用PYTHONWEB开发时尽量不要在编辑器内启动端口服务那样不容易关闭服务 先来看下我编写的爬虫文件 先来看下结果: 看到了吧不停的切换路径,也同时感到了xp 阅读全文
posted @ 2018-02-01 10:21 我爱在伊甸园吃苹果 阅读(421) 评论(0) 推荐(0) 编辑