随笔分类 -  scrapy框架爬虫

摘要:爬取 http://tech.china.com/articles/ 抓取新闻列表中所有分页的新闻详情,包括标题、正文、时间、来源等信息。 创建项目scrapy startproject China scrapy genspider -t crawl chinatech items.py china 阅读全文
posted @ 2018-06-28 21:35 王琳杰 阅读(375) 评论(0) 推荐(0) 编辑
摘要:创建项目scrapy startproject douyu 编写items.py 创建基础类的爬虫 scrapy genspider douyutupian capi.douyucdn.cn 手机抓包得到API接口,返回JSON格式数据 douyutupian.py 管道文件pipelines.py 阅读全文
posted @ 2018-06-28 19:42 王琳杰 阅读(533) 评论(0) 推荐(0) 编辑
摘要:创建项目 scrapy startproject ithome 创建CrawSpider scrapy genspider -t crawl IT ithome.com items.py it.py pipelines.py 执行 scrapy crawl it 阅读全文
posted @ 2018-06-27 21:56 王琳杰 阅读(218) 评论(0) 推荐(0) 编辑
摘要:创建项目 scrapy startproject shebao items.py 创建CrawSpider,使用模版crawl scrapy genspider -t crawl SB www.bjrbj.gov.cn SB.py pipelines.py 执行 scrapy crawl SB 阅读全文
posted @ 2018-06-26 22:19 王琳杰 阅读(443) 评论(0) 推荐(0) 编辑
摘要:创建项目 items.py zhaopin.py pipelines.py 执行 scrapy crawl zhaopin 阅读全文
posted @ 2018-06-26 01:22 王琳杰 阅读(739) 评论(0) 推荐(0) 编辑
摘要:创建项目scrapy startproject zhihuuser scrapy genspider zhihu zhihu.com items.py zhihu.py pipelines.py 阅读全文
posted @ 2018-06-23 16:38 王琳杰 阅读(275) 评论(0) 推荐(0) 编辑
摘要:爬取豆瓣电影top250movie.douban.com/top250的电影数据,并保存在MongoDB中。 创建项目scrapy startproject douban items.py 创建CrawSpider,使用模版craw scrapy genspider -t craw doubanmo 阅读全文
posted @ 2018-06-23 00:31 王琳杰 阅读(547) 评论(0) 推荐(0) 编辑
摘要:创建项目 scrapy startproject dongguan items.py 创建CrawSpider,使用模版crawl scrapy genspider -t crawl sun wz.sun0769.com sun.py pipelines.py 执行 scrapy crawl sun 阅读全文
posted @ 2018-06-21 22:25 王琳杰 阅读(653) 评论(0) 推荐(0) 编辑
摘要:CrawlSpider不在手动处理url,它会自动匹配到响应文件里的所有符合匹配规则的链接。 创建项目scrapy startproject TencentSpider items.py 创建CrawlSpider,使用模版crawl scrapy genspider -t crawl tencen 阅读全文
posted @ 2018-06-21 21:49 王琳杰 阅读(257) 评论(0) 推荐(0) 编辑
摘要:创建项目scrapy startproject tencent 编写items.py写class TencentItem 创建基础类的爬虫 scrapy genspider tencentPosition"tencent.com" tencentPosition.py 管道文件pipelines.p 阅读全文
posted @ 2018-06-21 20:29 王琳杰 阅读(225) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示