2017年10月6日
爬取豆瓣电影储存到数据库MONGDB中以及反反爬虫
摘要： 1.代码如下： doubanmoive.py items.py 2.在管道文件中更改储存位置 3.新建中间件 middlewares.py 进行反反爬虫 4.setting的设置 阅读全文
posted @ 2017-10-06 19:17 cuzz_z 阅读(1018) 评论(0) 推荐(0) 编辑
爬取二重网页
摘要： 1.用 scrapy 新建一个 sun0769 项目 scrapy startproject sun0769 2.在 items.py 中确定要爬去的内容 3.快速创建 CrawlSpider模板 scrapy genspider -t crawl dongguan wz.sun0769.com 注 阅读全文
posted @ 2017-10-06 00:10 cuzz_z 阅读(199) 评论(0) 推荐(0) 编辑