2018年6月28日
爬取中华网科技新闻
摘要： 爬取 http://tech.china.com/articles/ 抓取新闻列表中所有分页的新闻详情，包括标题、正文、时间、来源等信息。 创建项目scrapy startproject China scrapy genspider -t crawl chinatech items.py china 阅读全文
posted @ 2018-06-28 21:35 王琳杰 阅读(371) 评论(0) 推荐(0) 编辑
爬取斗鱼图片
摘要： 创建项目scrapy startproject douyu 编写items.py 创建基础类的爬虫 scrapy genspider douyutupian capi.douyucdn.cn 手机抓包得到API接口，返回JSON格式数据 douyutupian.py 管道文件pipelines.py 阅读全文
posted @ 2018-06-28 19:42 王琳杰 阅读(533) 评论(0) 推荐(0) 编辑