摘要: 创建CrawlSpider爬虫简要步骤: 1. 创建项目文件: 2. 进入项目文件: 3. 修改items.py文件中需要获取的字段: 4. 进入爬虫文件: 5. 创建爬虫: 6. 修改dy.py 7. 修改管道文件pipelines.py 8. 设置settings.py e.g: 优先级设置等 阅读全文
posted @ 2018-08-21 18:33 时间&煮雨~ 阅读(2093) 评论(0) 推荐(0) 编辑
摘要: 将redis中的数据导入到本地MongoDB数据库 创建一个process_items_mongodb.py文件(文件名自定义): 将redis中的数据导入到本地MySQL数据库 创建一个process_items_mysql.py文件(文件名自定义): 阅读全文
posted @ 2018-08-21 18:13 时间&煮雨~ 阅读(2811) 评论(0) 推荐(0) 编辑