2019年3月7日
<scrapy爬虫>爬取360妹子图存入mysql(mongoDB还没学会,学会后加上去)
摘要： 1.创建scrapy项目 dos窗口输入: 2.编写item.py文件(相当于编写模板,需要爬取的数据在这里定义) 3.创建爬虫文件 dos窗口输入: 4.编写myspider.py文件(接收响应,处理数据) 5.编写pipelines.py(存储数据) 6.编写settings.py(设置head 阅读全文
posted @ 2019-03-07 22:26 水墨黑 阅读(229) 评论(0) 推荐(0) 编辑
<scrapy爬虫>爬取quotes.toscrape.com
摘要： 1.创建scrapy项目 dos窗口输入: 2.编写item.py文件(相当于编写模板,需要爬取的数据在这里定义) 3.创建爬虫文件 dos窗口输入: 4.编写myspider.py文件(接收响应,处理数据) 5.编写pipelines.py(存储数据) 存储到mysql 改进版: 存储到mongo 阅读全文
posted @ 2019-03-07 19:45 水墨黑 阅读(1506) 评论(0) 推荐(0) 编辑