结合demo的scrapy爬虫教程-TODO

10. 这个教程是关于什么的?什么时候写的?花了多长时间?为什么要写这个教程

这个教程是关于scrapy 入门的,目前我也比较初级,但是我可能会在scrapy技术进步之后写更多的系列文章。
这个教程2019-01-11写的,现在刚开始,估计要花一个星期,我刚刚动笔。
写这个教程是为了记录我的学习经验,方便以后查阅,也更好的把自己的知识传播出来

11. 爬虫是什么?

20. 这个教程的难度怎么样?

入门级的

30. 这个教程的demo是怎么样的?

第一个案例是爬取豆瓣电影的

40. 这个教程要教授那些技巧?

教授以下技巧:
(1)安装scrapy(2)启动一个小爬虫项目(3)如何把数据保存在文本或者数据库里。

50. 这个教程参考了哪些网页和信息?

70. (1)怎么安装scrapy? (2)怎么使用scrapy shell ? (3)怎么练习xpath?

80. (1)包括但不限于scrapy的爬虫难度在啥地方?

答:(1)难度有以下:面对网站的屏蔽应该怎么做?

81. 为什么很多网站要屏蔽爬虫?
posted @ 2019-01-11 11:09  notfresh  阅读(209)  评论(0编辑  收藏  举报