爬虫的概念
为什么要做爬虫?
首先请问:都说现在是"大数据时代",那数据从何而来?
-
政府/机构公开的数据
:中华人民共和国国家统计局数据、世界银行公开数据、联合国数据、纳斯达克。 -
爬取网络数据
:如果需要的数据市场上没有,或者不愿意购买,那么可以选择招/做一名爬虫工程师,自己动手丰衣足食。拉勾网Python爬虫职位
爬虫是什么?
关于Python爬虫,我们需要学习的有:
1. Python基础语法学习(基础知识)
2. HTML页面的内容抓取(数据抓取)
3. HTML页面的数据提取(数据清洗)
4. Scrapy框架以及scrapy-redis分布式策略(第三方框架)
6. 爬虫(Spider)、反爬虫(Anti-Spider)、反反爬虫(Anti-Anti-Spider)之间的斗争....