爬虫基础

目录

• 爬虫前奏
  • 爬虫的实际例子
  • 什么是网络爬虫
  • 通用爬虫和聚集爬虫
  • 为什么使用Python写爬虫程序
  • 准备工具

爬虫前奏

爬虫的实际例子

1. 搜索引擎(百度、谷歌、360搜索)
2. 伯乐在线
3. 惠惠助手
4. 数据分析与研究(数据冰山知乎专栏)
5. 抢票软件

什么是网络爬虫

1. 通俗理解：爬虫是模拟人类请求网站行为的程序，可以自动请求网页、并将数据抓取下来，然后使用一定的规则提取有价值的数据
2. 简单介绍:百度百科

通用爬虫和聚集爬虫

1. 通用爬虫:是搜索引擎抓取系统(百度、谷歌、搜狗等)的重要组成部分。主要是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份
2. 聚集爬虫:是面向特定需求的一种网络爬虫程序，它与通用爬虫区别在于:聚集爬虫在实施网页抓取的时候会对内容进行筛选和处理，尽量保证只抓取与需求相关的网页信息

为什么使用Python写爬虫程序

1. PHP:PHP是世界上最好的语言，但他天生不适合做这个，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫是工具性程序，对速度和效率要求比较高
2. Java:生态圈很完善，是Python爬虫最大的竞争对手。但是Java语言很笨重。代码量很大。重构成本比较高，任何修改会导致代码大量改动。爬虫经常要修改采集代码
3. C/C++:运行效率无敌。但是学习和开发成本高。写个小爬虫可能要大半天时间
4. Python:语法优美、代码简洁、开发效率高、支持的模块多。相关的HTTP请求模块和HTML解析模块非常丰富。还有Scrapy和Scrapy-redis框架让我们开发爬虫变得异常简单

准备工具

1. Python3.6开发环境
2. Pycharm professional
3. 虚拟环境 "virtualenv/virtualenvwrapper"