分布式爬虫(1)
一、环境搭建
1.python 2.7
2.pip ，并设置pip源
(1)配置pip conf ，自动设置源
#mkdir ~/.pip
#vim ~/.pip/pip.conf
[gloabal]
index-url=https://pypi.tuna.tsinghua.edu.cn/simple
也可以每次安装的时候制定source
#pip install -i https://pypi.tuna.tsinghua.edu.cn.simple lxml
二、Http协议
1.OSI协议 TCP/IP协议
应用层
应用层 表示层
会话层
传输层 传输层
互联网络层 网络层
网络接口层 数据链路层
物理层
2.OSI模型
(1)物理层：电器连接
(2)数据链路层：交换机、STP、帧中继
(3)网络层:路由器、ip协议
(4)传输层：TCP、UDP协议
(5)会话层：建立通信连接，网络拨号
(6)表示层：每次连接只处理一个请求
(7)应用层：HTTP、FTP
3.HTTP协议：
(1)应用层协议；
(2)无连接：每次连接只处理一个请求
(3)无状态：每次连接传输都是独立的
4.HTTP HEADER
(1)REQUEST部分的HTTP HEADER
Accept:text/plain
Accept-Charset:utf-8
Accept-Encoding:gzip,deflate
Accept-Language:en-US
Connection:keep-alive
Content-length:348
Content-Typte:applicaltion/x-www-from-urlencoded
Date:Tue,15 Nov 1994 08:12:31 GMT
Host:en wikipedia.org:80
User-Agent:Mozilla/5.0(X11;Linux x86_64;rv:12.0)Gecko/20100101
firefox/21,0
cookie:$Version=1;Skin=new;
5.keep-alive
(1)http是一个请求<->响应模式的典型范例，即客户端向服务器发送一个请求信息，服务器来响应这个信息。在老的HTTP版本中，每个请求都被创建一个新的客户端->服务器的连接，在这个连接上发送请求，然后接受请求。这样的模式有一个很大的优点，他很简单，很容易理解和通过编程来实现；有个很大的缺点就是效率比较低，因此keep-alive被提出来解决效率低的问题。
(2)keep-alive功能使客户端到服务器端的连接持续有效，当出现对服务器的后续请求的时候，keep-alive功能避免了建立或者重新建立连接
HTTP/1.1
默认情况下所在的HTTP1.1中所有的连接都被保持，除非在请求头或者响应头中指明要关闭：Connection:Close
RESPONSE的HTTP HEADER
Accept-Patch:text/example;charset=utf-8 Cache-COntrol:max-age=3600 Content-Encoding:gzip Last-Modified:Tue,15 Nov 1994 12:45:26 GMT Content-Language:da Content-Length:348 ETag:"737060cd8c284d8af7ad3082f209582d" Expires:Thu,01 Dec 1994 16:00:00 GMT Location:http://www.w3.org/pub/WWW/People.html Set-Cookie:UserID=JohnDoe;Max-Age=3600;Version=1 Status:200 OK
6.http响应状态码
2XX 成功
3XX 跳转
4xx 客户端错误
500 服务器错误
7.HTPP响应状态码400/500
400 Bad Request客户端请求有语法错误，不能被服务器所理解
401 Unauthorized请求未经授权，这个状态码必须和WWW-Authenticate报头一起使用
403Forbidden 服务器收到请求，但是拒绝提供服务
如果是需要登录的网站，尝试重新登录
IP被封，暂停爬取，并增加爬虫的时间，如果拨号网络，尝试重新联网更新IP
404 Not Found 请求资源不存在，eg:输入错误的URL
500 Internal Server Error服务器发生了不可预期的错误
503Server Unavailable 服务器当前不能处理客户端的请求，一段时间后可能恢复正常
5XX服务器错误，直接丢弃并计数，如果连续不成功，WARNING并停止爬取
8.网页抓取的原理
(1)宽度优先策略
(2)深度优先策略
9.选择哪种策略？
(1)重要的网页离种子站比较近
(2)万维网的深度并没有很深，一个网页有很多路径可以到达
(3)宽度优先利于多爬虫并行合作抓取
(4)深度优先于宽度优先相结合
10.不重复抓取策略
1)如何记录抓取历史?
(1)将访问过的URL保存到数据库(这样效率太低)
(2)用HashSet将访问过的URL保存起来。那只需要接近O(1)的代价就可以查询到一个URL是否被查询过 内存消耗
(3)URL经过MD5或者SHA-1等单向哈希后再保存到HashSet或者数据库
(4)Bit-Map方法。建立一个BitSet，将每一个URL经过一个哈希函数映射到某一位
2)MD5函数抓取算法
MD5签名是一个哈希函数，可以将任意长度的数据量抓换为一个固定长度的数字(通常是4个整形，128位)。计算机不可能有2的128次方那么大的内存，因此实际的哈希表都会是URL.MD5再%n(就是取模)。现实世界URL的组合必然会超过哈希表的槽位数，因此碰撞时一定存在的，一般的HASH函数，如Java的HashTable一个哈希表再跟一个链表，链表存的是碰撞的结果。
3)使BITMAP的方式来进行记录
将URL的MD5值再次进行哈希，用一个或者多个BIT位来记录一个URL
(1)确定空间的大小
(2按倍增加槽位
(3)HASH算法映射(murmurhash3,cityhash) Python:mmh3 bitarray
(4)碰撞概率增加
4)Bloom Filter:Bloom Filter使用了多个哈希函数，而不是一个。创建一个m位的BitSet，先讲所有的位初始化为0，然后选择K个不同的哈希函数。第i个哈希函数对字符串str哈希的记过为h(i,str)，而且h(i,str)的范围是0到m-1，只能进行插图不能删除。用到多个比特位就降低了碰撞概率
这个方法主要是通过3个哈稀器算出三个哈希函数，如果三个哈希函数全部被置为1了，那么我们就认为这个网页已经存在了，如果只要有一个位没有置为1，那就认为不存在
11.提高存储的效率
(1)提高网站的网页数量
(2)选择合适的HASH算法和空间阈值，降低碰撞几率
(3)选择合适的存储结构和算法
12.评估网页数量
site:www.mafengwo.cn
三、爬虫实战
1.有效抓取特定内容
1)查看Robots.txt,放在根目录下面
2)利用sitemap里的信息，直接对目标网页.html进行抓取
3)对网站结构进行分析
大多数网站会有明确的top-down的分类目录结构，我们可以进入特定的目录进行抓取
对于www.mafengwo.cn这个网站，所有的旅游的游记都位于www.mafebgwo.cn/mdd下面，按照城市进行分类，每个城市的游记都位于城市的首页。
城市的首页:/travel-scenic-spot/mafengwo/10774.html
游记的分页格式：/yj/10774/1-0-01.html
游记的页面：/i/3523364.html
