基于协程的爬虫

基于gevent（协程），抓取站点的所有url

说到协程，协程不是进程或线程，其执行过程更类似于子例程，或者说不带返回值的函数调用。

协程在执行过程中遇到阻塞时转而执行别的子程序，阻塞结束后再返回来接着执行。

在gevent里面，上下文切换是通过yielding来完成的

 

代码中用到requests,xpath

如果有不懂xpath的小伙伴 --> 传送门

requests不理解的小伙伴 -->传送门

monkey.patch_all()
用来在运行时动态修改已有的代码，而不需要修改原始代码
官方文档链接 --> monkey.patch_all()
附带一篇中文gevent指南 -->传送门

不多说直接上代码

程序实现了判断域名，url去重

定义exp_url为set()结构，达到去重效果，也可以用list,dict,数据库 

exp_url=set()

 

此处为去重部分

if domain in url:
    if url in exp_url:
    　　return

 

 

全部代码

from gevent import monkey
import gevent
import requests
from lxml import etree

monkey.patch_all()

domain="quanxue.cn"
exp_url=set()
defeated_url=[]


def requ(url):
    jobs=[]
    if domain in url:
        if url in exp_url:
            return
        else:
            exp_url.add(url)
        print "GET:%s"%url
        try:
            req = requests.get(url)
            data=req.content
            select=etree.HTML(data)
            links=select.xpath("//a/@href")
            for link in links:
                if 'http://' not in link:
                    link=url[:url.rindex('/')+1]+link
                    jobs.append(gevent.spawn(requ,link))
                else:
                    jobs.append(gevent.spawn(requ,link))
            gevent.joinall(jobs)
            print len(exp_url)
        except Exception,e:
            print "ERROR"
            defeated_url.append(url)


if __name__ == '__main__':
    try:
        url="http://www.quanxue.cn"
        requ(url)
    except:
        print exp_url
        print defeated_url
    finally:
        print defeated_url
        print exp_url

 

 效果图