爬虫

一、把整个网页爬下来

import gevent
from urllib import request


def get_url_data(url):
    print('获取%s的数据' % url)
    data = request.urlopen(url).read()
    f = open('url_data', 'wb')
    f.write(data)
    f.close()
    print('网页%s的大小：%s' % (url, len(data)))


get_url_data('https://www.python.org')