爬虫笔记三
1、urllib和urllib2区别
urllib和urllib2都是接受URL请求的相关模块，但是提供了不同的功能，最显著的区别如下：
（1）urllib仅可以接受URL，不能创建，设置headers的request类实例；
（2）但是urllib提供urlencode()方法用来GET查询字符串的产生，而urllib2则没有（这是urllib和urllib2经常一起使用的主要原因）
（3）编码工作使用urllib的urlencode()函数，帮我们讲key:value这样的键值对转换成‘key=value’这样的字符串，解码工作可以使用urllib的unquote()
2、urllib库的urlencode()方法
# encoding=utf-8 # IPython2 中的测试结果 import urllib word = {"wd" : "博客园"} # 通过urllib.urlencode()方法，将字典键值对按URL编码转换，从而能被web服务器接受。 ret = urllib.urlencode(word) print ret # 通过urllib.unquote()方法，把 URL编码字符串，转换回原先字符串。 print urllib.unquote(ret) wd=%E5%8D%9A%E5%AE%A2%E5%9B%AD wd=博客园
3、urllib2库的urlopen(),Request()方法的使用
- GET请求一般用于我们向服务器获取数据。例如：用百度搜索：https://www.baidu.com/s?wd=中国
# encoding=utf-8 import urllib # 负责url编码处理 import urllib2 url = "http://www.baidu.com/s?" word = {"wd": "中国"} word = urllib.urlencode(word) # 转换成url编码格式（字符串） newurl = url + word # 拼接完整的url headers = { 'user-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36'} request = urllib2.Request(newurl, headers=headers) response = urllib2.urlopen(request) print response.read()
-
POST方式：了Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对。
# encoding=utf-8 import urllib2 import urllib # 有道翻译：http://fanyi.youdao.com/
url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule&smartresult=ugc' formdata = { "i": "警察", "from": "AUTO", "to": "AUTO", "smartresult": "dict", "client": "fanyideskweb", "doctype": "json", "version": "2.1", "keyfrom": "fanyi.web", "action": "FY_BY_REALTIME", "typoResult": "true" } data = urllib.urlencode(formdata) # 将字典以url形式编码 header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36', 'Referer': 'http://fanyi.youdao.com/', # 反盗链 } request = urllib2.Request(url=url, data=data, headers=header) response = urllib2.urlopen(request) print response.code # 响应状态码 print response.read() 200 {"type":"ZH_CN2EN","errorCode":0,"elapsedTime":0,"translateResult":[[{"src":"警察","tgt":"The police"}]]
4、 批量爬取贴吧页面数据
输入一个百度贴吧的地址，比如：
百度贴吧LOL吧第一页：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
第二页： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
第三页： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100
规律 ： 每个贴吧url都是以'https://tieba.baidu.com/f?'开头，然后是关键字 kw=‘’贴吧名字‘’，再后面是 &pn=页数 （pn=0第一页，pn=50第二页，依次类推）
1.先写一个main，提示用户输入要爬取的贴吧名，并用urllib.urlencode()进行转码，然后组合url
2.接下来，写一个百度贴吧爬虫接口tiebaSpider()，需要传递3个参数给这个接口， 一个是main里组合的url地址，以及起始页码和终止页码，表示要爬取页码的范围。
3.前面写出一个爬取一个网页的代码。然后，将它封装成一个小函数loadPage（），供我们使用。
4.将爬取到的每页的信息存储在本地磁盘上，我们可以简单写一个存储文件的接口writePage()
# _*_ coding:utf-8 _*_ import urllib,urllib2 def loadPage(url,filename): #根据url发送请求，获取服务器响应文件 print '正在下载' + filename headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 Safari/537.36'}
request = urllib2.Request(url,headers = headers)
content = urllib2.urlopen(request).read() return content
def writePage(html,filename): #将html内容写入到本地 print '正在保存' + filename with open(unicode(filename,'utf-8'),'w') as f: f.write(html) print '_' * 30 def tiebaSpider(url,beginPage,endPage): #贴吧爬虫调度器，负责组合处理每个页面的url for page in range(beginPage,endPage + 1): pn = (page - 1) * 50 filename = '第' + str(page) + '页.html' fullurl = url + '&pn=' + str(pn) # print fullurl # 调用loadPage()发送请求获取HTML页面 html = loadPage(fullurl,filename) # 将获取到的HTML页面写入本地磁盘文件 writePage(html,filename) if __name__ == '__main__': kw = raw_input('请输入贴吧名：') beginPage = int(raw_input('请输入起始页：')) endPage = int(raw_input('请输入结束页：')) url = 'https://tieba.baidu.com/f?' key = urllib.urlencode({'kw':kw}) # 组合后的url示例：http://tieba.baidu.com/f?kw=lol url = url + key tiebaSpider(url,beginPage,endPage)
5、urllib2库获取Ajax加载的动态页面
只要response里面有 JSON数据，我们就可以找到服务器的数据来源
# encoding=utf-8 import urllib import urllib2 url = "https://movie.douban.com/j/chart/top_list?" headers = {"User-Agent": "Mozilla...."} # 处理所有参数 formdata = { 'type': '11', 'interval_id': '100:90', 'action': '', 'start': '0', 'limit': '10' } data = urllib.urlencode(formdata) request = urllib2.Request(url, data=data, headers=headers) response = urllib2.urlopen(request) print response.read()
