路飞学城爬虫学习(一)
爬虫学习(一)
一、所需模块requests
requests 的简介
Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库,Requests它会比urllib更加方便,可以节约我们大量的工作。
安装requests方法
在电脑终端 pip install requests,(最好在Python安装目录里安装)。
requests的常用方法
1 获取get请求 2 requests.get(url='xxx')#等价于 requests.request(method='get',url='xxx') 3 获取post请求 4 requests.post(url='xxx') #等价于requests.request(method='post',url='xxx')
示例:获取get
1 import requests 2 requests.get( 3 url='http://www.oldboyedu.com', 4 params={'nid':1,'name':'x'}, #发送时完整是 http://www.oldboyedu.com?nid=1&name=x 5 headers={}, 6 cookies={}, 7 )
示例:获取post
1 import requests 2 requests.post( 3 url='x', 4 data={}, 5 headers={}, 6 cookies={}, 7 )
get和post括号里可以跟以下参数
1 url:地址;
2 params:在url中传参;
3 headers:请求头;
4 cookies:cookie;
5 data:数据;
post请求里的data数据可有两种形式的发送:
(1)、
1 requests.post( 2 url='http://www.oldboyedu.com', 3 data={ 4 'name':'hahaha', 5 'age':18 6 }, 7 headers={}, 8 cookies={}, 9 )
发送的时候是以name=hahaha&age=18形式发送的。
1 requests.post( 2 url='http://www.oldboyedu.com', 3 data=json.dumps({ 4 'name':'hahaha', 5 'age':19 6 }), 7 headers={}, 8 cookies={}, 9 )
发送的时候是以字符串形式发送的。'{'name':'hahaha','age':19}'
requests的其他请求补充
1 requests.get(url, params=None, **kwargs) 2 requests.post(url, data=None, json=None, **kwargs) 3 requests.put(url, data=None, **kwargs) 4 requests.head(url, **kwargs) 5 requests.delete(url, **kwargs) 6 requests.patch(url, data=None, **kwargs) 7 requests.options(url, **kwargs)
1 # 以上requests的方法都是基于requests.request() 2 上述的方法都是在 requests.request()构建而成的: 3 requests.request() 4 - method:提交方式,post,get,delete, put, head, patch, options 5 - url: 提交地址 6 - params: 在url中传递参数,GET params = {k1:vi} 7 - data: 在请求体里传递参数用于post请求 data = {k1:v1,k2:v2} or 'k1=v1&k2=v2' 8 - json: 在请求体里传递参数,并在请求头中设置content-type: application/json 9 - headers: 在请求头中添加数据 10 - cookies: 网站cookies 在请求头中 11 - files : 文件对象{'f1': open('s1.py', wb), 'f2': ('上传到服务器的文件名', oprn('s1.py', wb))} 12 - auth : 认证使用 在 请求头中加入用户名密码 13 - timeout : 超时时间 14 - allow_redirects: 是否允许重定向 bool 15 - proxies: 代理 16 = stream: 流,bool 用于下载文件 17 ret = request.get('http://127.0.0.1:8888/test/', steam=True) 18 for i in ret.iter.content(): 19 print(i) 20 - cert: 证书 指定https SSL证书文件 21 - verify = False https忽略证书存在
获取请求结果的几种方式:
1 respone.text # 返回str类型 2 respone.content # 返回字节类型 3 response.encoding # 指定Response的编码 4 response.apparent_encoding # 返回改respones的编码 5 response.cookies,get_dict() # 获取cookie的字典形式
requests的高阶函数应用:
1 request.Session: 自动管理Cookies信息 2 ret = request.Session() 3 ret.get('https://www.baidu.com')
二、beautifulsoup4模块:(用来解析response)
安装bs4:
1 pip3 install beautifulsoup4
bs4的简析及使用
导入方式:
1 from bs4 import BeautifulSoup
find_all 获取所有的匹配的标签
1 from bs4 import BeautifulSoup 2 soup = BeautifulSoup(ret.text,'html.parser') #将前端的字符串解析出来 3 tags = soup.find_all('a') #获取列表 4 print(tags) 5 6 tags = soup.find_all('a',limit=1) 7 print(tags) 8 9 tags = soup.find_all(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie') 10 # tags = soup.find(name='a', class_='sister', recursive=True, text='Lacie') 11 print(tags) 12 13 14 # ####### 列表 ####### 15 v = soup.find_all(name=['a','div']) 16 print(v) 17 18 v = soup.find_all(class_=['sister0', 'sister']) 19 print(v) 20 21 v = soup.find_all(text=['Tillie']) 22 print(v, type(v[0])) 23 24 25 v = soup.find_all(id=['link1','link2']) #同时获取多个ID属性 26 print(v) 27 28 v = soup.find_all(href=['link1','link2']) 29 print(v) 30 31 # ####### 正则 ####### 32 import re 33 rep = re.compile('p') 34 rep = re.compile('^p') 35 v = soup.find_all(name=rep) 36 print(v) 37 38 rep = re.compile('sister.*') 39 v = soup.find_all(class_=rep) 40 print(v) 41 42 rep = re.compile('http://www.oldboy.com/static/.*') 43 v = soup.find_all(href=rep) 44 print(v) 45 46 # ####### 方法筛选 ####### 47 def func(tag): 48 return tag.has_attr('class') and tag.has_attr('id') 49 v = soup.find_all(name=func) 50 print(v) 51 52 53 # ## get,获取标签属性 54 tag = soup.find('a') 55 v = tag.get('id') 56 print(v)
get_text 获取标签内部文本内容
1 from bs4 import BeautifulSoup 2 soup = BeautifulSoup(ret.text,'html.parser') 3 tag = soup.find('a') 4 v = tag.get_text('id') 5 print(v)
find 找到匹配的第一个标签
1 tag = soup.find('a') 2 print(tag) 3 tag = soup.find(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie') 4 tag = soup.find(name='a', class_='sister', recursive=True, text='Lacie')#这种写法与上面效果一样 5 print(tag)
更多方法可参考
http://www.cnblogs.com/wupeiqi/articles/6283017.html
更多参数官方:http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
三、示例
爬取汽车之家的新闻
给抽屉点一个赞
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)
给抽屉的指定页面点赞
![](https://images.cnblogs.com/OutliningIndicators/ContractedBlock.gif)