爬虫学习（一）

一、所需模块requests

requests 的简介

　　Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。

安装requests方法

　　在电脑终端 pip install requests,（最好在Python安装目录里安装）。

requests的常用方法

1 获取get请求
2 requests.get(url='xxx')#等价于 requests.request(method='get',url='xxx')
3 获取post请求
4 requests.post(url='xxx')  #等价于requests.request(method='post',url='xxx')

示例：获取get

1 import requests
2 requests.get(
3     url='http://www.oldboyedu.com',
4     params={'nid':1,'name':'x'},  #发送时完整是  http://www.oldboyedu.com？nid=1&name=x
5     headers={},
6     cookies={},
7 )

示例：获取post

1 import requests
2 requests.post(
3     url='x',
4     data={},
5     headers={},
6     cookies={},
7 )

get和post括号里可以跟以下参数

1 url:地址;

2 params:在url中传参;

3 headers：请求头;

4 cookies：cookie;

5 data:数据;

post请求里的data数据可有两种形式的发送：

（1）、

1 requests.post(
2     url='http://www.oldboyedu.com',
3     data={
4         'name':'hahaha',
5         'age':18
6     },
7     headers={},
8     cookies={},
9 )

发送的时候是以name=hahaha&age=18形式发送的。

1 requests.post(
2     url='http://www.oldboyedu.com',
3     data=json.dumps({
4         'name':'hahaha',
5         'age':19
6     }),
7     headers={},
8     cookies={},
9 )

发送的时候是以字符串形式发送的。'{'name':'hahaha','age':19}'

requests的其他请求补充

1 requests.get(url, params=None, **kwargs)
2 requests.post(url, data=None, json=None, **kwargs)
3 requests.put(url, data=None, **kwargs)
4 requests.head(url, **kwargs)
5 requests.delete(url, **kwargs)
6 requests.patch(url, data=None, **kwargs)
7 requests.options(url, **kwargs)

 1 # 以上requests的方法都是基于requests.request()
 2 上述的方法都是在 requests.request()构建而成的：
 3 requests.request()
 4         - method：提交方式，post，get，delete， put， head， patch， options
 5         - url： 提交地址
 6         - params： 在url中传递参数，GET params = {k1:vi}
 7         - data: 在请求体里传递参数用于post请求 data = {k1:v1,k2:v2} or 'k1=v1&k2=v2'
 8         - json: 在请求体里传递参数，并在请求头中设置content-type： application/json
 9         - headers： 在请求头中添加数据
10         - cookies: 网站cookies 在请求头中
11         - files : 文件对象{'f1': open('s1.py', wb), 'f2': ('上传到服务器的文件名', oprn('s1.py', wb))}
12         - auth : 认证使用 在 请求头中加入用户名密码
13         - timeout ： 超时时间
14         - allow_redirects: 是否允许重定向 bool
15         - proxies: 代理
16         = stream: 流,bool   用于下载文件
17             ret = request.get('http://127.0.0.1:8888/test/', steam=True)
18             for i in ret.iter.content():
19                 print(i)
20          - cert: 证书 指定https SSL证书文件
21          - verify = False https忽略证书存在

获取请求结果的几种方式：

1 respone.text # 返回str类型
2 respone.content # 返回字节类型
3 response.encoding # 指定Response的编码
4 response.apparent_encoding # 返回改respones的编码
5 response.cookies,get_dict() # 获取cookie的字典形式

requests的高阶函数应用：

1 request.Session: 自动管理Cookies信息
2 ret = request.Session()
3 ret.get('https://www.baidu.com')

二、beautifulsoup4模块：（用来解析response）

安装bs4:

1 　　pip3 install beautifulsoup4

bs4的简析及使用

　导入方式：

1 from bs4 import BeautifulSoup

find_all 获取所有的匹配的标签

 1 from bs4 import BeautifulSoup
 2 soup = BeautifulSoup(ret.text,'html.parser')  #将前端的字符串解析出来
 3 tags = soup.find_all('a')   #获取列表
 4 print(tags)
 5 
 6 tags = soup.find_all('a',limit=1)
 7 print(tags)
 8 
 9 tags = soup.find_all(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')
10 # tags = soup.find(name='a', class_='sister', recursive=True, text='Lacie')
11 print(tags)
12 
13 
14 # ####### 列表 #######
15 v = soup.find_all(name=['a','div'])
16 print(v)
17 
18 v = soup.find_all(class_=['sister0', 'sister'])
19 print(v)
20 
21 v = soup.find_all(text=['Tillie'])
22 print(v, type(v[0]))
23 
24 
25 v = soup.find_all(id=['link1','link2'])  #同时获取多个ID属性
26 print(v)
27 
28 v = soup.find_all(href=['link1','link2'])
29 print(v)
30 
31 # ####### 正则 #######
32 import re
33 rep = re.compile('p')
34 rep = re.compile('^p')
35 v = soup.find_all(name=rep)
36 print(v)
37 
38 rep = re.compile('sister.*')
39 v = soup.find_all(class_=rep)
40 print(v)
41 
42 rep = re.compile('http://www.oldboy.com/static/.*')
43 v = soup.find_all(href=rep)
44 print(v)
45 
46 # ####### 方法筛选 #######
47 def func(tag):
48     return tag.has_attr('class') and tag.has_attr('id')
49     v = soup.find_all(name=func)
50     print(v)
51 
52 
53 # ## get,获取标签属性
54 tag = soup.find('a')
55 v = tag.get('id')
56 print(v)

get_text 获取标签内部文本内容

1 from bs4 import BeautifulSoup
2 soup = BeautifulSoup(ret.text,'html.parser')
3 tag = soup.find('a')
4 v = tag.get_text('id')
5 print(v)

find 找到匹配的第一个标签

1 tag = soup.find('a')
2 print(tag)
3 tag = soup.find(name='a', attrs={'class': 'sister'}, recursive=True, text='Lacie')
4 tag = soup.find(name='a', class_='sister', recursive=True, text='Lacie')#这种写法与上面效果一样
5 print(tag)

更多方法可参考

http://www.cnblogs.com/wupeiqi/articles/6283017.html

更多参数官方：http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

三、示例

爬取汽车之家的新闻

import requests
from bs4 import BeautifulSoup
ret = requests.get(url='https://www.autohome.com.cn/news/')
print(ret)  #仅仅返回一个对象
print(ret.apparent_encoding)   # 查看爬取的内容是以什么方式编码的
# print(ret.content)   #以字节形式打印出来
# ret.encoding='gbk'    #以gbk的方式解码
# print(ret.content)
ret.encoding=ret.apparent_encoding    #以编码的方式解码
# print(ret.text)   #打印文本内容

soup = BeautifulSoup(ret.text,'html.parser')
# print(soup)
print(type(soup))

div = soup.find(name='div',id='auto-channel-lazyload-article')
li_list = div.find_all(name='li')
for li in li_list:
    h3 = li.find(name='h3')
    if not h3:   #如果不是h3标签就跳过
        continue
    print(h3)
    p = li.find(name='p')
    print(p)
    a = li.find('a')
    # print(a)
    print(a.attrs)
    print(a.get('href'))

    img = li.find(name='img')
    src = img.get('src')
    print(src)
    #第二次访问
    file_name = src.rsplit('__',maxsplit=1)[1]  #设置文件名
    ret_src = requests.get(url='https:'+src)
    with open(file_name,'wb') as f:
        f.write(ret_src.content)
    print('='*30)

给抽屉点一个赞

 1 import requests
 2 from bs4 import BeautifulSoup
 3 #
 4 #1、先访问抽屉新热榜，获取未授权的cookie
 5 ret = requests.get(
 6     url='https://dig.chouti.com/all/hot/recent/1',
 7     headers={
 8         'User-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
 9     },
10 )
11 ret_cookie_dict = ret.cookies.get_dict()
12 
13 
14 
15 # 2、发送用户名和密码认证 + cookie（未授权）
16 
17 
18 #以下这是post的方式请求
19 response_login = requests.post(
20     url='https://dig.chouti.com/login',
21     data={
22         'phone':'8616601049889',
23         'jid':'国歌',
24         'password':'guoxia221',
25         'oneMonth':'1',
26     },
27     headers={
28         'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
29     },
30     cookies = ret_cookie_dict
31 )
32 # print(response.text)
33 
34 #3、点赞
35 ret = requests.post(
36     url='https://dig.chouti.com/link/vote?linksId=20636346',
37     headers={
38         'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
39     },
40     cookies=ret_cookie_dict
41 )
42 print(ret.text)

View Code

给抽屉的指定页面点赞

 1 import requests
 2 from bs4 import BeautifulSoup
 3 
 4 #1、先访问抽屉新热榜，获取未授权的cookie
 5 ret = requests.get(
 6     url='https://dig.chouti.com/all/hot/recent/1',
 7     headers={
 8         'User-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
 9     },
10 )
11 ret_cookie_dict = ret.cookies.get_dict()
12 
13 
14 
15 # 2、发送用户名和密码认证 + cookie（未授权）
16 
17 
18 #以下这是post的方式请求
19 response_login = requests.post(
20     url='https://dig.chouti.com/login',
21     data={
22         'phone':'8616601049889',
23         'jid':'国歌',
24         'password':'guoxia221',
25         'oneMonth':'1',
26     },
27     headers={
28         'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
29     },
30     cookies = ret_cookie_dict
31 )
32 
33 for page_num in range(2,3):#自己设定点赞的页面
34     response_index = requests.get(
35         url='https://dig.chouti.com/all/hot/recent/1',
36         headers={
37             'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
38         },
39     )
40     # print(response_index.text)
41 
42     soup = BeautifulSoup(response_index.text,'html.parser')
43     div = soup.find(attrs={'id':'content-list'})
44     items = div.find_all(attrs={'class':'item'})
45 
46     for item in items:
47         tag = item.find(attrs={'class':'part2'})
48         nid = tag.get('share-linkid')
49         # print(nid)
50 
51 
52         #3、点赞
53         ret = requests.post(
54             url='https://dig.chouti.com/link/vote?linksId=%s' %nid,
55             headers={
56                 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
57             },
58             cookies=ret_cookie_dict
59         )
60         print(ret.text)

View Code

四、学习心得

这次学习爬虫是感触相对比较深，终于可以动手了。

跟着大佬武sir还是很能学到东西的。

1、首先是requests的学习，这个模块虽然以前用过，但是感觉没这次实用，这次用来，直接出干货。还是挺爽的。当然这个模块还有很多参数需要在实践中不断的记忆，这次用的多的就是get和post，理解比以前深了很多。

2、beautifulsoup4模块的使用，学习这个东西的时候，记住特别深的一句话就是：不建议用正则，直接用别人写好的模块，效率会高很多。用的感受就是：谁用谁知道。当然通过查资料，包括参考别人的分享，这个模块还是有很多方法需要学的，一时间也记不住那么多。只能在以后用的时候不断记忆了。

3、学习爬虫，思路很关键，就是分析问题的能力。这玩意儿分析不透就解决不了问题。听了大佬的分享他分析问题的过程，就想，何时能到那水平。。。。。（此处省略n多字）

4、爬取汽车之家的时候，很简单，没有设置反爬措施，直接就可以按照自己想要的爬下来了。后来爬取抽屉时，设了反爬措施，需要带一个cookie，然后带了cookie也不行，需要先访问一遍，然后带着未授权的cookie，登录，获得授权后的cookie，才能爬下来。如果能多遇到不同的反爬措施，然后攻克，应该就学习的很快了。

5、还是多练，不练光听，就是光输入，不输出，不是自己的东西。

posted @ 2018-07-06 14:38 遥望那月阅读(1134) 评论(0) 编辑收藏举报

刷新页面返回顶部

遥望那月

爬虫学习（一）

一、所需模块requests

requests 的简介

安装requests方法

requests的常用方法

示例：获取get

示例：获取post

get和post括号里可以跟以下参数

post请求里的data数据可有两种形式的发送：

requests的其他请求补充

获取请求结果的几种方式：

requests的高阶函数应用：

二、beautifulsoup4模块：（用来解析response）

安装bs4:

bs4的简析及使用

导入方式：

find_all 获取所有的匹配的标签

get_text 获取标签内部文本内容

find 找到匹配的第一个标签

三、示例

给抽屉点一个赞

给抽屉的指定页面点赞

四、学习心得

公告

　导入方式：