ulrlib案例-爬取百度贴吧

1.任务需求

百度贴吧有很多主题，每个主题下的网页存在很多分页。爬取不同的主题，并下载每个主题下的多页网页。

输入贴吧名称，下载相应贴吧的多页网页，设置最多下载50页。

2.分析网页

访问不同的百度贴吧时。尝试搜索多个贴吧，观察到浏览器的url中的kw为贴吧的名称。

因此，发送get请求时，设置不同的kw可以访问不同的贴吧。

同一主题的贴吧中，有分页，通过点击不同的分页，可以看出，url中的pn规律变化

　　第1页 pn = 0

　　第2页 pn=50

　　第3页 pn=100

据此规律可以爬取不同页数的网页。

3.代码实现

from urllib import request,parse
import time
import random
import os

kw = input('请输入贴吧名称：')
start = input('请输入起始页：')
end = input('请输入结束页：')

# 构建请求字符串
qs = {
　　'kw':kw
}
qs = parse.urlencode(qs)

# 构建贴吧链接地址
base_url = 'https://tieba.baidu.com/f?' + qs

start = (int(start) - 1) * 50
end = (int(end) - 1) * 50 + 1

for pn in range(start,end,50):
　　# pn 分页数字
　　# 文件名
　　fname = str((pn//50 + 1)) + '.html'
　　fullurl = base_url + '&pn=' + str(pn)
　　print(fullurl)
　　response = request.urlopen(fullurl)
　　data = response.read().decode('utf-8')

　　# 自动创建目录
　　path = './tieba/' + kw
　　if not os.path.exists(path):
　　os.makedirs(path)

　　with open(os.path.join(path,fname),'w',encoding='utf-8') as f:
　　　　f.write(data)

　　# 加入请求间隔
　　time.sleep(random.random() * 2)

4.注意事项

后面的加入随机请求间隔，防止请求过于频繁导致被封IP。