python爬虫练习4——腾讯视频评论提取
由于腾讯视频评论处进行触碰处理,点击后,网址是不变的,所以需要先进行分析。
网址:HBO纪录片:成为沃伦·巴菲特【正片】_成为沃伦·巴菲特_腾讯视频 (qq.com)
点击更多评论,查看F12,可以发现其网址。
打开后,我们发现其通过 'first'和'last’进行评论的翻页。我们需要对网址二次赋值。
import requests import re cid = '0' for i in range(0,2): ua = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59'} url = 'https://video.coral.qq.com/varticle/1840040664/comment/v2?callback=_varticle1840040664commentv2&orinum=10&oriorder=o&pageflag=1&cursor='+str(cid)+'&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=132' r = requests.get(url ,headers = ua , timeout = 30) print(r.encoding,r.status_code) print('第'+str(i)+'页') print(cid) #print(url) pat1 = '"content":"(.*?)"' comment = re.compile(pat1,re.S).findall(r.text) print(comment) for item in comment: print(str(item)) print('--------------') pat2 = '"last":"(.*?)"' cid = re.compile(pat2,re.S).findall(r.text)[0]