python爬取数据需要注意的问题

1 爬取https的网站或是接口的时候，如果是不受信用的SSL证书，会报错，需要添加如下代码，如下代码可以保证当前代码块内所有的请求都自动屏蔽ssl证书问题：

import ssl   # 这个是爬取https的链接需要的，以及下面一行代码
ssl._create_default_https_context = ssl._create_unverified_context

 

2 爬取jsonp的接口，返回的数据需要删除callback名字和最外层括号，可以通过以下方式过滤：

text方法将取得的数据转为文本，然后re.match将字符串过滤掉callback名字和最外层括号，留下原本json部分的数据，然后通过json.loads将过滤出来的json转为python对象

import re
getOneSongInfoCallback=json.loads(re.match(".*?({.*}).*", requests.get(url, headers=headers).text)[1])

 

3 获取请求的地址后面跟的参数的方法，如下方式得到qs就可以进一步直接获取自己想要的参数值：

import urllib.parse as parse
parse_query=parse.urlparse(url).query
qs=parse.parse_qs(parse_query)