爬虫代理及ssl验证
IP代理:
import requests url='https://weibo.com/' proxies={ 'http':'116.196.66.197:99999' } # 此处的proxies即为代理,里面的参数为代理ip,到百度搜索‘代理ip’即可获取 response=requests.get(url,proxies=proxies) content=response.content.decode("gbk") print(content)
ssl验证设置:
import requests response=requests.get("https://www.12306.cn/ ",verify=False) print('请求的状态',response.status_code) # print('请求的内容',response.content.decode()) # 爬取的时候,请求的次数太频繁,网站可能会返回的不是200,这时候就需要判断,将verify设置为false表示无需验证