爬虫代理及ssl验证

IP代理:
import requests url
='https://weibo.com/' proxies={ 'http':'116.196.66.197:99999' } # 此处的proxies即为代理,里面的参数为代理ip,到百度搜索‘代理ip’即可获取 response=requests.get(url,proxies=proxies) content=response.content.decode("gbk") print(content)

 ssl验证设置:

import requests

response=requests.get("https://www.12306.cn/ ",verify=False)
print('请求的状态',response.status_code)
# print('请求的内容',response.content.decode())
# 爬取的时候,请求的次数太频繁,网站可能会返回的不是200,这时候就需要判断,将verify设置为false表示无需验证

 

posted @ 2018-11-17 22:06  L某人  阅读(331)  评论(0编辑  收藏  举报