Python抓取网页被拒绝,需要添加headers来解决

当使用Python对网页内容进行抓取时,常常会遇到网页访问被拒绝的情况,这主要是因为一些网页进行了防抓取设置,不过不用怕,添加一个headers就好了,举个例子。

headers={'User-Agent':'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'}

url='http://www.ximalaya.com/#/1029811/album/3487530'

html=requests.get(url,headers=headers)

这样就可以啦!!

posted @ 2016-01-06 14:49  幸福的混子  阅读(842)  评论(0编辑  收藏  举报