Python 3.x 中"HTTP Error 403: Forbidden"问题的解决方案
Python 3.x 中"HTTP Error 403: Forbidden"问题的解决方案
urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403: Forbidden"异常
对于Python 3.x来说,在请求中添加UserAgent的信息非常简单,代码如下
#如果不加上下面的这行出现会出现urllib2.HTTPError: HTTP Error 403: Forbidden错误 #主要是由于该网站禁止爬虫导致的,可以在请求加上头信息,伪装成浏览器访问User-Agent,具体的信息可以通过火狐的FireBug插件查询 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'} req = urllib.request.Request(url=chaper_url, headers=headers) urllib.request.urlopen(req).read()
将urllib.request.urlopen.read() 替换成上面的代码后,对于出现问题的页面就可以就正常访问