爬虫之User-Agent

错误信息:

　　raise HTTPError(req.full_url, code, msg, hdrs, fp)
　　urllib.error.HTTPError: HTTP Error 403: Forbidden

解决方式:

　　因为如果用 urllib.request.urlopen 方式打开一个URL,服务器端只会收到一个单纯的对于该页面访问的请求,但是服务器并不知道发送这个请求使用的浏览器,操作系统,硬件平台等信息,而缺失这些信息的请求往往都是非正常的访问,例如爬虫.