摘要: 1.urllib2修改header: (1)在使用网络爬虫时,有一些站点不喜欢被程序访问(非人为访问),会检查连接者的“身份证”;默认情况下,urllib2把自己的版本号Python-urllib2/x.y作为自己的“身份证号码”来通过检查,这个身份证号码可能会让站点有点迷惑,或者干脆不工作 (2) 阅读全文
posted @ 2017-07-24 20:08 小春熙子 阅读(1694) 评论(0) 推荐(0) 编辑
摘要: 1.涉及网络这块,必不可少的模块就是urllib2了。顾名思义这个模块主要负责打开URL和HTTP协议之类的,还有一个模块叫urllib,但它们不是升级版的关系 2.urllib2请求返回网页 (1)urllib2最贱的应用就是urllib2.urlopen函数了: urllib2.urlopen( 阅读全文
posted @ 2017-07-24 19:11 小春熙子 阅读(1002) 评论(0) 推荐(0) 编辑