摘要: 1.Timeout设置超时 只能修改Socket设置全局Timeout 2.获取HTTP响应码 3、异常处理1 4、异常处理2 5.重定向 import urllib.request proxy_support = urllib.request.ProxyHandler({'sock5': 'loc 阅读全文
posted @ 2017-12-10 21:46 mrwuzs 阅读(764) 评论(0) 推荐(0) 编辑
摘要: Cookie的使用 用 Python 来登录网站, 用Cookies记录登录信息, 然后就可以抓取登录之后才能看到的信息。 什么是cookies? Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密)。比如说有些网站需要登录后才能访问某个页面, 阅读全文
posted @ 2017-12-10 21:27 mrwuzs 阅读(9403) 评论(0) 推荐(0) 编辑
摘要: 1,实现一个完整的请求和响应模型 post请求 2.请求头headers处理 将上面的代码修改,设置一下请求头中的User-Agent域和Referer域信息 User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版 阅读全文
posted @ 2017-12-10 21:16 mrwuzs 阅读(3050) 评论(0) 推荐(0) 编辑
摘要: 网络爬虫的基本工作流 1)首先选取url 2)将urll放到待抓取的url队列中 3)从待抓取url队列中读取url 》解析dns 》获取主机IP--》下载对应的网页 》存储到已经下载的网页库中 》将url放到已经抓取的url队列中 4)分析已经抓取的url队列中的url 》重已经下载的网页数据中提 阅读全文
posted @ 2017-12-10 20:22 mrwuzs 阅读(773) 评论(0) 推荐(0) 编辑
摘要: 岛上书店于2016年7月5日看完 拖了这么久才把一篇看完,实在有些惭愧。 对于该书的评价有好有坏,有得说是鸡汤文,有得说是本好书。 在我看来确实有能够收益到的地方,即使鸡汤也罢。 欣赏aj的人品,抚养一个自己没有关系的人到到高中,说是欣赏,羡慕可能更多一些, 他所有的生活恰恰是我想拥有的,有着懂事的 阅读全文
posted @ 2017-12-10 16:30 mrwuzs 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 在吃饭的时候想找点什么看,打开了斗鱼,找了一个电影,扫毒,还刚开始播放,算是完整的看玩了,这部电影 事实上以前我也看过,但是已经忘记的差不多的、也看过网上的评价,说是这部电影毫无逻辑可言,拍的过于热血,是给十七八岁的少年看的。 不过,我看的还是挺热血澎湃的,可能和高端的知乎社区得人审美观还是有些距离 阅读全文
posted @ 2017-12-10 15:27 mrwuzs 阅读(211) 评论(0) 推荐(0) 编辑
摘要: 1、Python基本语法 1、@staticmethod 和 @classmethod Python中有三种方法,实例方法、类方法(@classmethod)、静态方法(@staticmethod)。 类方法的第一个参数是cls,表示该类的一个实例,静态方法基本上和一个全局函数相同 class A( 阅读全文
posted @ 2017-12-10 11:29 mrwuzs 阅读(356) 评论(0) 推荐(0) 编辑