摘要: # -*- encoding:utf-8 -*-class transCookie: def __init__(self, cookie): self.cookie = cookie def stringToDict(self): ''' 将从浏览器上Copy来的cookie字符串转化为Scrapy 阅读全文
posted @ 2017-09-17 18:05 诡道!!! 阅读(728) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.cnblogs.com/kennyhr/p/4018668.html(侵权可联系本人删掉) 一直以来技术群里会有新入行的同学提问关于urllib和urllib2以及cookielib相关的问题。所以我打算在这里总结一下,避免大家反复回答同样的问题浪费资源。 这篇属于教程类 阅读全文
posted @ 2017-09-17 17:25 诡道!!! 阅读(9761) 评论(0) 推荐(0) 编辑
摘要: 恢复内容开始 一.首先必须先了解类和实例的区别 类是你定义的这个新类型,这个类型可以有很多个实例。比如 a = A(),A是个类,a就是A的一个实例,同样可以b=A(),b也是A的一个实例。初始化函数__init__在实例刚创建完成的时候调用,这里可以对这个实例的属性进行初始化 class A: d 阅读全文
posted @ 2017-09-10 14:30 诡道!!! 阅读(10150) 评论(0) 推荐(3) 编辑
摘要: # -*- encoding: utf-8 -*-import reimport sysimport MySQLdb# db = MySQLdb.connectionimport jsonreload(sys)sys.setdefaultencoding("utf-8")keyword = {}fo 阅读全文
posted @ 2017-09-04 22:29 诡道!!! 阅读(489) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-09-04 22:25 诡道!!! 阅读(8) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-09-04 20:57 诡道!!! 阅读(3) 评论(0) 推荐(0) 编辑
只有注册用户登录后才能阅读该文。 阅读全文
posted @ 2017-08-31 22:16 诡道!!! 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 一位世界500强人力资源总监的六轮面试经历 转自:http://blog.sina.com.cn/s/blog_5e82d3a10101m07n.html 一位世界500强人力资源总监的六轮面试经历 转自:http://blog.sina.com.cn/s/blog_5e82d3a10101m07n 阅读全文
posted @ 2017-07-25 14:15 诡道!!! 阅读(695) 评论(0) 推荐(0) 编辑
摘要: 本人学爬虫一段时间,爬的都是简单的网页。但突然有一天爬网页被拦截,不知如何是好,问度娘上百次,总结了一下经验 在访问网页的时候被拦截,封你的IP,登录验证等手段不让爬客们得逞,但是道高一尺,魔高一丈。我开始研习突破反爬虫限制的功法 1.伪装流浪器报头 很多服务器通过浏览器发给它的报头来确认是否是人类 阅读全文
posted @ 2017-04-28 10:10 诡道!!! 阅读(3382) 评论(0) 推荐(0) 编辑
摘要: 以下做的项目是用Python3.5版本,爬取股票数据存储数据库# coding:utf8import re #匹配正则表达式import requests #Requests 使用的是 urllib3,因此继承了它的所有特性。Requests 支持 HTTP 连接保持和连接池,支持使用 cookie 阅读全文
posted @ 2017-04-27 20:43 诡道!!! 阅读(444) 评论(0) 推荐(0) 编辑