摘要：
我们一起尝试一下爬取内涵段子网站： http://www.neihan8.com/article/list_5_1.html 第一步：获取数据 这里我们统一定义一个类，将url请求作为一个成员方法处理。 我们创建一个文件，叫duanzi_spider.py 然后定义一个Spider类，并且添加一个加 阅读全文
摘要：
Python 的 re 模块 在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。 有一点需要特别注意的是，正则表达式使用 对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个 r 前缀，示例： re 模块的一般使用步骤如下： 使用 compile() 函数将正则表达式的字 阅读全文
摘要：
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Py 阅读全文
摘要：
Handler处理器 和 自定义Opener opener是 urllib2.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级 阅读全文
摘要：
urllib2库的基本使用 所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 在Python中有很多库可以用来抓取网页，我们先学习urllib2。 urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用) urllib2 官方文档：https:// 阅读全文
摘要：
Fiddler抓取HTTPS设置 启动Fiddler，打开菜单栏中的 Tools > Telerik Fiddler Options，打开“Fiddler Options”对话框。 对Fiddler进行设置： 打开工具栏->Tools->Fiddler Options->HTTPS， 选中Captu 阅读全文