摘要: configParser 模块用于操作配置文件 注:Parser汉译为“解析”之意。 配置文件的格式与windows ini文件类似,可以包含一个或多个节(section),每个节可以有多个参数(键=值)。 为了更好的理解本文,我们先了解一下配置文件的组成及命名:配置文件(INI文件)由章节(sec 阅读全文
posted @ 2017-10-18 23:30 Blue·Sky 阅读(2392) 评论(0) 推荐(1) 编辑
摘要: 结合scrapy 官方文档,进行学习,并整理了部分自己学习实践的内容 Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令,我们称为 “command” 或者 “Scrapy commands”。 Scrapy t 阅读全文
posted @ 2017-10-14 17:42 Blue·Sky 阅读(868) 评论(0) 推荐(1) 编辑
摘要: 架构概览 本文档介绍了Scrapy架构及其组件之间的交互。 概述 接下来的图表展现了Scrapy的架构,包括组件及在系统中发生的数据流的概览(绿色箭头所示)。 下面对每个组件都做了简单介绍,并给出了详细内容的链接。数据流如下所描述。 组件 引擎(Scrapy Engine) 引擎负责控制数据流在系统 阅读全文
posted @ 2017-10-13 23:20 Blue·Sky 阅读(519) 评论(0) 推荐(1) 编辑
摘要: Python -- Scrapy 框架简单介绍 最近在学习python 爬虫,先后了解学习urllib、urllib2、requests等,后来发现爬虫也有很多框架,而推荐学习最多就是Scrapy框架了,所以这里我也小试牛刀一下。 开始自己的Scrapy 框架学习之路。 一、Scrapy安装介绍 参 阅读全文
posted @ 2017-10-13 22:55 Blue·Sky 阅读(19956) 评论(3) 推荐(3) 编辑
摘要: Python requests快速上手 这里参考官方文档,在ide中写了一遍,加深一下印象,定义的函数只是为了方便区分不同的请求方式 阅读全文
posted @ 2017-10-13 20:58 Blue·Sky 阅读(451) 评论(0) 推荐(1) 编辑
摘要: Python requests介绍 引用官网介绍 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。 Requests 允许你发送纯天然,植物饲养的 HTTP/1.1 请求,无需手工劳动。你不需要手动为 URL 添加查询字串,也不需要对 POST 数据进行表单编码 阅读全文
posted @ 2017-10-13 00:07 Blue·Sky 阅读(679) 评论(0) 推荐(1) 编辑
摘要: Python -- 正则表达式 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符 阅读全文
posted @ 2017-10-12 22:48 Blue·Sky 阅读(445) 评论(0) 推荐(1) 编辑
摘要: python 函数参数介绍 python 使用过程总,总会遇到 *args,**kw形式的参数,总是一头雾水,而且网上介绍的或是叫法不一,为此专门深入实践进而了解了函数参数的使用 具体请看代码 阅读全文
posted @ 2017-10-12 17:03 Blue·Sky 阅读(792) 评论(0) 推荐(1) 编辑
摘要: Python - WebDriver 识别登录验证码 没什么可说的直接上代码! 阅读全文
posted @ 2017-09-29 23:10 Blue·Sky 阅读(2604) 评论(0) 推荐(2) 编辑
摘要: N天前实现了简单的验证识别,这玩意以前都觉得是高大上的东西,一直没有去研究,这次花了点时间研究了一下,当然只是一些基础的东西,高深的我也不会,分享一下给大家吧。 关于python验证码识别库,网上主要介绍的为pytesser及pytesseract,其实pytesser的安装有一点点麻烦,所以这里我 阅读全文
posted @ 2017-09-29 00:33 Blue·Sky 阅读(1345) 评论(0) 推荐(1) 编辑