摘要:
configParser 模块用于操作配置文件 注:Parser汉译为“解析”之意。 配置文件的格式与windows ini文件类似,可以包含一个或多个节(section),每个节可以有多个参数(键=值)。 为了更好的理解本文,我们先了解一下配置文件的组成及命名:配置文件(INI文件)由章节(sec 阅读全文
摘要:
结合scrapy 官方文档,进行学习,并整理了部分自己学习实践的内容 Scrapy是通过 scrapy 命令行工具进行控制的。 这里我们称之为 “Scrapy tool” 以用来和子命令进行区分。 对于子命令,我们称为 “command” 或者 “Scrapy commands”。 Scrapy t 阅读全文
摘要:
架构概览 本文档介绍了Scrapy架构及其组件之间的交互。 概述 接下来的图表展现了Scrapy的架构,包括组件及在系统中发生的数据流的概览(绿色箭头所示)。 下面对每个组件都做了简单介绍,并给出了详细内容的链接。数据流如下所描述。 组件 引擎(Scrapy Engine) 引擎负责控制数据流在系统 阅读全文
摘要:
Python -- Scrapy 框架简单介绍 最近在学习python 爬虫,先后了解学习urllib、urllib2、requests等,后来发现爬虫也有很多框架,而推荐学习最多就是Scrapy框架了,所以这里我也小试牛刀一下。 开始自己的Scrapy 框架学习之路。 一、Scrapy安装介绍 参 阅读全文
摘要:
Python requests快速上手 这里参考官方文档,在ide中写了一遍,加深一下印象,定义的函数只是为了方便区分不同的请求方式 阅读全文
摘要:
Python requests介绍 引用官网介绍 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。 Requests 允许你发送纯天然,植物饲养的 HTTP/1.1 请求,无需手工劳动。你不需要手动为 URL 添加查询字串,也不需要对 POST 数据进行表单编码 阅读全文
摘要:
Python -- 正则表达式 正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块,它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符 阅读全文
摘要:
python 函数参数介绍 python 使用过程总,总会遇到 *args,**kw形式的参数,总是一头雾水,而且网上介绍的或是叫法不一,为此专门深入实践进而了解了函数参数的使用 具体请看代码 阅读全文