06 2020 档案
摘要：#! /usr/bin/python # coding=utf-8 from datetime import datetime,timedelta """ timedelta代表两个datetime之间的时间差 """ now = datetime.now() past = past = datet
阅读全文
摘要：类变量（类属性） 类变量指的是在类中，但在各个类方法外定义的变量。举个例子： class CLanguage : # 下面定义了2个类变量 name = "C语言中文网" add = "http://c.biancheng.net" # 下面定义了一个say实例方法 def say(self, co
阅读全文
摘要：1、函数内部的变量名如果第一次出现，且出现在=前面，即被视为定义一个局部变量，不管全局域中有没有用到该变量名，函数中使用的将是局部变量，例如： num = 100def func(): num = 123 print(num) func()输出：123 说明函数中定义的num是一个局部变量，会将全局
阅读全文
摘要：在Python的变量使用中，经常会遇到这样的错误: local variable 'a' referenced before assignment它的意思是：局部变量“a”在赋值前就被引用了。 比如运行下面的代码就会出现这样的问题： a = 3def Fuc(): print (a) a = a
阅读全文
摘要：以a=[1,2,3] 为例，似乎使用del, remove, pop一个元素2 之后 a都是为 [1,3], 如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 >>> a=[1,2,3] >>> a.remove(2) >>> a [1, 3] >>> a=[1,2,3] >
阅读全文
摘要：在前面两篇文章介绍了下载器中间件的使用，这篇文章将会介绍爬虫中间件（Spider Middleware）的使用。 爬虫中间件 爬虫中间件的用法与下载器中间件非常相似，只是它们的作用对象不同。下载器中间件的作用对象是请求request和返回response；爬虫中间件的作用对象是爬虫，更具体地来说，就
阅读全文
摘要：中间件是Scrapy里面的一个核心概念。使用中间件可以在爬虫的请求发起之前或者请求返回之后对数据进行定制化修改，从而开发出适应不同情况的爬虫。 “中间件”这个中文名字和前面章节讲到的“中间人”只有一字之差。它们做的事情确实也非常相似。中间件和中间人都能在中途劫持数据，做一些修改再把数据传递出去。不同
阅读全文
摘要：在上一篇文章中介绍了下载器中间件的一些简单应用，现在再来通过案例说说如何使用下载器中间件集成Selenium、重试和处理请求异常。 在中间件中集成Selenium 对于一些很麻烦的异步加载页面，手动寻找它的后台API代价可能太大。这种情况下可以使用Selenium和ChromeDriver或者Sel
阅读全文
摘要：开发环境： Python 3.6.0 版本 （当前最新） Scrapy 1.3.2 版本 （当前最新） [toc] Scrapy安装 Scrapy在Python 2.7和Python 3.3或更高版本上运行（除了在Windows 3上不支持Python 3）。 通用方式：可以从pip安装Scrapy
阅读全文
摘要：Python sys 模块详解 1. 简介 “sys”即“system”，“系统”之意。该模块提供了一些接口，用于访问 Python 解释器自身使用和维护的变量，同时模块中还提供了一部分函数，可以与解释器进行比较深度的交互。 2. 常用功能 2.1 sys.argv “argv”即“argument
阅读全文
