摘要：
爬虫 高性能的异步爬虫 scrapy框架持久化存储 UA池和代理池 Linux redis mariadb Linux下virtualenv与virtualenvwrapper详解 Linux基本命令 linux编译安装python3 ansible Flask 实例化Flask的参数以及对app的 阅读全文
摘要：
我们根据一个小栗子,来更好的理解 __getattribute__的用法: -- python2: class Tree(object): #继承object def __init__(self,name): self.name = name self.cate = 'plant' def __ge 阅读全文
摘要：
from openpyxl import load_workbook from openpyxl.comments import Comment wb = load_workbook(filename='123.xlsx',read_only=False) sheet = wb['Sheet1'] for row in sheet['A4':'AC25']: #选择修改范围 for... 阅读全文
摘要：
关于装饰器,在面试时,经常会被问到这两个问题: 这篇博客就根据这两个问题,带大家系统的学习装饰器的所有内容.希望对大家有所帮助. 1. hello,装饰器 装饰器的使用方法很简单: 1. 先定义一个装饰器 2. 再定义你的业务函数或者类 3. 最后把装饰器加在这个函数上面 举个小栗子: 实际上，装饰 阅读全文
摘要：
class Test1(dict): def __init__(self): self.update() self.load() def update(self): print 'update 执行' def load(self): k = 'key' v = 'value' ... 阅读全文
摘要：
首先去下载pyqt4的whl https://www.lfd.uci.edu/~gohlke/pythonlibs/#pyqt4 比如： PyQt4-4.11.4-cp37-cp37m-win_amd64.whl 然后: pip install PyQt4-4.11.4-cp27-cp27m-win 阅读全文
摘要：
calendar: 显示指定月份的天数 heapq: 利用堆的特性,实现数据的排序 calendar 每个月份的天数是不一样的,像1,3,5等月份有31天,4,6,9等月份有30天,更别说,天数更为特殊的2月份. 所以如何快速有效的获取某年某月的总天数,就比较麻烦了.Python为我们提供了内置的模 阅读全文
摘要：
pypinyin 百度AI的语音识别并不能很好的识别中文同音字,比如'圆圆','媛媛','园园'等,它是根据用户搜索关键字的热度来识别的,那么遇到中文同音字的问题要怎么处理呢? 现在就要用到Python强大的三方库了,叫 pypinyin 举个小例子: from pypinyin import TO 阅读全文
摘要：
简介 WebSocket是一种在单个TCP连接上进行全双工通信的协议。 WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。 Web 阅读全文
摘要：
使用UA池和代理池的目的是: 防止爬取网站的反爬虫策略.那么UA池和代理池在scrapy框架中是如何应用的呢? 我们先了解下scrapy的下载中间件. scrapy框架图: 下载中间件（Downloader Middlewares） 是位于scrapy引擎和下载器之间的一层组件。 - 作用： （1） 阅读全文
摘要：
scrapy框架持久化存储 1. 基于终端指令的持久化存储 2. 基于管道的持久化存储 基于终端指令的持久化存储 - 保证爬虫文件的parse方法中有可迭代对象(通常为列表or字典)的返回,该返回值可以通过终端指令的形式写入指定格式(.json/.xml/.csv)的文件中进行持久化操作. 基于管道 阅读全文