摘要：
从yield 到 yield from 再到python协程 yield 关键字 def fib(): a, b = 0, 1 while 1: yield b a, b = b, a+b yield 是在：PEP 255 -- Simple Generators 这个pep引入的 yield 只能 阅读全文
摘要：
python通过future处理并发 future初识 通过下面脚本来对future进行一个初步了解：例子1：普通通过循环的方式 1 import os 2 import time 3 import sys 4 5 import requests 6 7 8 POP20_CC = ( 9 "CN I 阅读全文
摘要：
线程总结 常用用法 t.is_alive() Python中线程会在一个单独的系统级别线程中执行（比如一个POSIX线程或者一个Windows线程）这些线程将由操作系统来全权管理。线程一旦启动，将独立执行直到目标函数返回。可以通过查询一个线程对象的状态，看它是否还在执行t.is_alive() t. 阅读全文
摘要：
并发编程协程之Gevent Gevent官网文档地址：http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协同的例程，一般我们都简称为协程。 在linux系统中，线程就是轻量级 阅读全文
摘要：
asyncio模块 这是官网也非常推荐的一个实现高并发的一个模块，python也是在python 3.4中引入了协程的概念。 asyncio 是干什么的？ 异步网络操作 并发 协程 python3.0时代，标准库里的异步网络模块：select(非常底层) python3.0时代，第三方异步网络库：T 阅读全文
摘要：
消息队列介绍、RabbitMQ&Redis的重点介绍与简单应用 消息队列介绍、RabbitMQ、Redis 一、什么是消息队列 这个概念我们百度Google能查到一大堆文章，所以我就通俗的讲下消息队列的基本思路。 还记得原来写过Queue的文章，不管是线程queue还是进程queue他都是一种消息队 阅读全文
摘要：
爬虫scrapy框架之CrawlSpider 引入 提问：如果想要通过爬虫程序去爬取全站数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 阅读全文
摘要：
scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据 阅读全文