摘要：
线程总结 常用用法 t.is_alive() Python中线程会在一个单独的系统级别线程中执行（比如一个POSIX线程或者一个Windows线程）这些线程将由操作系统来全权管理。线程一旦启动，将独立执行直到目标函数返回。可以通过查询一个线程对象的状态，看它是否还在执行t.is_alive() t. 阅读全文
摘要：
并发编程协程之Gevent Gevent官网文档地址：http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协同的例程，一般我们都简称为协程。 在linux系统中，线程就是轻量级 阅读全文
摘要：
asyncio模块 这是官网也非常推荐的一个实现高并发的一个模块，python也是在python 3.4中引入了协程的概念。 asyncio 是干什么的？ 异步网络操作 并发 协程 python3.0时代，标准库里的异步网络模块：select(非常底层) python3.0时代，第三方异步网络库：T 阅读全文
摘要：
消息队列介绍、RabbitMQ&Redis的重点介绍与简单应用 消息队列介绍、RabbitMQ、Redis 一、什么是消息队列 这个概念我们百度Google能查到一大堆文章，所以我就通俗的讲下消息队列的基本思路。 还记得原来写过Queue的文章，不管是线程queue还是进程queue他都是一种消息队 阅读全文
摘要：
爬虫scrapy框架之CrawlSpider 引入 提问：如果想要通过爬虫程序去爬取全站数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 阅读全文
摘要：
scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的动态加载出的数据 阅读全文