摘要： 我们接下来一个一个来看关于Go语言中的三个目录的详细解释先通过go env查看go的环境变量(我这里是mac的环境，所以可能和你的不同) GOROOT 其实就是golang 的安装路径当你安装好golang之后其实这个就已经有了 GOPATH go命令依赖的一个重要环境变量：$GOPATH 其实可以 阅读全文

摘要： 在看闭包问题之前先来看看关于python中作用域的问题 变量作用域 对于上述代码中出现错误，肯定没什么疑问了，毕竟b并没有定义和赋值，当我们把代码更改如下后： 再看一个例子： 首先这个错误已经非常明显：说在赋值之前引用了局部变量b 可能很多人觉得会打印10然后打印6，其实这里就是涉及到变量作用域的问 阅读全文

摘要： future初识 通过下面脚本来对future进行一个初步了解：例子1：普通通过循环的方式 例子2：通过future方式实现，这里对上面的部分代码进行了复用 分别运行三次，两者的平均速度：13.67和1.59s，可以看到差别还是非常大的。 future future是concurrent.futur 阅读全文

摘要： 常用用法 t.is_alive() Python中线程会在一个单独的系统级别线程中执行（比如一个POSIX线程或者一个Windows线程）这些线程将由操作系统来全权管理。线程一旦启动，将独立执行直到目标函数返回。可以通过查询一个线程对象的状态，看它是否还在执行t.is_alive() t.join( 阅读全文

摘要： 从语法上来看，协程和生成器类似，都是定义体中包含yield关键字的函数。yield在协程中的用法： 在协程中yield通常出现在表达式的右边，例如：datum = yield,可以产出值，也可以不产出--如果yield关键字后面没有表达式，那么生成器产出None. 协程可能从调用方接受数据，调用方是 阅读全文

摘要： 所有的生成器都是迭代器 关于迭代器和生成器的一种定义：迭代器用于从集合中取出元素；生成器用于凭空生成元素。 Python中，所有的集合都是可以迭代的，在Python语言内部，迭代器用于支持： for 循环 构建和扩展集合类型 逐行遍历文本文件 列表推导，字典推导，集合推导 元组拆包 调用函数时，使用 阅读全文

摘要： Gevent官网文档地址：http://www.gevent.org/contents.html 基本概念 我们通常所说的协程Coroutine其实是corporate routine的缩写，直接翻译为协同的例程，一般我们都简称为协程。 在linux系统中，线程就是轻量级的进程，而我们通常也把协程称 阅读全文

摘要： pycharm是一个非常强大的python开发工具，现在很多代码最终在线上跑的环境都是linux，而开发环境可能还是windows下开发，这就需要经常在linux上进行调试，或者在linux对代码进行编写，而pycharm提供了非常便捷的方式。具体实现在windows上远程linux开发和调试的代码 阅读全文

摘要： 因为现在很多网站为了限制爬虫，设置了为只有登录才能看更多的内容，不登录只能看到部分内容，这也是一种反爬虫的手段，所以这个文章通过模拟登录知乎来作为例子，演示如何通过scrapy登录知乎 在通过scrapy登录知乎之前，我们先通过requests模块登录知乎，来熟悉这个登录过程 不过在这之前需要了解的 阅读全文

摘要： 总架构理解Middleware 通过scrapy官网最新的架构图来理解： 这个图较之前的图顺序更加清晰，从图中我们可以看出，在spiders和ENGINE提及ENGINE和DOWNLOADER之间都可以设置中间件，两者是双向的，并且是可以设置多层. 关于Downloader Middleware我在 阅读全文