susmote

摘要： 协程，又称微线程，纤程。英文名Coroutine。 协程的概念很早就提出来了，但直到最近几年才在某些语言（如Lua）中得到广泛应用。 子程序，或者称为函数，在所有语言中都是层级调用，比如A调用B，B在执行过程中又调用了C，C执行完毕返回，B执行完毕返回，最后是A执行完毕。 所以子程序调用是通过栈实现 阅读全文

摘要： 之前跟大家已经讲了有关函数的一部分知识，但是忘了讲一个很重要的点，就是变量的作用域，这块知识不只是适用于函数，它试用域所有的Python程序 在正式写程序之前，必须要清楚这一块，否则就很容易犯错误 首先理清一个概念，什么是变量 变量可以我们可以将它看为指向值的名称，就像我们之前讲的字典一样的，只是这 阅读全文

摘要： 之前说过Python的多线程只能运行在一个单核上，也就是各线程是以并发的方式异步执行的 这篇文章我们来聊聊Python多进程的方式 多进程依赖于所在机器的处理器个数，在多核机器上进行多进程编程时，各核上运行的进程之间是并行执行的，可以利用进程池，是每一个内核上运行一个进程，当翅中的进程数量大于内核总 阅读全文

摘要： 在这一篇文章中，我们主要来介绍多线程抓取数据。 多线程是以并发的方式执行的，在这里要注意，Python的多线程程序只能运行在一个单核上以并发的方式运行，即便是多核的机器，所以说，使用多线程抓取可以极大地提高抓取效率 下面我们以requests为例介绍多线程抓取，然后在通过与单线程程序比较，体会多线程 阅读全文

摘要： 前面跟大家讲的request s和spynner都是单进程（单线程）的顺序抓取，而并发和并行执行的异步抓取会极大地提高抓取效率。 并行和并发 并发和并行使两个相似的概念，并发是指在一个时间段内发生若干事件的情况，并行是指在同一时刻发生若干事件的情况。 我们可以以CPU的工作方式来说明这两个概念 单核 阅读全文

摘要： 前面已经跟大家讲了requests模块的get方法，这一篇文章我们要介绍的是requests模块中的另一个比较常用的方法，post方法 post方法的形式相比于get要复杂一些，这时因为post在提交时需要提供一些数据信息，对于使用来说，两种方法基本差不多 请注意，查询字符串（名称/值对）是在 PO 阅读全文

摘要： 之前跟大家讲的是一些python的数据基础，从这篇文章开始，我们开始正式学习python的模块化编程 下面我们解释一下什么叫做模块 之前已经讲过怎么去定义一个方法，如果你是用python交互器(自带交互器，或者是ipython)来学习定义方法的话，你定义完方法后，然后退出交互器，然后你再来使用这个方 阅读全文

摘要： 关于requests模块 之前在跟大家讲通过字典列表批量获取数据的时候用过这个模块 安装过程就不再讲解了 requests模块是python的http库，可以完成绝大部分与http应用相关的工作，所以我们可以用它来进行数据抓取工作 requests模块有两个常用的方法，get 和 post 我们也主 阅读全文

摘要： 这一节还是一样学习操作目录文件的命令 在这一节，我会讲到解压压缩tar以及zip命令，以及文本查找命令grep tar 打包压缩命令 tar命令可以为linux的文件和目录创建档案 首先要弄清两个概念：打包和压缩。打包是指将一大堆文件或目录变成一个总的文件；压缩则是将一个大的文件通过一些压缩算法变成 阅读全文

摘要： 上一篇文章跟大家介绍了列表的一些方法，这一节我们还是讲列表 只是这一节我们要联系一些数据结构，来讲列表 栈 首先我们要理解一下栈是一种什么数据结构 栈（stack）又名堆栈，它是一种运算受限的线性表。其限制是仅允许在表的一端进行插入和删除运算。这一端被称为栈顶，相对地，把另一端称为栈底。向一个栈插入 阅读全文