摘要：
五种IO模型 1.阻塞I/O模型 老李去火车站买票，排队三天买到一张退票。 耗费：在车站吃喝拉撒睡 3天，其他事一件没干。 2.非阻塞I/O模型 老李去火车站买票，隔12小时去火车站问有没有退票，三天后买到一张票。耗费：往返车站6次，路上6小时，其他时间做了好多事。 3.I/O复用模型 1.sele 阅读全文
摘要：
转自 周道长 博客 原文链接 https://www.cnblogs.com/zhoudaozhang/p/9445017.html Mediakit报告设备商的空间不足以执行此操作的纯MAC解法 因为误操作，删了200mb的磁盘扇区，一直时间胶囊创建失败，说是内存不足 使用Mac对磁盘进行分区，显 阅读全文
摘要：
去重策略 1）使用scrapy自带的set集合去重，当程序结束的时候会被清空，缺点：再次运行会导致数据重复。 2）使用mysql做去重，对url地址进行md5，base64加密，加密之后会得到一串字符，判断字符串 是否在mysql表中，如果在表示已经爬取过了，如果不在，表示没有爬取，执行请求，将加密 阅读全文
摘要：
现在多进程多线程已经是老生常谈了，协程也在最近几年流行起来。python中有协程库gevent，py web框架tornado中也用了gevent封装好的协程。本文主要介绍进程、线程和协程三者之间的区别。 一、概念 1、进程 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进 阅读全文