摘要： 所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。排序算法，就是如何使得记录按照要求排列的方法。 目录 一、排序的基本概念和分类 二、 冒泡排序 三、简单选择排序 四、直接插入排序 五、希尔排序 六、堆排序 七、归并排序 八、快速排序 一、排序的基本概念和分类 阅读全文

摘要： 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1、同步执行 2、多线程执行 线程池不能太多，因为线程的上下文切换，浪费时间，会降低整体效率； 每个线程发出请求之后就阻塞，等待返回数据，这中间的时间线程处于空闲状态； 线程池不能太多， 阅读全文

摘要： 目录 一、简介 二、安装和基本使用 三. 选择器 四. 格式化和持久化处理(item+pipelines) 五.爬虫中间件 六. 自定制命令 七. 自定义扩展 八. 避免重复访问 九.配置文件和示例 一、简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘 阅读全文