摘要： 一.背景 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，采用串行的方式执行，只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：串行并不意味着低效，如果串行的都是纯计算的任务，那么cpu的利用率仍然会很高，之所以爬虫程序的串行低效，是因为爬虫程序 阅读全文

摘要： scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 分布式爬虫优点： 充分利用多机器的宽带加速爬 阅读全文

摘要： 二分法： n = 100 li = list(range(n)) def bin_search(li,val): low = 0 high = len(li) - 1 while low <= high: mid = (low + high) // 2 if li[mid] == val: retu 阅读全文

摘要： 1 阅读全文

摘要： 要想降低时间复杂度，那就必须浪费空间，要想降低空间复杂度，必须的消耗时间，两者是不可兼得的！在学校我也很认同这个观点，但是一直没有较深的体会，就连在我面试工作的时候，面试官问我这方面问题，我也是如是回答。但是在今天确实有了一些深的体会，在这里和大家谈谈，并且看看我最终为什么而进行了让步！ 一直没有接 阅读全文

摘要： PopUp,在Django中的简单示例： urls.py #直接在 urls/py,创建视图函数 from django.shortcuts import render def p1(request): return render(request,'p1.html') def p2(request) 阅读全文

摘要： 一 元类 元类是类的类，是类的模板 元类是用来控制如何创建类的，正如类是创建对象的模板一样，而元类的主要目的是为了控制类的创建行为 元类的实例化的结果为我们用class定义的类，正如类的实例为对象(f1对象是Foo类的一个实例，Foo类是 type 类的一个实例) type是python的一个内建元 阅读全文

摘要： 一 引子 从封装本身的意思去理解，封装就好像是拿来一个麻袋，把小猫，小狗，小王八，一起装进麻袋，然后把麻袋封上口子。照这种逻辑看，封装=‘隐藏’，这种理解是相当片面的。 其实，封装的理解，可以是 打包 #方式一 user_list = [ {'name':'汤姆','age':18}, #创建dic 阅读全文

摘要： Python为我们生成基本满足的说明文档，一来可以提高代码整体阅读性，二来可以将代码的整体结构看着也更清晰。 注意：注释的地方和函数名类名都是与__all__内相关联的 简单的代码格式： 强调说明下py的名字要和你当前工作的py名字一样(我这里创建的py名字就是PythonAnnotation,最后 阅读全文

摘要： 示例一： 事例二： 阅读全文