摘要:
目录 一、Python基础 Python基础一 (python简介、变量、if,while语句) Python基础二(while else,格式化输出,逻辑运算,编码基础) Python基础三(数据类型之字符串常用方法、for循环) Python基础四(数据类型之列表、元组用法) Python基础五 阅读全文
摘要:
一 Linux安装 psycopg2 最近使用python操作postgresql数据库,需要使用到第三方库psycopg2 , 在安装过程遇到过的坑(花费了近3个小时才搞定),总结一下,一面以后再使用时跳过: 其中一 二满足条件可直接略过, 一 安装wget 如果你的Linux环境是新安装的环境, 阅读全文
摘要:
1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快。因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小。 例如,在定义邮政编码这个字段时,如果将其设置为CHAR(255),显然给数据库增加了不必要 阅读全文
摘要:
前言 上下文这个概念多见于文章中,是一句话中的语境,也就是语言环境。一句莫名其妙的话出现会让人不理解什么意思,如果有语言环境的说明,则会更好,这就是语境对语意的影响。 上下文是一种属性的有序序列,为驻留在环境内的对象定义环境。在对象的激活过程中创建上下文,对象被配置为要求某些自动服务,如同步、事务、 阅读全文
摘要:
算法概述 0.1 算法分类 十种常见排序算法可以分为两大类: 非线性时间比较类排序:通过比较来决定元素间的相对次序,由于其时间复杂度不能突破O(nlogn),因此称为非线性时间比较类排序。 线性时间非比较类排序:不通过比较来决定元素间的相对次序,它可以突破基于比较排序的时间下界,以线性时间运行,因此 阅读全文
摘要:
一、接口类 接口类的实现主要为了接口化,归一化,统一化,就是每个类的方法都是固定的名称from abc import abstractmethod, ABCMeta class Payment(metaclass=ABCMeta): """父类实现的方法加入子类继承了必须实现,否则报错""" @ab 阅读全文
摘要:
设计模式 设计模式六大原则: 开闭原则:一个软件实体入类、模块和函数应该对扩展开放,对修改关闭。即软件实体应该在不修改原有代码的情况下进行扩展 里氏替换原则:所有引用基类(父类)的地方必须能够透明的使用其子类的对象 依赖倒置原则:高层模块不应该依赖底层模块,二者都应该依赖其抽象:抽象不应该依赖细节; 阅读全文
摘要:
数据结构基础 数据结构 定义:简单来说,数据结构就是设计数据以何种方式组织并存储在计算机中。比如:列表、集合与字典等都是一种数据结构。 PS:“程序=数据结构+算法” 列表:在其他编程语言中称为“数组”,是一种基本的数据结构类型。 关于:列表的存储问题!数据结构的分类: 线性结构:数据结构中的元素存 阅读全文
摘要:
算法基本概念 算法: 计算过程,解决问题的方法, 时间复杂度 用来评估算法运行效率的一个东西 以上几种算法分别表示了 算法的几种时间复杂度 依次为:O(1) O(N) O(N**2) O(N**3) 时间复杂度是用来估计算法运行时间的一个式子(单位)。 一般来说,时间复杂度高的算法比复杂度低的算法慢 阅读全文
摘要:
阅读目录 一 介绍 二、scrapy-redis组件 一 介绍 原来scrapy的Scheduler维护的是本机的任务队列(存放Request对象及其回调函数等信息)+本机的去重队列(存放访问过的url地址) 所以实现分布式爬取的关键就是,找一台专门的主机上运行一个共享的队列比如Redis,然后重写 阅读全文
摘要:
Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser 阅读全文