摘要：
一 介绍 为何要有索引? 一般的应用系统，读写比例在10:1左右，而且插入操作和一般的更新操作很少出现性能问题，在生产环境中，我们遇到最多的，也是最容易出问题的，还是一些复杂的查询操作，因此对查询语句的优化显然是重中之重。说起加速查询，就不得不提到索引了。 什么是索引？ 索引在MySQL中也叫做“键 阅读全文
摘要：
一 介绍 SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简言之便是：将对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 1、安装 2、架构与流程 ！！！上述流程分析，可以大致分为两个阶段！！！： 如果我们不依 阅读全文
摘要：
一 视图 视图是一个虚拟表（非真实存在），其本质是【根据SQL语句获取动态的数据集，并为其命名】，用户使用时只需使用【名称】即可获取结果集，可以将该结果集当做表来使用。 使用视图我们可以把查询过程中的临时表摘出来，用视图去实现，这样以后再想操作该临时表的数据时就无需重写复杂的sql了，直接去视图中查 阅读全文
摘要：
一 IDE工具介绍 生产环境还是推荐使用mysql命令行，但为了方便我们测试，可以使用IDE工具 下载链接：https://pan.baidu.com/s/1bpo5mqj 二 MySQL数据备份 一、使用mysqldump实现逻辑备份 二、恢复逻辑备份 三、备份/恢复案例 #数据库备份/恢复实验一 阅读全文
摘要：
一 介绍 MySQL数据操作： DML 在MySQL管理软件中，可以通过SQL语句中的DML语言来实现数据的操作，包括 本节内容包括： 插入数据 更新数据 删除数据 查询数据 二 插入数据INSERT 三 更新数据UPDATE 四 删除数据DELETE 五 查询数据SELECT 单表查询：http: 阅读全文
摘要：
一 存储引擎介绍 存储引擎即表类型，mysql根据不同的表类型会有不同的处理机制 详见：http://www.cnblogs.com/linhaifeng/articles/7213670.html 二 表介绍 表相当于文件，表中的一条记录就相当于文件的一行内容，不同的是，表中的一条记录有对应的标题 阅读全文
摘要：
一 数据库管理软件的由来 基于我们之前所学，数据要想永久保存，都是保存于文件中，毫无疑问，一个文件仅仅只能存在于某一台机器上。 如果我们暂且忽略直接基于文件来存取数据的效率问题，并且假设程序所有的组件都运行在一台机器上，那么用文件存取数据，并没有问题。 很不幸，这些假设都是你自己意淫出来的，上述假设 阅读全文
摘要：
一 系统数据库 information_schema： 虚拟库，不占用磁盘空间，存储的是数据库启动后的一些参数，如用户表信息、列信息、权限信息、字符信息等 performance_schema： MySQL 5.5开始新增一个数据库：主要用于收集数据库服务器性能参数，记录处理查询请求时发生的各种事件 阅读全文
摘要：
一 介绍 1、memcached & redis是什么？ 2、memcached与redis区别 3、memcached并未过时 www.oschina.net/news/26691/memcached-timeout 二 安装与基本操作 1、Redis安装 2、命令行基本操作 3、在Python中 阅读全文
摘要：
一 简介 MongoDB是一款强大、灵活、且易于扩展的通用型数据库 1、易用性 2、易扩展性 3、丰富的功能 4、卓越的性能 二 MongoDB基础知识 1、文档是MongoDB的核心概念。文档就是键值对的一个有序集{'msg':'hello','foo':3}。类似于python中的有序字典。 2 阅读全文
摘要：
PyQuery库也是一个非常强大又灵活的网页解析库，如果你有前端开发经验的，都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择，PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同，所以不用再去费心去记一些奇怪的方法了。 官网地址：htt 阅读全文
摘要：
一 介绍 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 的文档,Beautifu 阅读全文
摘要：
一 time与datetime模块 在Python中，通常有这几种方式来表示时间： 时间戳(timestamp)：通常来说，时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量。我们运行“type(time.time())”，返回的是float类型。 格式化的时间字符串(Forma 阅读全文
摘要：
一 介绍 官网：http://selenium-python.readthedocs.io 二 安装 1、有界面浏览器 #安装：selenium+chromedriver pip3 install selenium 下载chromdriver.exe放到python安装路径的scripts目录中即可 阅读全文
摘要：
一 介绍 官网链接：http://docs.python-requests.org/en/master/ 二 基于GET请求 1、基本请求 2、带参数的GET请求->params #在请求头内将自己伪装成浏览器，否则百度不会正常返回页面内容 import requests response=requ 阅读全文
摘要：
一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis， 然后重写Scrapy的Scheduler，让新的Schedu 阅读全文
摘要：
一 背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 阅读全文
摘要：
一 介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon As 阅读全文