摘要： Scrapy框架(爬虫框架) 一、什么是Scrapy？ Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。 所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化存储等）的具有很强通用性的项目模板。 对于框架的学习，重点是要学习其框架 阅读全文

摘要： 一、什么是事务 事务：在数据库操作中事务就是一条或者多条SQL语句组成的一个不可分割的工作单元。 特点：在事务当中的所有操作都正常完成时，整个事务才被提交到数据库当中，如果有一项操作没有完成，那么整个事务会被回滚。 二、事务的四大特性（ACID） A : 原子性: 同一个事务中可能有多条sql语句, 阅读全文

摘要： MVCC概念: 被称为多版本并发控制,是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问;与大多数的MySQL事务型存储引擎的行级锁配合使用 MVCC实现原理: MVCC是通过保存数据在某个时间点的快照来实现的,MVCC主要是为Repeatable-Read(可避免脏独,不可重复读 阅读全文

摘要： 一、提升requests模块的爬取效率 1、多线程和多进程(不建议使用) 2、线程池或进程池(适当使用) 3、单线程+异步协程(爬虫推荐使用） 二、单线程。爬取某视频到本地 import re import time import random import requests from lxml i 阅读全文

摘要： 一、selenium概念 1、用来完成浏览器自动化的相关操作 2、使用程序编写一系列的键盘、鼠标的相关操作(让浏览器来完成), 当我们执行代码时，就会触发一系列的事件 二、selenium在爬虫中的作用 1、可以获取动态加载的数据 三、selenium安装 1、pip install seleniu 阅读全文

摘要： 一、 jupyter的使用- 1 jupyter的安装 - pip install jupyter - 2 jupyter的使用 - 创建txt/文件夹/终端/python3 - 3 jupyter的快捷键 创建: a或b 删除l：dd 使用tab补全 执行l: shift+enter 代码或mar 阅读全文

摘要： 数据库范式 首先，我们先要了解什么是数据库，数据库简单来说就是数据集合。它有以下几个特点：以一定方式存储在一起，能与多个用户共享，具有尽可能小的冗余度，与应用程序彼此独立的数据集合。我们可以视为电子化的文件柜——存储电子文件的处所。用户可以对文件的数据进行新增，查询，更新，删除等操作。 其次，什么是 阅读全文

摘要： 引擎是什么？ MySQL中的数据用各种不同的技术存储在文件(或者内存)中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术，你能够获得额外的速度或者功能，从而改善你的应用的整体功能。 在文件系统中，MySQL将每个数据库（也可以称之 阅读全文

摘要： 1. count(1) and count(*) 当表的数据量大些时，对表作分析之后，使用count(1)要比使用count(*)用时多！ 从执行计划来看，count(1)和count(*)的效果是一样的。 但是在表做过分析之后，count(1)会比count(*)的用时要少一些（1w以内数据量）， 阅读全文

摘要： MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。MySQL索引常用有：主键索引、唯一索引、普通索引、全文索引和组合索引。还有一些 单列索引、多列索引的说法. 主键索引: 主键是一种唯一性索引，但它必须指定为PRIMARY KEY，每个表只能有一个主键。 唯一索 阅读全文