会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
代码改变世界!
立志要如山,行道要如水,如山能坚定,如水能曲达!代码改变世界!
上一页
1
···
4
5
6
7
8
9
10
11
12
···
16
下一页
2020年1月12日
Scrapy初始
摘要: Scrapy框架(爬虫框架) 一、什么是Scrapy? Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。 所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化存储等)的具有很强通用性的项目模板。 对于框架的学习,重点是要学习其框架
阅读全文
posted @ 2020-01-12 15:18 异步非阻塞
阅读(192)
评论(0)
推荐(0)
编辑
2020年1月10日
事务隔离怎么保证
摘要: 一、什么是事务 事务:在数据库操作中事务就是一条或者多条SQL语句组成的一个不可分割的工作单元。 特点:在事务当中的所有操作都正常完成时,整个事务才被提交到数据库当中,如果有一项操作没有完成,那么整个事务会被回滚。 二、事务的四大特性(ACID) A : 原子性: 同一个事务中可能有多条sql语句,
阅读全文
posted @ 2020-01-10 19:38 异步非阻塞
阅读(616)
评论(0)
推荐(0)
编辑
简述MVCC机制
摘要: MVCC概念: 被称为多版本并发控制,是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问;与大多数的MySQL事务型存储引擎的行级锁配合使用 MVCC实现原理: MVCC是通过保存数据在某个时间点的快照来实现的,MVCC主要是为Repeatable-Read(可避免脏独,不可重复读
阅读全文
posted @ 2020-01-10 17:44 异步非阻塞
阅读(702)
评论(0)
推荐(0)
编辑
提升requests模块的爬取效率
摘要: 一、提升requests模块的爬取效率 1、多线程和多进程(不建议使用) 2、线程池或进程池(适当使用) 3、单线程+异步协程(爬虫推荐使用) 二、单线程。爬取某视频到本地 import re import time import random import requests from lxml i
阅读全文
posted @ 2020-01-10 17:42 异步非阻塞
阅读(2057)
评论(0)
推荐(1)
编辑
selenium自动化模块的应用
摘要: 一、selenium概念 1、用来完成浏览器自动化的相关操作 2、使用程序编写一系列的键盘、鼠标的相关操作(让浏览器来完成), 当我们执行代码时,就会触发一系列的事件 二、selenium在爬虫中的作用 1、可以获取动态加载的数据 三、selenium安装 1、pip install seleniu
阅读全文
posted @ 2020-01-10 15:00 异步非阻塞
阅读(390)
评论(0)
推荐(0)
编辑
2020年1月9日
爬虫基础1-jupyter的安装使用,以及requests的基本用法
摘要: 一、 jupyter的使用- 1 jupyter的安装 - pip install jupyter - 2 jupyter的使用 - 创建txt/文件夹/终端/python3 - 3 jupyter的快捷键 创建: a或b 删除l:dd 使用tab补全 执行l: shift+enter 代码或mar
阅读全文
posted @ 2020-01-09 18:36 异步非阻塞
阅读(959)
评论(0)
推荐(0)
编辑
2020年1月8日
什么是数据库范式
摘要: 数据库范式 首先,我们先要了解什么是数据库,数据库简单来说就是数据集合。它有以下几个特点:以一定方式存储在一起,能与多个用户共享,具有尽可能小的冗余度,与应用程序彼此独立的数据集合。我们可以视为电子化的文件柜——存储电子文件的处所。用户可以对文件的数据进行新增,查询,更新,删除等操作。 其次,什么是
阅读全文
posted @ 2020-01-08 17:10 异步非阻塞
阅读(663)
评论(0)
推荐(0)
编辑
2020年1月7日
mysql的存储引擎有那些? 它们的区别是
摘要: 引擎是什么? MySQL中的数据用各种不同的技术存储在文件(或者内存)中。这些技术中的每一种技术都使用不同的存储机制、索引技巧、锁定水平并且最终提供广泛的不同的功能和能力。通过选择不同的技术,你能够获得额外的速度或者功能,从而改善你的应用的整体功能。 在文件系统中,MySQL将每个数据库(也可以称之
阅读全文
posted @ 2020-01-07 17:27 异步非阻塞
阅读(812)
评论(0)
推荐(0)
编辑
select count(*),count(1),count(name)哪个性能好,为什么
摘要: 1. count(1) and count(*) 当表的数据量大些时,对表作分析之后,使用count(1)要比使用count(*)用时多! 从执行计划来看,count(1)和count(*)的效果是一样的。 但是在表做过分析之后,count(1)会比count(*)的用时要少一些(1w以内数据量),
阅读全文
posted @ 2020-01-07 17:21 异步非阻塞
阅读(589)
评论(0)
推荐(0)
编辑
Mysql 的索引有哪些
摘要: MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构。MySQL索引常用有:主键索引、唯一索引、普通索引、全文索引和组合索引。还有一些 单列索引、多列索引的说法. 主键索引: 主键是一种唯一性索引,但它必须指定为PRIMARY KEY,每个表只能有一个主键。 唯一索
阅读全文
posted @ 2020-01-07 17:17 异步非阻塞
阅读(2987)
评论(0)
推荐(0)
编辑
上一页
1
···
4
5
6
7
8
9
10
11
12
···
16
下一页
导航
首页
新随笔
新文章
管理