08 2021 档案
摘要：package main import ( "fmt" ) func test(arr ...int) { for k,v := range arr{ fmt.Println(k,v) } } func main() { var arr = make([]int,0 ) arr = append(a
阅读全文
摘要：你好，我是LMOS。 欢迎来到操作系统第一课。在真正打造操作系统前，有一条必经之路：你知道程序是如何运行的吗？ 一个熟练的编程老手只需肉眼看着代码，就能对其运行的过程了如指掌。但对于初学者来说，这常常是很困难的事，这需要好几年的程序开发经验，和在长期的程序开发过程中对编程基本功的积累。 我记得自己最
阅读全文
摘要：前言 随着服务器硬件迭代升级，配置也越来越高。为充分利用服务器资源，并发编程也变的越来越重要。在开始之前，需要了解一下并发(concurrency)和并行(parallesim)的区别。 并发: 逻辑上具有处理多个同时性任务的能力。 并行: 物理上同一时刻执行多个并发任务。 通常所说的并发编程，也就
阅读全文
摘要：golang 可视化调试 package main import ( "fmt" "os" "runtime/trace" ) func main() { // 创建trace f,err := os.Create("trace.out") if err != nil{ panic(err) } d
阅读全文
摘要：
阅读全文
摘要：01 计数排序算法概念 计数排序不是一个比较排序算法，该算法于1954年由 Harold H. Seward提出，通过计数将时间复杂度降到了O(N)。 02 基础版算法步骤 第一步：找出原数组中元素值最大的，记为max。 第二步：创建一个新数组count，其长度是max加1，其元素默认值都为0。 第
阅读全文
摘要：一、思想一句话总结：划分多个范围相同的区间，每个子区间自排序，最后合并。 桶排序是计数排序的扩展版本，计数排序可以看成每个桶只存储相同元素，而桶排序每个桶存储一定范围的元素，通过映射函数，将待排序数组中的元素映射到各个对应的桶中，对每个桶中的元素进行排序，最后将非空桶中的元素逐个放入原序列中。 桶排
阅读全文
摘要：一、基数排序思想 相比其它排序，主要是利用比较和交换，而基数排序则是利用分配和收集两种基本操作。基数 排序是一种按记录关键字的各位值逐步进行排序的方法。此种排序一般适用于记录的关键字为整数类型的情况。所有对于字符串和文字排序不适合。 实现：将所有待比较数值（自然数）统一为同样的数位长度，数位较短的数
阅读全文
摘要：希尔排序是希尔（Donald Shell）于1959年提出的一种排序算法。希尔排序也是一种插入排序，它是简单插入排序经过改进之后的一个更高效的版本，也称为缩小增量排序，同时该算法是冲破O(n2）的第一批算法之一。本文会以图解的方式详细介绍希尔排序的基本思想及其代码实现。 基本思想 希尔排序是把记录按
阅读全文
摘要：预备知识 堆排序 堆排序是利用堆这种数据结构而设计的一种排序算法，堆排序是一种选择排序，它的最坏，最好，平均时间复杂度均为O(nlogn)，它也是不稳定排序。首先简单了解下堆结构。 堆 堆是具有以下性质的完全二叉树：每个结点的值都大于或等于其左右孩子结点的值，称为大顶堆；或者每个结点的值都小于或等于
阅读全文
摘要：快速排序由C. A. R. Hoare在1962年提出。它的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列 基本步骤 三数取中 在快排的
阅读全文
摘要：基本思想 归并排序（MERGE-SORT）是利用归并的思想实现的排序方法，该算法采用经典的分治（divide-and-conquer）策略（分治法将问题分(divide)成一些小的问题然后递归求解，而治(conquer)的阶段则将分的阶段得到的各答案"修补"在一起，即分而治之)。 分而治之 可以看到
阅读全文
摘要：快速排序是冒泡排序的改进版，也是最好的一种内排序，在很多面试题中都会出现，也是作为程序员必须掌握的一种排序方法。 思想:1.在待排序的元素任取一个元素作为基准(通常选第一个元素，但最的选择方法是从待排序元素中随机选取一个作为基准)，称为基准元素； 2.将待排序的元素进行分区，比基准元素大的元素放在它
阅读全文
摘要：显然，我们从图中可以看出快排运用了二分的思想，首先选择一个基准，定义左右两端指针，先从左到右进行扫描直到，R[hi] < temp,将R[hi]移动至lo所在位置 从右往左进行扫描，直到R[lo] > temp,将R[lo]移动到hi所在位置上，左右端指针在排序过程中从数组的两端往中间进行靠近，直到
阅读全文
摘要：排序算法可以分为内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。用一张图概括： 关于时间复杂度： 平方阶
阅读全文
摘要：def bubble(a): n = len(a) for i in range(1,n): for j in range(0,n-i): if a[j] > a[j+1]: a[j],a[j+1] = a[j+1],a[j] if __name__ == '__main__': lst = [6,
阅读全文
摘要：package graph.fenzhi; public class Divide { public static void main(String[] args) { Solution solution = new Solution(); int i = solution.fib(10); Sys
阅读全文
摘要：package graph.fenzhi; public class Divide { public static void main(String[] args) { System.out.println("汉诺塔"); char a,b,c; a = 'A'; b = 'B'; c = 'C';
阅读全文
摘要：10,11,7,6,8,9 package tree.bst.avl; public class AVLTreeDemo { public static void main(String[] args) { //int[] arr = {4,3,6,5,7,8}; //int[] arr = {10
阅读全文
摘要：左旋——自己变为右孩子的左孩子；右旋——自己变为左孩子的右孩子； 以上口诀+动图=完美 高度平衡的搜索二叉树 一棵平衡树，或是空树，或是具有以下性质的二叉搜索树：左子树和右子树都是AVL树，且左右子树的高度之差的绝对值不超过1。 平衡化旋转 AVL树相较于普通的二叉搜索树，自主要的就是做了平衡化处理
阅读全文
摘要：package tree.bst.avl; public class AVLTreeDemo { public static void main(String[] args) { int[] arr = {4,3,6,5,7,8}; AvlTree avlTree = new AvlTree();
阅读全文
摘要：删除叶子节点 删除只有一个的子节点的 删除有两个子节点的 package tree.bst; public class bstDemo { public static void main(String[] args) { System.out.println("二叉排序树"); BstTree bs
阅读全文
摘要：package tree.bst; public class bstDemo { public static void main(String[] args) { System.out.println("二叉排序树"); BstTree bstTree = new BstTree(); int[]
阅读全文
摘要：package jiegou.bst; import sun.font.GlyphLayout; import sun.nio.cs.ext.TIS_620; // 二叉排序树 public class BinarySortTreeDemo { public static void main(Str
阅读全文
摘要：
阅读全文
摘要：package jiegou.tree; import jdk.packager.services.userjvmoptions.PreferencesUserJvmOptions; import java.util.ArrayList; public class ArrayTreeDemo { p
阅读全文
摘要：package jiegou.tree; public class BinaryTreeDemo { public static void main(String[] args) { // 先创建一颗二叉树 BinaryTree binaryTree = new BinaryTree(); Hero
阅读全文
摘要：package jiegou.tree; public class BinaryTreeDemo { public static void main(String[] args) { // 先创建一颗二叉树 BinaryTree binaryTree = new BinaryTree(); Hero
阅读全文
摘要：问题表述为：设编号为1，2，...，n的n个人围坐一圈，约定编号为K（1<=k<=n)的人开始报数，数到m的那个人出列，它的下一位又从1开始报数，数到m的那个人又出列，依此类推，直到所有人出列为止，由此产生一个出队编号的序列 构建环形队列 package jiegou; //问题表述为：设编号为1，
阅读全文
摘要：java双向链表 package com.dg.brady; public class DoubleLinkedListDemo { public static void main(String[] args) { // 测试 System.out.println("双向链表的测试"); // 先创
阅读全文
摘要：package jiegou; import com.sun.corba.se.spi.protocol.RequestDispatcherDefault; import sun.tools.tree.ThisExpression; import java.util.List; import jav
阅读全文
摘要：java栈 package com.dg.brady; import java.util.Stack; public class StackDemo { public static void main(String[] args) { Stack<String> stack = new Stack<
阅读全文
摘要：头结点不变 head 1 2 3 4 新建一个 newhead 不断从第一个 取下 1,2,3,4 newhead->1 new->2->1 new->3->2->1 new->4->3->2->1替换 head head->4->3->2->1 package jiegou; import com
阅读全文
摘要：package jiegou; import com.sun.corba.se.spi.protocol.RequestDispatcherDefault; import sun.tools.tree.ThisExpression; import java.util.List; // 单链表 pub
阅读全文
摘要：package jiegou; import sun.tools.tree.ThisExpression; import java.util.List; // 单链表 public class SingleLinkDemo { public static void main(String[] arg
阅读全文
摘要：package jiegou; import sun.tools.tree.ThisExpression; import java.util.List; // 单链表 public class SingleLinkDemo { public static void main(String[] arg
阅读全文
摘要：package jiegou; import java.util.List; // 单链表 public class SingleLinkDemo { public static void main(String[] args) { HeroNode heroNode1 = new HeroNode
阅读全文
摘要：可以不按顺序添加到链表,但是链表按顺序存储 如果有相同排名给出提示 package jiegou; import java.util.List; // 单链表 public class SingleLinkDemo { public static void main(String[] args) {
阅读全文
摘要：package jiegou; import java.util.List; // 单链表 public class SingleLinkDemo { public static void main(String[] args) { HeroNode heroNode1 = new HeroNode
阅读全文
摘要：环形队列可以使用数组实现，也可以使用循环链表实现。 package jiegou; import jdk.internal.org.objectweb.asm.tree.analysis.Value; import java.time.temporal.ValueRange; import java
阅读全文
摘要：当一个数组在中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法; 记录数组一共有几行几列，有多少个不同的值。 把具有不同值的元素的行列有值记录在一个小规模的数组中，从而缩小程序的规模。 由7x6的数组转换成3x9的稀疏数组 <?php // 稀疏数组 $ar
阅读全文
摘要：当一个数组在中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法; 记录数组一共有几行几列，有多少个不同的值。 把具有不同值的元素的行列有值记录在一个小规模的数组中，从而缩小程序的规模。 由7x6的数组转换成3x9的稀疏数组 package jiegou; i
阅读全文
摘要：稀疏数组 https://blog.csdn.net/weixin_32457139/article/details/112538263 当一个数组在中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。 稀疏数组的处理方法; 记录数组一共有几行几列，有多少个不同的值。 把具有不同
阅读全文
摘要：作为一个软件开发工程师，你对数据库肯定再熟悉不过了。作为主流的数据存储系统，它在我们的业务开发中，有着举足轻重的地位。在工作中，为了加速数据库中数据的查找速度，我们常用的处理思路是，对表中数据创建索引。那你是否思考过，数据库索引是如何实现的呢？底层使用的是什么数据结构和算法呢？算法解析思考的过程比结
阅读全文
摘要：我们今天讲另外一种特殊的树，“堆”（）。堆这种数据结构的应用场景非常多，最经典的莫过于堆排序了。堆排序是一种原地的、时间复杂度为的排序算法。前面我们学过快速排序，平均情况下，它的时间复杂度为。尽管这两种排序算法的时间复杂度都是$O(n\lo
阅读全文
摘要：搜索引擎的热门搜索排行榜功能你用过吗？你知道这个功能是如何实现的吗？实际上，它的实现并不复杂。搜索引擎每天会接收大量的用户搜索请求，它会把这些用户输入的搜索关键词记录下来，然后再离线地统计分析，得到最热门的Top 10搜索关键词。那请你思考下，假设现在我们有一个包含10亿个搜索关键词的日志文件，如何
阅读全文
摘要：红黑树是一个让我又爱又恨的数据结构，“爱”是因为它稳定、高效的性能，“恨”是因为实现起来实在太难了。我今天讲的红黑树的实现，对于基础不太好的同学，理解起来可能会有些困难。但是，我觉得没必要去死磕它。我为什么这么说呢？因为，即便你将左右旋背得滚瓜烂熟，我保证你过不几天就忘光了。因为，学习红黑树的代码实
阅读全文
摘要：今天，我们来讲这种数据结构的一种特殊应用，递归树。我们都知道，递归代码的时间复杂度分析起来很麻烦。我们在第12节《排序（下）》那里讲过，如何利用递推公式，求解归并排序、快速排序的时间复杂度，但是，有些情况，比如快排的平均时间复杂度的分析，用递推公式的话，会涉及非常复杂的数学推导。除了用递推公式这种比
阅读全文
摘要：上一节我们学习了树、二叉树以及二叉树的遍历，今天我们再来学习一种特殊的二叉树，二叉查找树。二叉查找树最大的特点就是，支持动态数据集合的快速插入、删除、查找操作。我们之前说过，散列表也是支持这些操作的，并且散列表的这些操作比二叉查找树更高效，时间复杂度是O(1)。既然有了这么高效的散列表，使用二叉树的
阅读全文
摘要：上两节，我们依次讲了树、二叉树、二叉查找树。二叉查找树是最常用的一种二叉树，它支持快速插入、删除、查找操作，各个操作的时间复杂度跟树的高度成正比，理想情况下，时间复杂度是O(logn)。不过，二叉查找树在频繁的动态更新过程中，可能会出现树的高度远大于log2n的情况，从而导致各个操作的效率下降。极端
阅读全文
摘要：上一节，我讲了哈希算法的四个应用，它们分别是：安全加密、数据校验、唯一标识、散列函数。今天，我们再来看剩余三种应用：负载均衡、数据分片、分布式存储。你可能已经发现，这三个应用都跟分布式系统有关。没错，今天我就带你看下，哈希算法是如何解决这些分布式问题的。应用五：负载均衡我们知道，负载均衡算法有很多，
阅读全文
摘要：前面我们讲的都是线性表结构，栈、队列等等。今天我们讲一种非线性表结构，树。树这种数据结构比线性表的数据结构要复杂得多，内容也比较多，所以我会分四节来讲解。我反复强调过，带着问题学习，是最有效的学习方式之一，所以在正式的内容开始之前，我还是给你出一道思考题：二叉树有哪几种存储方式？什么样的二叉树适合用
阅读全文
摘要：还记得2011年CSDN的“脱库”事件吗？当时，CSDN网站被黑客攻击，超过600万用户的注册邮箱和密码明文被泄露，很多网友对CSDN明文保存用户密码行为产生了不满。如果你是CSDN的一名工程师，你会如何存储用户密码这么重要的数据吗？仅仅MD5加密一下存储就够了吗？ 要想搞清楚这个问题，就要先弄明白
阅读全文
摘要：我们已经学习了20节内容，你有没有发现，有两种数据结构，散列表和链表，经常会被放在一起使用。你还记得，前面的章节中都有哪些地方讲到散列表和链表的组合使用吗？我带你一起回忆一下。在链表那一节，我讲到如何用链表来实现LRU缓存淘汰算法，但是链表实现的LRU缓存淘汰算法的时间复杂度是O(n)，当时我也提到
阅读全文
摘要：通过上一节的学习，我们知道，散列表的查询效率并不能笼统地说成是O(1)。它跟散列函数、装载因子、散列冲突等都有关系。如果散列函数设计得不好，或者装载因子过高，都可能导致散列冲突发生的概率升高，查询效率下降。在极端情况下，有些恶意的攻击者，还有可能通过精心构造的数据，使得所有的数据经过散列函数之后，都
阅读全文
摘要：上两节我们讲了二分查找算法。当时我讲到，因为二分查找底层依赖的是数组随机访问的特性，所以只能用数组来实现。如果数据存储在链表中，就真的没法用二分查找算法了吗？实际上，我们只需要对链表稍加改造，就可以支持类似“二分”的查找算法。我们把改造之后的数据结构叫做跳表（Skip list），也就是今天要讲的内
阅读全文
摘要：Word这种文本编辑器你平时应该经常用吧，那你有没有留意过它的拼写检查功能呢？一旦我们在Word里输入一个错误的英文单词，它就会用标红的方式提示“拼写错误”。Word的这个单词拼写检查功能，虽然很小但却非常实用。你有没有想过，这个功能是如何实现的呢？其实啊，一点儿都不难。只要你学完今天的内容，散列表
阅读全文
摘要：通过IP地址来查找IP归属地的功能，不知道你有没有用过？没用过也没关系，你现在可以打开百度，在搜索框里随便输一个IP地址，就会看到它的归属地。这个功能并不复杂，它是通过维护一个很大的IP地址库来实现的。地址库中包括IP地址范围和归属地的对应关系。当我们想要查询202.102.133.13这个IP地址
阅读全文
摘要：今天我们讲一种针对有序数据集合的查找算法：二分查找（Binary Search）算法，也叫折半查找算法。二分查找的思想非常简单，很多非计算机专业的同学很容易就能理解，但是看似越简单的东西往往越难掌握好，想要灵活应用就更加困难。老规矩，我们还是来看一道思考题。假设我们有1000万个整数数据，每个数据占
阅读全文
摘要：几乎所有的编程语言都会提供排序函数，比如C语言中qsort()，C++ STL中的sort()、stable_sort()，还有Java语言中的Collections.sort()。在平时的开发中，我们也都是直接使用这些现成的函数来实现业务逻辑中的排序功能。那你知道这些排序函数是如何实现的吗？底层都
阅读全文
摘要：上一节我讲了冒泡排序、插入排序、选择排序这三种排序算法，它们的时间复杂度都是O(n2)，比较高，适合小规模数据的排序。今天，我讲两种时间复杂度为O(nlogn)的排序算法，归并排序和快速排序。这两种排序算法适合大规模的数据排序，比上一节讲的那三种排序算法要更常用。归并排序和快速排序都用到了分治思想，
阅读全文
摘要：上两节中，我带你着重分析了几种常用排序算法的原理、时间复杂度、空间复杂度、稳定性等。今天，我会讲三种时间复杂度是O(n)的排序算法：桶排序、计数排序、基数排序。因为这些排序算法的时间复杂度是线性的，所以我们把这类排序算法叫作线性排序（Linear sort）。之所以能做到线性的时间复杂度，主要原因是
阅读全文
摘要：排序对于任何一个程序员来说，可能都不会陌生。你学的第一个算法，可能就是排序。大部分编程语言中，也都提供了排序函数。在平常的项目中，我们也经常会用到排序。排序非常重要，所以我会花多一点时间来详细讲一讲经典的排序算法。排序算法太多了，有很多可能你连名字都没听说过，比如猴子排序、睡眠排序、面条排序等。我只
阅读全文
摘要：我们知道，CPU资源是有限的，任务的处理速度与线程个数并不是线性正相关。相反，过多的线程反而会导致CPU频繁切换，处理性能下降。所以，线程池的大小一般都是综合考虑要处理任务的特点和硬件环境，来事先设置的。当我们向固定大小的线程池中请求一个线程时，如果线程池中没有空闲资源了，这个时候线程池如何处理这个
阅读全文
摘要：推荐注册返佣金的这个功能我想你应该不陌生吧？现在很多App都有这个功能。这个功能中，用户A推荐用户B来注册，用户B又推荐了用户C来注册。我们可以说，用户C的“最终推荐人”为用户A，用户B的“最终推荐人”也为用户A，而用户A没有“最终推荐人”。一般来说，我们会通过数据库来记录这种推荐关系。在数据库表中
阅读全文
摘要：浏览器的前进、后退功能，我想你肯定很熟悉吧？当你依次访问完一串页面a-b-c之后，点击浏览器的后退按钮，就可以查看之前浏览过的页面b和a。当你后退到页面a，点击前进按钮，就可以重新查看页面b和c。但是，如果你后退到页面b后，点击了新的页面d，那就无法再通过前进、后退功能查看页面c了。假设你是Chro
阅读全文
摘要：上一节我讲了链表相关的基础知识。学完之后，我看到有人留言说，基础知识我都掌握了，但是写链表代码还是很费劲。哈哈，的确是这样的！想要写好链表代码并不是容易的事儿，尤其是那些复杂的链表操作，比如链表反转、有序链表合并等，写的时候非常容易出错。从我上百场面试的经验来看，能把“链表反转”这几行代码写对的人不
阅读全文
摘要：今天我们来聊聊“链表（Linked list）”这个数据结构。学习链表有什么用呢？为了回答这个问题，我们先来讨论一个经典的链表应用场景，那就是LRU缓存淘汰算法。缓存是一种提高数据读取性能的技术，在硬件设计、软件开发中都有着非常广泛的应用，比如常见的CPU缓存、数据库缓存、浏览器缓存等等。缓存的大小
阅读全文
摘要：提到数组，我想你肯定不陌生，甚至还会自信地说，它很简单啊。是的，在每一种编程语言中，基本都会有数组这种数据类型。不过，它不仅仅是一种编程语言中的数据类型，还是一种最基础的数据结构。尽管数组看起来非常基础、简单，但是我估计很多人都并没有理解这个基础数据结构的精髓。在大部分编程语言中，数组都是从0开始编
阅读全文
摘要：上一节，我们讲了复杂度的大O表示法和几个分析技巧，还举了一些常见复杂度分析的例子，比如O(1)、O(logn)、O(n)、O(nlogn)复杂度分析。掌握了这些内容，对于复杂度分析这个知识点，你已经可以到及格线了。但是，我想你肯定不会满足于此。今天我会继续给你讲四个复杂度分析方面的知识点，最好情况时
阅读全文
摘要：我们都知道，数据结构和算法本身解决的是“快”和“省”的问题，即如何让代码运行得更快，如何让代码更省存储空间。所以，执行效率是算法一个非常重要的考量指标。那如何来衡量你编写的算法代码的执行效率呢？这里就要用到我们今天要讲的内容：时间、空间复杂度分析。其实，只要讲到数据结构与算法，就一定离不开时间、空间
阅读全文
摘要：你是否曾跟我一样，因为看不懂数据结构和算法，而一度怀疑是自己太笨？实际上，很多人在第一次接触这门课时，都会有这种感觉，觉得数据结构和算法很抽象，晦涩难懂，宛如天书。正是这个原因，让很多初学者对这门课望而却步。我个人觉得，其实真正的原因是你没有找到好的学习方法，没有抓住学习的重点。实际上，数据结构和算
阅读全文
摘要：你是不是觉得数据结构和算法，跟操作系统、计算机网络一样，是脱离实际工作的知识？可能除了面试，这辈子也用不着？尽管计算机相关专业的同学在大学都学过这门课程，甚至很多培训机构也会培训这方面的知识，但是据我了解，很多程序员对数据结构和算法依旧一窍不通。还有一些人也只听说过数组、链表、快排这些最最基本的数据
阅读全文
摘要：咱们的课程已经更新9讲了，这段时间，我收到了很多留言。很多同学都认真地回答了课后思考题，有些回答甚至可以说是标准答案。另外，还有很多同学针对Redis的基本原理和关键机制，提出了非常好的问题，值得好好讨论一下。 今天，我就和你聊一聊课后题答案，并且挑选一些典型问题，集中进行一次讲解，希望可以解决你的
阅读全文
摘要：在Web和移动应用的业务场景中，我们经常需要保存这样一种信息：一个key对应了一个数据集合。我举几个例子。 手机App中的每天的用户登录信息：一天对应一系列用户ID或移动设备ID； 电商网站上商品的用户评论列表：一个商品对应了一系列的评论； 用户在手机App上的签到打卡信息：一天对应一系列用户的签到
阅读全文
摘要：在第2讲中，我们学习了Redis的5大基本数据类型：String、List、Hash、Set和Sorted Set，它们可以满足大多数的数据存储需求，但是在面对海量数据统计时，它们的内存开销很大，而且对于一些特殊的场景，它们是无法支持的。所以，Redis还提供了3种扩展数据类型，分别是Bitmap、
阅读全文
摘要：从今天开始，我们就要进入“实践篇”了。接下来，我们会用5节课的时间学习“数据结构”。我会介绍节省内存开销以及保存和统计海量数据的数据类型及其底层数据结构，还会围绕典型的应用场景（例如地址位置查询、时间序列数据库读写和消息队列存取），跟你分享使用Redis的数据类型和module扩展功能来满足需求的具
阅读全文
摘要：我曾遇到过这么一个需求：要用Redis保存5000万个键值对，每个键值对大约是512B，为了能快速部署并对外提供服务，我们采用云主机来运行Redis实例，那么，该如何选择云主机的内存容量呢？ 我粗略地计算了一下，这些键值对所占的内存空间大约是25GB（5000万*512B）。所以，当时，我想到的第一
阅读全文
摘要：上节课，我们学习了哨兵机制，它可以实现主从库的自动切换。通过部署多个实例，就形成了一个哨兵集群。哨兵集群中的多个实例共同判断，可以降低对主库下线的误判率。 但是，我们还是要考虑一个问题：如果有哨兵实例在运行时发生了故障，主从库还能正常切换吗？ 实际上，一旦多个实例组成了哨兵集群，即使有哨兵实例出现故
阅读全文
摘要：上节课，我们学习了主从库集群模式。在这个模式下，如果从库发生故障了，客户端可以继续向主库或其他从库发送请求，进行相关的操作，但是如果主库发生故障了，那就直接会影响到从库的同步，因为从库没有相应的主库可以进行数据复制操作了。 而且，如果客户端发送的都是读操作请求，那还可以由从库继续提供服务，这在纯读的
阅读全文
摘要：前两节课，我们学习了AOF和RDB，如果Redis发生了宕机，它们可以分别通过回放日志和重新读入RDB文件的方式恢复数据，从而保证尽量少丢失数据，提升可靠性。 不过，即使用了这两种方法，也依然存在服务不可用的问题。比如说，我们在实际使用时只运行了一个Redis实例，那么，如果这个实例宕机了，它在恢复
阅读全文
摘要：上节课，我们学习了Redis避免数据丢失的AOF方法。这个方法的好处，是每次执行只需要记录操作命令，需要持久化的数据量不大。一般而言，只要你采用的不是always的持久化策略，就不会对性能造成太大影响。 但是，也正因为记录的是操作命令，而不是实际的数据，所以，用AOF方法进行故障恢复的时候，需要逐一
阅读全文
摘要：如果有人问你：“你会把Redis用在什么业务场景下？”我想你大概率会说：“我会把它当作缓存使用，因为它把后端数据库中的数据存储在内存中，然后直接从内存中读取数据，响应速度会非常快。”没错，这确实是Redis的一个普遍使用场景，但是，这里也有一个绝对不能忽略的问题：一旦服务器宕机，内存中的数据将全部丢
阅读全文
摘要：今天，我们来探讨一个很多人都很关心的问题：“为什么单线程的Redis能那么快？” 首先，我要和你厘清一个事实，我们通常说，Redis是单线程，主要是指Redis的网络IO和键值对读写是由一个线程来完成的，这也是Redis对外提供键值存储服务的主要流程。但Redis的其他功能，比如持久化、异步删除、集
阅读全文
摘要：一提到Redis，我们的脑子里马上就会出现一个词：“快。”但是你有没有想过，Redis的快，到底是快在哪里呢？实际上，这里有一个重要的表现：它接收到一个键值对操作后，能以微秒级别的速度找到数据，并快速完成操作。 数据库这么多，为啥Redis能有这么突出的表现呢？一方面，这是因为它是内存数据库，所有操
阅读全文
摘要：我们知道，Redis是典型的键值数据库，所以今天，我准备手把手地带你构建一个简单的键值数据库。为啥要这么做呢？ 还记得我在开篇词说过吗？Redis本身比较复杂，如果我们一上来就直接研究一个个具体的技术点，比如“单线程”“缓存”等，虽然可以直接学习到具体的内容，甚至立马就能解决一些小问题，但是这样学，
阅读全文
摘要：在上一篇文章中，我和你介绍了一主多从的结构以及切换流程。今天我们就继续聊聊一主多从架构的应用场景：读写分离，以及怎么处理主备延迟导致的读写分离问题。 我们在上一篇文章中提到的一主多从的结构，其实就是读写分离的基本结构了。这里，我再把这张图贴过来，方便你理解。 图1 读写分离基本结构 读写分离的主要目
阅读全文
摘要：在前面的第24、25和26篇文章中，我和你介绍了MySQL主备复制的基础结构，但这些都是一主一备的结构。 大多数的互联网应用场景都是读多写少，因此你负责的业务，在发展过程中很可能先会遇到读性能的问题。而在数据库层解决读性能问题，就要涉及到接下来两篇文章要讨论的架构：一主多从。 今天这篇文章，我们就先
阅读全文
摘要：在上一篇文章中，我和你介绍了几种可能导致备库延迟的原因。你会发现，这些场景里，不论是偶发性的查询压力，还是备份，对备库延迟的影响一般是分钟级的，而且在备库恢复正常以后都能够追上来。 但是，如果备库执行日志的速度持续低于主库生成日志的速度，那这个延迟就有可能成了小时级别。而且对于一个压力持续比较高的主
阅读全文
摘要：MySQL里有很多自增的id，每个自增id都是定义了初始值，然后不停地往上加步长。虽然自然数是没有上限的，但是在计算机里，只要定义了表示这个数的字节长度，那它就有上限。比如，无符号整型(unsigned int)是4个字节，上限就是232-1。 既然自增id有上限，就有可能被用完。但是，自增id用完
阅读全文
摘要：不知道你在实际运维过程中有没有碰到这样的情景：业务高峰期，生产环境的MySQL压力太大，没法正常响应，需要短期内、临时性地提升一些性能。 我以前做业务护航的时候，就偶尔会碰上这种场景。用户的开发负责人说，不管你用什么方案，让业务先跑起来再说。 但，如果是无损方案的话，肯定不需要等到这个时候才上场。今
阅读全文
摘要：在上一篇文章中，我和你介绍了间隙锁和next-key lock的概念，但是并没有说明加锁规则。间隙锁的概念理解起来确实有点儿难，尤其在配合上行锁以后，很容易在判断是否会出现锁等待的问题上犯错。 所以今天，我们就先从这个加锁规则开始吧。 首先说明一下，这些加锁规则我没在别的地方看到过有类似的总结，以前
阅读全文
摘要：在上一篇文章最后，我给你留了一个关于加锁规则的问题。今天，我们就从这个问题说起吧。 为了便于说明问题，这一篇文章，我们就先使用一个小一点儿的表。建表和初始化语句如下（为了便于本期的例子说明，我把上篇文章中用到的表结构做了点儿修改）： CREATE TABLE `t` ( `id` int(11) N
阅读全文
摘要：一般情况下，如果我跟你说查询性能优化，你首先会想到一些复杂的语句，想到查询需要返回大量的数据。但有些情况下，“查一行”，也会执行得特别慢。今天，我就跟你聊聊这个有趣的话题，看看什么情况下，会出现这个现象。 需要说明的是，如果MySQL数据库本身就有很大的压力，导致数据库服务器CPU占用率很高或iou
阅读全文
摘要：在MySQL中，有很多看上去逻辑相同，但性能却差异巨大的SQL语句。对这些语句使用不当的话，就会不经意间导致整个数据库的压力变大。 我今天挑选了三个这样的案例和你分享。希望再遇到相似的问题时，你可以做到举一反三、快速解决问题。 案例一：条件字段函数操作 假设你现在维护了一个交易系统，其中交易记录表t
阅读全文
摘要：我在上一篇文章，为你讲解完order by语句的几种执行模式后，就想到了之前一个做英语学习App的朋友碰到过的一个性能问题。今天这篇文章，我就从这个性能问题说起，和你说说MySQL中的另外一种排序需求，希望能够加深你对MySQL排序逻辑的理解。 这个英语学习App首页有一个随机显示单词的功能，也就是
阅读全文
摘要：在你开发应用的时候，一定会经常碰到需要根据指定的字段排序来显示结果的需求。还是以我们前面举例用过的市民表为例，假设你要查询城市是“杭州”的所有人名字，并且按照姓名排序返回前1000个人的姓名、年龄。 假设这个表的部分定义是这样的： CREATE TABLE `t` ( `id` int(11) NO
阅读全文
摘要：之前我们了解了一条查询语句的执行流程，并介绍了执行过程中涉及的处理模块。一条查询语句的执行过程一般是经过连接器、分析器、优化器、执行器等功能模块，最后到达存储引擎。 那么，一条 SQL 更新语句的执行流程又是怎样的呢？ 首先我们创建一个表 user_info，主键为 id，创建语句如下： Copy
阅读全文
摘要：我在第2篇文章《日志系统：一条SQL更新语句是如何执行的？》中，和你讲到binlog（归档日志）和redo log（重做日志）配合崩溃恢复的时候，用的是反证法，说明了如果没有两阶段提交，会导致MySQL出现主备数据不一致等问题。 在这篇文章下面，很多同学在问，在两阶段提交的不同瞬间，MySQL如果发
阅读全文
摘要：在开发系统的时候，你可能经常需要计算一个表的行数，比如一个交易系统的所有变更记录总数。这时候你可能会想，一条select count(*) from t 语句不就解决了吗？ 但是，你会发现随着系统中记录数越来越多，这条语句执行得也会越来越慢。然后你可能就想了，MySQL怎么这么笨啊，记个总数，每次要
阅读全文
摘要：经常会有同学来问我，我的数据库占用空间太大，我把一个最大的表删掉了一半的数据，怎么表文件的大小还是没变？ 那么今天，我就和你聊聊数据库表的空间回收，看看如何解决这个问题。 这里，我们还是针对MySQL中应用最广泛的InnoDB引擎展开讨论。一个InnoDB表包含两部分，即：表结构定义和数据。在MyS
阅读全文
摘要：前面我们介绍过索引，你已经知道了在MySQL中一张表其实是可以支持多个索引的。但是，你写SQL语句的时候，并没有主动指定使用哪个索引。也就是说，使用哪个索引是由MySQL来确定的。 不知道你有没有碰到过这种情况，一条本来可以执行得很快的语句，却由于MySQL选错了索引，而导致执行速度变得很慢？ 我们
阅读全文
摘要：#mysql 刷脏页 ··· mysql> select @@innodb_flush_neighbors; @@innodb_flush_neighbors 1 1 row in set (0.00 sec) mysql> ··· 脏页，干净页 当内存数据页和磁盘数据页上的内容不一致时，我们称这个
阅读全文
摘要：索引是一种数据结构，用于帮助我们在大量数据中快速定位到我们想要查找的数据。 索引最形象的比喻就是图书的目录了。注意这里的大量，数据量大了索引才显得有意义，如果我想要在 [1,2,3,4] 中找到 4 这个数据，直接对全数据检索也很快，没有必要费力气建索引再去查找。 索引在 MySQL 数据库中分三类
阅读全文
摘要：事务的特性： 原子性：指处于同一个事务中的多条语句是不可分割的。 一致性：事务必须使数据库从一个一致性状态变换到另外一个一致性状态。比如转账，转账前两个账户余额之和为2k，转账之后也应该是2K。 隔离性：指多线程环境下，一个线程中的事务不能被其他线程中的事务打扰 持久性：事务一旦提交，就应该被永久保
阅读全文
摘要：查看支持的引擎 mysql> show engines; + + + + + + + | Engine | Support | Comment | Transactions | XA | Savepoints | + + + + + + + | InnoDB | DEFAULT | Supports
阅读全文
摘要：mysql varchar 最大存多少 存储限制 varchar 字段是将实际内容单独存储在聚簇索引之外，内容开头用1到2个字节表示实际长度（长度超过255时需要2个字节），因此最大长度不能超过65535。 编码长度限制 字符类型若为gbk，每个字符最多占2个字节，最大长度不能超过32766; 字符
阅读全文
摘要：database 查看数据库 show databases; 使用数据库 use test; 删除数据库 drop database test; 创建数据库 create database [if not exists] test; 查看当前使用的是哪个数据库 select database();
阅读全文
摘要：redis 搭建集群 使用redis-cli 最新 redis 从5开始 可以直接用redis-cli命令创建集群了,不用那么麻烦 安装ruby环境 redis安装目录 ： /usr/local/redis Redis server版本： 6.2.3 https://redis.io/topics/
阅读全文
摘要：背景： Redis Cluster 在5.0之后取消了ruby脚本 redis-trib.rb的支持（手动命令行添加集群的方式不变），集合到redis-cli里，避免了再安装ruby的相关环境。直接使用redis-clit的参数--cluster 来取代。为方便自己后面查询就说明下如何使用该命令进行
阅读全文
摘要：go原子操作 atomic 原子操作可以实现和sync.mux一样的 package main import ( "fmt" "sync" ) var mux sync.Mutex func main() { var count int32 fmt.Println("main start...")
阅读全文
摘要：package mainimport ( "fmt" "net" "sync")var mux sync.RWMutexvar onlineUser = make(map[string]net.Conn)var messageChan = make(chan string)func main() {
阅读全文
