03 2022 档案
摘要：1. 评价条件 一般使用磁盘I/O次数评价索引结构的优劣 2. B树分析 对于B树，检索一次最多需要访问h(树的高度)个结点。数据库系统的设计者巧妙利用了磁盘预读原理，将一个结点的大小设为等于一个页，这样每个结点只需要一次I/O就可以完全载入。 为了达到这个目的，在实际实现B-Tree还需要使用如下
阅读全文
摘要：3. 索引 1.性能下降SQL慢 执行时间长 等待时间长 1.查询数据过多 2.关联了太多的表，太多join 3.没有利用到索引 2.索引简介 1.索引是什么(重点) MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。 索引的本质：索引是数据结构 索引的目的：在
阅读全文
摘要：1.简介 B+树是一颗多路搜索树。 一颗 m 阶的B+树主要特点： 每个结点至多有m个子女 非根结点关键值个数范围: [m/2 - 1, m - 1] 相邻叶子节点是通过指针连起来的，并且是关键字大小排序的。 B+树和B树区别： 1. B-树内部节点是保存数据的;而B+树内部节点是不保存数据的，只作
阅读全文
摘要：1. mysql逻辑框架 2. mysql存储引擎 1.查看命令 # 看你的MySQL现在已提供什么存储引擎 show engines; # 看你的MySQL当前默认的存储引擎 show variables like '%storage_engine%'; 2.MyISAM和InnoDB 对比项 M
阅读全文
摘要：1.须知 B-树是一种平衡的多路查找树，注意： B树就是B-树，"-"是个连字符号，不是减号 。 我们假设我们的数据量达到了亿级别，主存当中根本存储不下，我们只能以块的形式从磁盘读取数据，与主存的访问时间相比，磁盘的 I/O 操作相当耗时，而提出 B-树的主要目的就是减少磁盘的 I/O 操作。 大多
阅读全文
摘要：1. 流程控制结构 顺序结构：程序从上往下依次执行 分支结构：程序从两条或多条路径中选择一条去执行 循环结构：程序在满足一定条件的基础上，重复执行一段代码 2. 分支结构 1. if函数 功能: 实现简单的双分支 语法: if(表达式1,表达式2,表达式3) 执行顺序: 如果表达式1成立，则if函数
阅读全文
摘要：1. 函数 函数：有且仅有1个返回值，适合做处理数据后返回一个结果 存储过程：可以有0个返回值，也可以有多个返回值，适合做批量插入、批量更新 创建语法： create FUNCTION 函数名(参数列表) returns 返回类型 BEGIN 函数体 END 注意： 1.参数列表 包含两部分 参数名
阅读全文
摘要：1. 找到连续区间的开始和结束数字 Logs 表： + + | log_id | + + | 1 | | 2 | | 3 | | 7 | | 8 | | 10 | + + 结果表： + + + | start_id | end_id | + + + | 1 | 3 | | 7 | 8 | | 10
阅读全文
摘要：myemployees.sql 点击查看代码 /* SQLyog Ultimate v10.00 Beta1 MySQL - 5.5.15 : Database - myemployees *******************************************************
阅读全文
摘要：前言：导入数据 点击查看代码 /* SQLyog Ultimate v10.00 Beta1 MySQL - 5.7.18-log : Database - girls *****************************************************************
阅读全文
摘要：1.变量 系统变量： 会话变量：仅仅针对于当前会话(连接)有效 全局变量：服务器每次启动将为所有的全局变量赋初始值，针对于所有的会话(连接)有效，但是不能跨重启。 自定义变量： 用户变量 局部变量 2.系统变量 说明：变量由系统提供，不是用户定义，属于服务器层面 使用的语法： 1.查看所有的系统变量
阅读全文
摘要：https://www.nowcoder.com/discuss/837182?source_id=profile_create_nctrack&channel=-1 摘抄自上链接
阅读全文
摘要：1. 介绍 可以将/dev/null看作"黑洞". 它非常等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到. 然而, /dev/null对命令行和脚本都非常的有用. 2. 1>/dev/null 2>&1的含义 > 代表重定向到哪里，例如：echo "123
阅读全文
摘要：1.背景 在没有开窗函数之前，我们知道，用了分组之后，查询字段就只能是分组字段和聚合的字段，这带来了极大的不方便； 有时我们查询时需要分组，有需要查询分组的字段，每次都要用到子查询，这样显得sql语句复杂难懂； 给维护代码的人带来了很大的痛苦，然而开窗函数出现了，曙光也来临了。 2.定义 开窗函数与
阅读全文
摘要：1.mapreduce核心思想 分而治之，先分后和 将一个大的、复杂的工作或任务，拆分成小的任务，并行处理，最终 进行合并 适用于大量复杂的、时效性不高的任务处理场景 Map负责数据拆分map:[k1, v1] → [k2, v2] Reduce负责数据合并 reduce:[k1, (v1, vn.
阅读全文
摘要：= null 判断某个值是否和空相等 is null和is not null 判断某个值为否为空 举例 select e.name, b.bonus from employee e left join bonus b on e.empId = b.empId where b.bonus < 1000
阅读全文
摘要：1. 什么是Shuffle机制？ 在Hadoop中数据从Map阶段传递给Reduce阶段的过程就叫Shuffle，Shuffle机制是整个MapReduce框架中最核心的部分。 Shuffle翻译成中文的意思为：洗牌、发牌（核心机制：数据分区、排序、缓存) 2. Shuffle的作用范围 一般把数据
阅读全文
摘要：1.高可用集群搭建 2.准备安装环境 tar -zxvf hadoop-3.1.2.tar.gz mv hadoop-3.1.2 /opt/ cd /opt/hadoop-3.1.2/etc/hadoop/ 3.修改集群环境 vim hadoop-env.sh # 直接在文件的最后添加 export
阅读全文
摘要：Hadoop1.x 组成 由Common(公共模块辅助工具)、HDFS(分布式数据存储)、MapReduce(分布式计算+资源调度)组成 简介 其中HDFS由一个NN和多个DN组成，MapReduce有一个JobTracker和多个TaskTracker组成。 在Hadoop1.0中容易造成单点故障
阅读全文
摘要：1. 写数据读数据 写数据流程 读数据流程 2. 为什么HDFS不支持存储小文件？ 原因 占用NameNode大量的内存和磁盘来存储文件目录和块信息 读取小文件的寻址时间大于读取小文件内容的时间 解决方案 从根源上解决小文件的产生，如从每小时抽取一次修改为每天抽取一次来积累数据量 合并。写一个MR任
阅读全文
摘要：解释 单机结构 理解 一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就是单机结构 缺点 单机的处理能力是有限的，当你的业务增长到一定程度的时候，单机的硬件资源将无法满足你的业务需求，此时便出现了集群模式。 集群
阅读全文
摘要：返回日期加具体时间 select now(); 返回日期 select curdate(); 返回具体时间 select curtime() 返回具体的部分 年 月 日 小时 分钟 秒 分 select year(now()) select month(now()) select day(now()
阅读全文
摘要：1. 查看文件内容cat tac more less head tail 正序查看文件内容cat 规则： 参数-A查看所有内容， $代表每行的内容， 参数-n显示行号 例子： cat -An /etc/passwd 倒序查看文件内容tac 一屏一屏查看文件内容more(左下角会显示查看文件的进度)
阅读全文
摘要：1. Hadoop集群搭建的三种模式 本地运行模式 无需运行任何守护进行，所有程序都在单个JVM上执行 伪分布式运行模式 Hadoop对应的Java进程都运行在一个物理机器上 完全分布式运行模式 Hadoop对应的Java进程都运行在多台物理机器上 2. 具体步骤及解释 1. 准备安装环境 # 将h
阅读全文
摘要：scp命令 1. 命令格式 scp [参数] [原路径] [目标路径] 2. 命令功能 scp可以在linux服务器之间复制文件和目录 3. 命令参数 -r 递归赋值整个目录 -q 不显示传输进度条 4. 使用实例 复制文件 命令格式eg: scp /etc/profile node001:/etc
阅读全文
摘要：示例 输入: Scores 表: + + + | id | score | + + + | 1 | 3.50 | | 2 | 3.65 | | 3 | 4.00 | | 4 | 3.85 | | 5 | 4.00 | | 6 | 3.65 | + + + 输出: + + + | score | ra
阅读全文
摘要：1. 介绍 将题中所需的知识点提取出来，达到巩固的效果。 2. 起别名 方式一：使用as SELECT 100%98 AS 结果; 方式二：使用空格 SELECT last_name 姓,first_name 名 FROM 库名; 注意： 如果别名内含有关键字,建议用双引号引起来,单引号也可以，但是
阅读全文
