05 2019 档案
摘要：Hadoop 版本： apache hadoop 2.9.1JDK 版本： Oracle JDK1.8集群规划master（1）： NN， RM， DN， NM， JHSslave1（2）： DN， NMslave2（3）： DN， NMjdk-8u172-linux-x64.tar.gzhadoo
阅读全文
摘要：使用bbed模拟delete提交操作 --session 1 dump的结果 --session 1执行删除操作 --session2执行操作 dump结果 --session 3 bbed会话 bbed执行修改 再次查看 --sessino 2 再次执行dumpfile --这里的状态已经显示为c
阅读全文
摘要：场景1 表t3 更新前后值的长度相同，在原位置进行更新 例2 修改值之后的长度大于之前的值长度 测试通过bbed把dddddd的值修改回ccccc，而不使用update命令 修改事务槽 有效空间设置（这一块的值和位置没有搞明白）
阅读全文
摘要：06 使用bbed修复delete的数据--01 根据rowid查看数据文件和block号 使用dump命令查看 使用bbed进行查看 表记录 Insert 一条记录，没提交事务，会写入DataBlock？ dump查看 bbed查看 使用BBED手工修复DELETE数据 在bbed查看是否提交，也
阅读全文
摘要：四 RMAN RMAN体系结构的主要组成部分： --1 目标数据库（target） --2 RMAN命令行客户端 --3 通道（channel） --4 快速恢复区（fast recovery area） --5 介质管理器 --6 RMAN备份资料库 本章不详细介绍rman的使用和用法，最前面的章
阅读全文
摘要：三 补充日志（supplemental logging） 补充日志是对重做记录中变更矢量的补充信息，增加了变更矢量记载的记录量。Oracle某些功能要求启用补充日志才能正常或更好的工作，比如logminer（日志挖掘器）、闪回事务查询、闪回事务等。 对于insert和delete来说，常规的重做记录
阅读全文
摘要：42 grant与flush privileges 在mysql里， grant是给用户赋权的，一些文档中经常提到在grant执行后，马上执行一个flush privileges，才能使赋权语句生效，那么，grant之后真的需要执行flush privileges吗？如果没有执行这个flush操作，
阅读全文
摘要：41 快速的复制一张表 现在把db1.t的数据a>800的数据行导入db2.t Mysqldump方法 把结果输出到临时文件 -rw-rw-r-- 1 mysql mysql 4261 Mar 27 08:32 t.sql 生成一个insert语句里面包含多个values对，用这个文件来写入的时候，
阅读全文
摘要：4 cdh 5.12 centos 6.10 三节点安装
阅读全文
摘要：40 insert语句的锁 上一篇文章中对mysql自增主键锁做了优化，尽量在申请到自增id后，就释放自增锁。 因此，insert语句是一个很轻量的操作，不过，这个结论对于”普通的insert”才生效，其他特殊的insert语句，在执行过程中需要给其他资源加锁，或者在无法申请到自增id以后就立马释放
阅读全文
摘要：oracle 11g 数据库恢复技术 02 控制文件 多个oracle进程将控制文件做信息注册、交换的中心，健康的控制文件是数据库启动至mount阶段的必要条件 在备份与恢复中，控制文件同样非常重要，db在mount时，该文件本身的信息就足以判断数据库是否需要介质恢复、上一次db是否正常关闭，在db
阅读全文
摘要：5 使用BBED跳过归档 在归档模式下，缺失了一部分的归档日志文件，对数据文件进行恢复 1 开启归档 2 插入测试数据 3 备份数据文件5 查看归档 4 删除一部分归档日志 对5号文件进行还原 5号数据文件无法被Online,提示需要介质恢复 对5号文件进行恢复，提示缺少归档日志文件 Data Fi
阅读全文
摘要：一 redo log Oracle数据库中的三大核心文件分别是数据文件（data file）、重做日志（redo log）和控制文件（control file）。数据文件保证了数据库的持久性，是保存修改结果的地方；重做日志保证了数据库的可恢复性，是保存修改操作（包括对数据文件、控制文件等各类文件的修
阅读全文
摘要：39 自增主键为什么不连续 Mysql的innodb的自增主键，由于自增主键可以让主键索引尽量得保持递增顺序插入，避免了页分裂，因此索引更紧凑。 在设计的时候，自增主键是不能保证连续的。 自增值保存在什么地方 上表插入一行值 看到AUTO_INCREMENT=2，表示下一次插入数据时，如果需要自动生
阅读全文
摘要：oracle index build online与offline测试环境为oracle 11.2.0.4 1 测试默认的rebuild,即rebuild offline 2 对表进行dml操作，不提交，在rebuild 3 在索引rebuild 期间，我们去update table，并查看v$lo
阅读全文
摘要：1 Standalone模式默认模式，即默认配置即是standalone模式装好hadoop-client，会将依赖的包安装好yum install hadoop-client配置文件各个配置文件在/etc/hadoop/conf下特别注意：Standalone模式下，HDFS是用本地文件系统来模拟
阅读全文
摘要：38 是否要使用memory引擎的表 内存表的数据组织结构 可以看到，内存表t1的返回结果里面0在最后一行，在innodb表t2的返回结果，0在第一行，二者的差别要从他们的主键索引的组织方式说起。 表t2是innodb表，是主键索引id的方式，innodb表的数据放在主键索引树上，是一个B+ tre
阅读全文
摘要：04 bbed修复system文件头损坏 1 启动数据库，查看trace，在mount到open， 查看文件，在启动的是，先检查各个数据文件的1号块 2 system数据文件1号块损坏修复 测试之前先做冷备，防止修复不成功 [oracle@DSI oradata]$ cp -rf orcl/ /ho
阅读全文
摘要：37 什么时候使用内部临时表 前面介绍了sort buffer，内存临时表和join buffer，这3个数据结构都是用来存放语句执行过程中的中间数据，以辅助sql语句的执行的，在排序的时候用sort buffer，在使用join语句的时候使用了join_buffer。在mysql里，什么时候使用内
阅读全文
摘要：2 Hadoop集群安装部署准备 集群安装前需要考虑的几点硬件选型--CPU、内存、磁盘、网卡等--什么配置？需要多少？ 网络规划--1 GB？ 10 GB？--网络拓扑？ 操作系统选型及基础环境--Linux？Windows？什么版本？--哪些基础环境？Hadoop版本选型--Apache？ CD
阅读全文
摘要：36 为什么临时表可以重名 在上一篇的join优化中，用到了临时表， 临时表的特征和适合场景 首先区分内存表和临时表： --内存表，指使用memory引擎，建表语法是engine=memory，内存表的数据都保存在内存里，系统重启的时候会被清空，但是表结构还在， --临时表，可以使用各种引擎，如果是
阅读全文
摘要：35 怎么优化join 上一篇介绍了join的两种算法：nlj和bnl Multi-Range Read优化 Multi-range read（MRR），优化的主要目的是尽量使用顺序读盘。 在介绍innodb的索引结构时，提到了”回表”的概念，回表是指，在innodb普通索引a上查到主键id的值后，
阅读全文
摘要：DBID,SID,DB_NAME,DB_DOMAIN,INSTANCE_NAME,DB_UNIQUE_NAME, SERVICE_NAMES 及监听参数的说明 DB 相关的： DBID, SIDPFILE 中的参数： DB_NAME， DB_DOMAIN, INSTANCE_NAME，DB_UNIQ
阅读全文
摘要：3 深入解析controlfile Control file: dump 分析控制文件的1号块 bbed dumpfile Offset 0~0 15 表示maskOffset 1~1 c2 表示blocksize(16384)Offset 4~4 01 表示No. 1 blockOffset 24
阅读全文
摘要：34 到底可不可以使用join？ 在实际生产中，关于join语句使用的问题，一般会集中在以下两类： --1 dba不让使用join，使用join有什么问题呢 --2 如果有两个大小不同的表做join，应该用哪个表做驱动表呢？ 创建2个表作为测试 这两个表都有一个主键索引id和一个索引a，字段b上没有
阅读全文
摘要：--一次oracle安装错误，oracle version：11.2.0.1.0[root@localhost ~]# cat /etc/issue\SKernel \r on an \m [root@localhost ~]# cat /etc/redhat-release CentOS Linu
阅读全文
摘要：33 查询大量数据，是否会把内存撑爆 如果主机内存只有100g，现在要对一个200g的大表做全部扫描，会不会把数据库主机的内存用光了？ 全表扫描对server层的影响 假设，现在要对一个200g的innodb表db1.t33执行全表扫描，当然，要把全部扫描的结果保存在客户端，会用类似这样的命令： m
阅读全文
摘要：32 kill不掉的语句 在mysql中有两个kill命令：一个是kill query+线程id，表示终止这个线程正在执行的语句；一个是kill connection+线程id，缺省connection值，表示断开这个线程的连接，当然如果这个线程有语句正在执行，也是要先停止正在执行的语句。 在大多数
阅读全文
