摘要:
本篇主要对hadoop命令和hdfs命令进行阐述,yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统,不止是hdfs文件系统内,也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系统。而hdfs dfs命令只用于HDFS文件系统; 一、hadoop命 阅读全文
摘要:
1、hadoop高可用安装和原理详解 2、hadoop2.7+spark2.2+zookeeper3.4.简单安装 3、windows下通过idea连接hadoop和spark集群 4、hadoop2.7之作业提交详解(上) 5、hadoop2.7之作业提交详解(下) 6、hadoop2.7作业提交 阅读全文
摘要:
本篇主要从hdfs的namenode和resourcemanager的高可用进行安装和原理的阐述。 一、HA安装 1、基本环境准备 1.1.1、centos7虚拟机安装,详情见VMware安装Centos7虚拟机 1.1.2、关闭防火墙 1.1.3、修改selinux vim /etc/selinu 阅读全文
摘要:
本篇文章主要从事务的分类,操作,事务隔离级别几个方面进行阐述。 一、概述 事务是数据库系统区别文件系统的一个重要特性。事务会把数据库从一种状态转为另一种状态。要么都修改,要么都不改。事务可以是一个简单的sql,也可以是一个复杂的sql,事务是访问并更新数据库中各个数据项的一个程序执行单元 事务的四大 阅读全文
摘要:
本篇主要根据innodb存储引擎的锁进行阐述,包括分类,算法,以及锁的一些问题 一、锁的概述 为了保证最大程度的利用数据库的并发访问,又要确保每个用户能以一致的方式读取和修改数据,为此锁就派上了用场,也就是锁的机制。锁机制也是用于区别数据库系统和文件系统的一个关节特性。 锁是为了支持对共享资源进行访 阅读全文
摘要:
1、VMware安装Centos7虚拟机 2、Linux之vim详解 3、linux后台运行的几种方式 4、linux权限管理 5、linux之用户和用户组管理详解 6、grep文本搜索工具详解 7、linux下实现并发逻辑 8、linux之压缩和解压 9、linux文件系统详解 10、linux之 阅读全文
摘要:
对于DBA来说,数据的备份和恢复是一项很基本的操作。在意外的情况下(服务器宕机,磁盘损坏,RAID卡损坏等),要保证数据不丢失,或者是最小程度的丢失,是每个DBA每时每刻应该关心数据库的备份了。本来说明下备份的工具,原理以及使用。 一、备份与恢复的概述 按照是否能够继续提供服务,将数据库备份类型划分 阅读全文
摘要:
1、myslq5.7安装以及root密码找回 2、mysql之innodb存储引擎介绍 3、mysql之innodb存储引擎 数据存储结构 4、mysql之innodb存储引擎 BTREE索引实现 5、mysql之innodb日志管理 6、mysql备份和恢复 7、mysql之innodb-锁 8、 阅读全文
摘要:
本文从两个方面进行阐述,常规的日志文件(不区分存储引擎),第二就是讲innodb存储引擎的事务日志。第三就是看下binlog日志和事务日志的对比。 一、基本日志文件 1.1、基本日志文件分类:错误日志(error log)慢查询日志日志(slow query log)二进制日志(binlog)查询日 阅读全文
摘要:
在阅读本篇文章可能需要一些B树和B+树的基础 一、B树和B+树的区别 1、B树的键值不会出现多次,而B+树的键值一定会出现在叶子节点上,而且在非叶子节点也可能会重复出现2、B数存储真实数据,B+数叶子节点存储真实数据,非叶子节点存储只存储键值3、B树的查找效率和键在树中所在的位置有关,B+树的复杂度 阅读全文
摘要:
一、mysql安装 创建用户和用户组: groupadd mysqluseradd -g mysql mysql -s /sbin/nologin 解压压缩文件并创建软链接 tar -xvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz -C /usr/loc 阅读全文
摘要:
一、背景 1.1文件组织架构 首先看一下mysql数据系统涉及到的文件组织架构,如下图所示: msyql文件组织架构图 从图看出: 1、日志文件:slow.log(慢日志),error.log(错误日志),general.log(基本日志) 2、配置文件:my.cnf 3、数据库:performan 阅读全文
摘要:
一、Innodb体系架构 1.1、后台线程 后台任务主要负责刷新内存中的数据,保证缓冲池的数据是最近的数据,此外还将修改的数据刷新到文件磁盘,保证在数据库发生异常的情况下Innodb能恢复到正常的运行状态。 1、Master Thread主要负责缓冲池的数据异步刷新到磁盘,保证数据的一致性,包括脏页 阅读全文
摘要:
一、String 类的定义 String是一个final类,不能被继承的类 String类实现了java.io.Serializable接口,可以实现序列化 String类实现了Comparable<String>,可以用于比较大小(按顺序比较单个字符的ASCII码) String类实现了 Char 阅读全文
摘要:
在前面一篇文章中(hadoop2.7之作业提交详解(上))中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(job, submitJobDir); //设置map的数量,而map的数量是根据文件的大小和分片的大 阅读全文