09 2019 档案

linux之find命令详解
摘要：一、find概述 话不多说，先来find --help一下 从上看：find命令的使用语法： 其中expression主要包括operators, options, tests, and actions 二、find基本原理和实践 find是从左向右处理的，所以表达式的前后顺序不同会造成不同的搜索性 阅读全文
posted @ 2019-09-30 11:57 一寸HUI 阅读(6253) 评论(0) 推荐(0) 编辑
hadoop之mapreduce详解（进阶篇）
摘要：上篇文章hadoop之mapreduce详解（基础篇）我们了解了mapreduce的执行过程和shuffle过程，本篇文章主要从mapreduce的组件和输入输出方面进行阐述。 一、mapreduce作业控制模块以及其他功能 mapreduce包括作业控制模块，编程模型，数据处理引擎。这里我们重点阐 阅读全文
posted @ 2019-09-29 17:23 一寸HUI 阅读(3843) 评论(0) 推荐(2) 编辑
hadoop之mapreduce详解（基础篇）
摘要：本篇文章主要从mapreduce运行作业的过程，shuffle，以及mapreduce作业失败的容错几个方面进行详解。 一、mapreduce作业运行过程 1.1、mapreduce介绍 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduc 阅读全文
posted @ 2019-09-27 20:16 一寸HUI 阅读(27486) 评论(0) 推荐(6) 编辑
hadoop之hdfs架构详解
摘要：本文主要从两个方面对hdfs进行阐述，第一就是hdfs的整个架构以及组成，第二就是hdfs文件的读写流程。 一、HDFS概述 标题中提到hdfs（Hadoop Distribute File System）是分布式文件系统 分布式文件系统 distributed file system 是指文件系统 阅读全文
posted @ 2019-09-25 20:33 一寸HUI 阅读(13742) 评论(0) 推荐(5) 编辑
hadoop之hdfs命令详解
摘要：本篇主要对hadoop命令和hdfs命令进行阐述，yarn命令会在之后的文章中体现 hadoop fs命令可以用于其他文件系统，不止是hdfs文件系统内，也就是说该命令的使用范围更广可以用于HDFS、Local FS等不同的文件系统。而hdfs dfs命令只用于HDFS文件系统； 一、hadoop命 阅读全文
posted @ 2019-09-24 20:15 一寸HUI 阅读(18788) 评论(0) 推荐(1) 编辑
hadoop生态系列
摘要：1、hadoop高可用安装和原理详解 2、hadoop2.7+spark2.2+zookeeper3.4.简单安装 3、windows下通过idea连接hadoop和spark集群 4、hadoop2.7之作业提交详解（上） 5、hadoop2.7之作业提交详解（下） 6、hadoop2.7作业提交 阅读全文
posted @ 2019-09-20 23:29 一寸HUI 阅读(2290) 评论(0) 推荐(0) 编辑
hadoop高可用安装和原理详解
摘要：本篇主要从hdfs的namenode和resourcemanager的高可用进行安装和原理的阐述。 一、HA安装 1、基本环境准备 1.1.1、centos7虚拟机安装，详情见VMware安装Centos7虚拟机 1.1.2、关闭防火墙 1.1.3、修改selinux vim /etc/selinu 阅读全文
posted @ 2019-09-20 23:28 一寸HUI 阅读(5221) 评论(0) 推荐(0) 编辑
mysql事务
摘要：本篇文章主要从事务的分类，操作，事务隔离级别几个方面进行阐述。 一、概述 事务是数据库系统区别文件系统的一个重要特性。事务会把数据库从一种状态转为另一种状态。要么都修改，要么都不改。事务可以是一个简单的sql，也可以是一个复杂的sql，事务是访问并更新数据库中各个数据项的一个程序执行单元 事务的四大 阅读全文
posted @ 2019-09-12 17:35 一寸HUI 阅读(724) 评论(0) 推荐(0) 编辑
mysql之innodb-锁
摘要：本篇主要根据innodb存储引擎的锁进行阐述，包括分类，算法，以及锁的一些问题 一、锁的概述 为了保证最大程度的利用数据库的并发访问，又要确保每个用户能以一致的方式读取和修改数据，为此锁就派上了用场，也就是锁的机制。锁机制也是用于区别数据库系统和文件系统的一个关节特性。 锁是为了支持对共享资源进行访 阅读全文
posted @ 2019-09-11 23:22 一寸HUI 阅读(5465) 评论(0) 推荐(0) 编辑
linux&shell学习系列
摘要：1、VMware安装Centos7虚拟机 2、Linux之vim详解 3、linux后台运行的几种方式 4、linux权限管理 5、linux之用户和用户组管理详解 6、grep文本搜索工具详解 7、linux下实现并发逻辑 8、linux之压缩和解压 9、linux文件系统详解 10、linux之 阅读全文
posted @ 2019-09-11 15:49 一寸HUI 阅读(586) 评论(0) 推荐(0) 编辑
mysql备份和恢复
摘要：对于DBA来说，数据的备份和恢复是一项很基本的操作。在意外的情况下（服务器宕机，磁盘损坏，RAID卡损坏等），要保证数据不丢失，或者是最小程度的丢失，是每个DBA每时每刻应该关心数据库的备份了。本来说明下备份的工具，原理以及使用。 一、备份与恢复的概述 按照是否能够继续提供服务，将数据库备份类型划分 阅读全文
posted @ 2019-09-10 17:52 一寸HUI 阅读(5162) 评论(1) 推荐(3) 编辑
MYSQL学习系列
摘要：1、myslq5.7安装以及root密码找回 2、mysql之innodb存储引擎介绍 3、mysql之innodb存储引擎 数据存储结构 4、mysql之innodb存储引擎 BTREE索引实现 5、mysql之innodb日志管理 6、mysql备份和恢复 7、mysql之innodb-锁 8、 阅读全文
posted @ 2019-09-09 17:53 一寸HUI 阅读(508) 评论(0) 推荐(1) 编辑
mysql之innodb日志管理
摘要：本文从两个方面进行阐述，常规的日志文件（不区分存储引擎），第二就是讲innodb存储引擎的事务日志。第三就是看下binlog日志和事务日志的对比。 一、基本日志文件 1.1、基本日志文件分类：错误日志(error log)慢查询日志日志(slow query log)二进制日志(binlog)查询日 阅读全文
posted @ 2019-09-09 17:52 一寸HUI 阅读(4214) 评论(0) 推荐(0) 编辑
mysql之innodb存储引擎---BTREE索引实现
摘要：在阅读本篇文章可能需要一些B树和B+树的基础 一、B树和B+树的区别 1、B树的键值不会出现多次，而B+树的键值一定会出现在叶子节点上，而且在非叶子节点也可能会重复出现2、B数存储真实数据，B+数叶子节点存储真实数据，非叶子节点存储只存储键值3、B树的查找效率和键在树中所在的位置有关，B+树的复杂度 阅读全文
posted @ 2019-09-06 16:28 一寸HUI 阅读(1685) 评论(0) 推荐(0) 编辑
myslq5.7安装以及root密码找回
摘要：一、mysql安装 创建用户和用户组： groupadd mysqluseradd -g mysql mysql -s /sbin/nologin 解压压缩文件并创建软链接 tar -xvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz -C /usr/loc 阅读全文
posted @ 2019-09-05 17:12 一寸HUI 阅读(349) 评论(0) 推荐(0) 编辑
mysql之innodb存储引擎---数据存储结构
摘要：一、背景 1.1文件组织架构 首先看一下mysql数据系统涉及到的文件组织架构，如下图所示： msyql文件组织架构图 从图看出： 1、日志文件：slow.log(慢日志)，error.log(错误日志)，general.log(基本日志) 2、配置文件：my.cnf 3、数据库：performan 阅读全文
posted @ 2019-09-05 16:33 一寸HUI 阅读(4083) 评论(1) 推荐(0) 编辑
mysql之innodb存储引擎介绍
摘要：一、Innodb体系架构 1.1、后台线程 后台任务主要负责刷新内存中的数据，保证缓冲池的数据是最近的数据，此外还将修改的数据刷新到文件磁盘，保证在数据库发生异常的情况下Innodb能恢复到正常的运行状态。 1、Master Thread主要负责缓冲池的数据异步刷新到磁盘，保证数据的一致性，包括脏页 阅读全文
posted @ 2019-09-04 20:24 一寸HUI 阅读(1053) 评论(0) 推荐(1) 编辑