2017 年 8月随笔档案 - 一泽涟漪

PostgreSQL schema/table等大小查看

摘要：1. 查看当前库sehcma大小,并按schema大小排序 SELECT schema_name, pg_size_pretty(sum(table_size)::bigint) as "disk space", round((sum(table_size) / pg_database_size(c 阅读全文

posted @ 2017-08-26 14:06 一泽涟漪阅读(6684) 评论(1) 推荐(0) 编辑

Hadoop 2.7.3 完全分布式维护-部署篇

摘要：测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f 阅读全文

posted @ 2017-08-21 22:04 一泽涟漪阅读(935) 评论(0) 推荐(0) 编辑

Hadoop介绍-4.Hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker

摘要：Hadoop是一个能够对大量数据进行分布式处理的软体框架，实现了Google的MapReduce编程模型和框架，能够把应用程式分割成许多的小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程式称为「作业（job）」，而从一个作业划分出得、运行于各个计阅读全文

posted @ 2017-08-20 22:31 一泽涟漪阅读(1336) 评论(0) 推荐(0) 编辑

Hadoop介绍-3.HDFS介绍和YARN原理介绍

摘要：一、 HDFS介绍： 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要阅读全文

posted @ 2017-08-20 22:06 一泽涟漪阅读(1489) 评论(0) 推荐(0) 编辑

Hadoop介绍-2.分布式计算框架Hadoop原理及架构全解

摘要：Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。阅读全文

posted @ 2017-08-20 22:05 一泽涟漪阅读(12939) 评论(0) 推荐(0) 编辑

Hadoop介绍-1.基本原理

摘要：了解大数据首先，搞清楚hadoop在处理大数据的定位在哪里什么是大数据？为什么要处理大数据？数据量大（Volume）数据类别复杂（Variety）数据处理速度快（Velocity）数据真实性高（Veracity）合起来被称为4V。处理大数据是为了挖掘数据中的隐含价值如何处理大数据？阅读全文

posted @ 2017-08-20 21:57 一泽涟漪阅读(1128) 评论(0) 推荐(0) 编辑

InnoDB存储引擎介绍-(7) Innodb数据页结构

摘要：数据页结构 File Header Page Header Infimum + Supremum Records User Records InnoDB不想每次都依据B+Tree键的顺序来插入新行，因为这可能需要移动大量的数据因此InnoDB插入新行时，通常是插入到当前行的后面（Free Spac 阅读全文

posted @ 2017-08-19 19:58 一泽涟漪阅读(993) 评论(1) 推荐(0) 编辑

InnoDB存储引擎介绍-(6) 二. Innodb Antelope文件格式

摘要：InnoDB存储引擎和大多数数据库一样（如Oracle和Microsoft SQL Server数据库），记录是以行的形式存储的。这意味着页中保存着表中一行行的数据。到MySQL 5.1时，InnoDB存储引擎提供了Compact和Redundant两种格式来存放行记录数据，Redundant是为兼阅读全文

posted @ 2017-08-19 12:56 一泽涟漪阅读(593) 评论(0) 推荐(0) 编辑

InnoDB存储引擎介绍-(6) 一. Innodb Antelope 和Barracuda区别

摘要：分类 Antelope是innodb-base的文件格式，Barracude是innodb-plugin后引入的文件格式，同时Barracude也支持Antelope文件格式。两者区别在于： ROW_FORMAT=REDUNDANT compact的存储格式为首部为一个非NULL的变长字段长度列表阅读全文

posted @ 2017-08-19 11:00 一泽涟漪阅读(797) 评论(0) 推荐(0) 编辑

InnoDB存储引擎介绍-(5) Innodb逻辑存储结构

摘要：如果创建表时没有显示的定义主键，mysql会按如下方式创建主键：首先判断表中是否有非空的唯一索引，如果有，则该列为主键。如果不符合上述条件，存储引擎会自动创建一个6字节大小的指针。当表中有多个非空的唯一索引，会选择建表时第一个定义的非空唯一索引。注意根据的是定义索引的顺序，不是创建列的顺序。阅读全文

posted @ 2017-08-11 20:51 一泽涟漪阅读(625) 评论(0) 推荐(0) 编辑

linux删除文件后不释放磁盘的问题

摘要：1. 用df 检查发现根目录可用空间越为200M 2. 用du命令查看根目录各子目录占用空间,可以发现6G的空间莫名其妙地丢了 3. 用lsof命令查看有很多处于deleted状态的进程 4. 根据lsof列出的进程号，kill这些进程,稍等片刻,再查看磁盘容量使用情况,注意如果不熟悉进程的作用,请阅读全文

posted @ 2017-08-11 17:34 一泽涟漪阅读(2407) 评论(0) 推荐(0) 编辑

Oracle 11g 异机恢复参考文档

摘要：本次以原库全新安装后为例说明利用RMAN做异机恢复,原库和目标库路径一致,目标库仅需安装数据库软件即可,安装过程详见我的另一篇博客http://www.cnblogs.com/ilifeilong/p/7041676.html 1. 原库开启归档模式 2. 用RMAN对原库进行备份 3. 将备份目录阅读全文

posted @ 2017-08-10 19:02 一泽涟漪阅读(1196) 评论(0) 推荐(0) 编辑

搜索

常用链接

我的标签

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论