摘要： 1. 查看当前库sehcma大小,并按schema大小排序 SELECT schema_name, pg_size_pretty(sum(table_size)::bigint) as "disk space", round((sum(table_size) / pg_database_size(c 阅读全文

摘要： 测试环境如下 1. 软件准备 http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz http://download.oracle.com/otn-pub/java/jdk/8u144-b01/090f 阅读全文

摘要： Hadoop是一个能够对大量数据进行分布式处理的软体框架，实现了Google的MapReduce编程模型和框架，能够把应用程式分割成许多的 小的工作单元，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程式称为「作业（job）」，而从一个作业划分出 得、运行于各个计 阅读全文

摘要： 一、 HDFS介绍： 1. Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS、MapReduce和YARN，为海量的数据提供了存储和计算。 HDFS主要是Hadoop的存储，用于海量数据的存储； MapReduce主要 阅读全文

摘要： Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。 阅读全文

摘要： 了解大数据 首先，搞清楚hadoop在处理大数据的定位在哪里 什么是大数据？为什么要处理大数据？ 数据量大（Volume） 数据类别复杂（Variety） 数据处理速度快（Velocity） 数据真实性高（Veracity） 合起来被称为4V。 处理大数据是为了挖掘数据中的隐含价值 如何处理大数据？ 阅读全文

摘要： 数据页结构 File Header Page Header Infimum + Supremum Records User Records InnoDB不想每次都依据B+Tree键的顺序来插入新行，因为这可能需要移动大量的数据 因此InnoDB插入新行时，通常是插入到当前行的后面（Free Spac 阅读全文

摘要： InnoDB存储引擎和大多数数据库一样（如Oracle和Microsoft SQL Server数据库），记录是以行的形式存储的。这意味着页中保存着表中一行行的数据。到MySQL 5.1时，InnoDB存储引擎提供了Compact和Redundant两种格式来存放行记录数据，Redundant是为兼 阅读全文

摘要： 分类 Antelope是innodb-base的文件格式，Barracude是innodb-plugin后引入的文件格式，同时Barracude也支持Antelope文件格式。两者区别在于： ROW_FORMAT=REDUNDANT compact的存储格式为首部为一个非NULL的变长字段长度列表 阅读全文

摘要： 如果创建表时没有显示的定义主键，mysql会按如下方式创建主键： 首先判断表中是否有非空的唯一索引，如果有，则该列为主键。 如果不符合上述条件，存储引擎会自动创建一个6字节大小的指针。 当表中有多个非空的唯一索引，会选择建表时第一个定义的非空唯一索引。注意根据的是定义索引的顺序，不是创建列的顺序。 阅读全文