行走的灵魂

摘要： 1.压缩/解压 /* 压缩：可以最小化所需要的磁盘存储空间，以及减小磁盘和网络I/O操作，但是文件压缩和解压过程会增加CPU开销。因此，对于压缩密集型的job最好使用压缩，特别是有额外的CPU资源或者磁盘存储空间比较稀缺的情况。 */ -- BZip2压缩率最高，但是消耗最多的CPU开销 -- GZ 阅读全文

摘要： 1.使用EXPLAN/EXPLAN EXTENDED查看执行计划 -- 待补充 2.本地模式 /* 有时候hive查询数据量是非常小的，这种情况下，为查询触发执行任务对的时间消耗有可能比实际job执行时间要多得多。对于大多数这种情况，Hive可以通过本地模式在单台机器上(或某些时候在单个进程中)处理 阅读全文

摘要： 1.关于分区 1.HDFS用于设计存储数百万的大文件，而非数十亿的小文件，如果分区过多，会创建大量的小文件，最终会超出NameNode的处理能力。因为NameNode必须要将所有的系统文件的元数据信息保存到内存中。每个文件的元数据大小为150字节，但是会限制HDFS实例所能管理文件总数的上限。 2. 阅读全文

摘要： 一.概念 视图可以允许保存一个查询并像对待表一样对这个查询进行操作。这是一个逻辑结构，换言之，hive目前不支持物化视图。 1.使用视图降低查询复杂度 -- 创建一个视图 CREATE VIEW tb1 AS SELECT * FROM t1 JOIN t2 ON t1.id = t2.id; -- 阅读全文

摘要： 两种文件的含义： /etc/profile:此文件为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.并从/etc/profile.d目录的配置文件中搜集shell的设置. /etc/bashrc:为每一个运行bash shell的用户执行此文件.当bash shell被打开时,该文件被 阅读全文

摘要： 四.HiveQL 查询 4.1select from 注意hive中有特殊的三种集合的形式 查询这三种类型时，hive会使用JSON语法输出，查询其中的元素方式如下 -- 数组 subordiantes[0] -- map deduction["State Taxes"] -- struct add 阅读全文

摘要： 一.基础操作 1.1变量和属性 hivevar--(0.8以后版本) 用户自定义变量 （读写） ${hivevar:foo} --变量引用和替换 hiveconf --Hive相关的配置属性（读写） system -- Java定义的配置属性（读写） env -- Shell环境定义的环境变量（只可 阅读全文

摘要： 1.MYSQL存储引擎概述 插件式存储是MYSQL数据库最重要的特性之一，用户可以根据应用的需要选择如何存储和索引数据，是否使用事务等。MYSQL 5.0支持的引擎包括MyISAM,InnoDB,MEMORY,MERGE,EXAMPLE,NDB CLuster,ARCHIVE,CSV,BLACKHO 阅读全文

摘要： 1.常用的字符串函数 CONCAT(s1,s2,...,sn) 连接s1,s2,..,sn为一个字符串 INSERT(str,x,y,instr) 将字符串str从第x位置开始，y个字符长的子串替换为字符串instr LOWER(str)小写 UPPER(str)大写 LEFT(str,x)返回字符 阅读全文

摘要： 1.算数运算符 +，-，*，/，%（取余） 在除法运算和模运算中，分母为0，返回结果为NULL 2.比较运算符 特殊的几个：<>或!= 不等于，<=>，BETWEEN，IN，IS NULL，IS NOT NULL，LIKE，REGEXP/RLIKE（正则表达式匹配）比较运算符可以用于比较数字，字符串 阅读全文