摘要：
Hive索引入门 阅读全文
摘要：
1、基本概念 （1）桶表是对某一列数据进行哈希取值以将数据打散，然后放到不同文件中存储。 （2）在hive分区表中，分区中的数据量过于庞大时，建议使用桶。 （3）在分桶时，对指定字段的值进行hash运算得到hash值，并使用hash值除以桶的个数做取余运算得到的值进行分桶，保证每个桶中有数据但每个桶 阅读全文
摘要：
一、环境准备 1、下载Hue：https://dl.dropboxusercontent.com/u/730827/hue/releases/3.12.0/hue-3.12.0.tgz 2、安装依赖 二、MySQL配置 三、解压、编译并安装 四、集成环境配置 1、配置HDFS vim /opt/ha 阅读全文
摘要：
1、 executeQuery：用户通过Hive界面（CLI/Web UI）将查询语句发送到Driver（驱动有JDBC、ODBC等）来执行； 2、 getPlan ：Driver根据查询编译器解析query语句，验证query语句的语法、查询计划、查询条件； 3、 getMetaData：编译器将 阅读全文
摘要：
webhdfs：使用http协议访问HDFS 一、需要配置项： 1、编辑httpfs-env.sh，设置webdfs访问端口 2、编辑core-site.xml，设置代理主机 3、编辑hdfs-site.xml 二、重启并访问webhdfs 1、重启NameNode，执行httpfs.sh star 阅读全文
摘要：
package com.test.hdfs; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; import java.util.Iterator; import org.apache.hadoop.conf.Con... 阅读全文
摘要：
JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。 1、mapred-site.xml配置信息： 2、启动 jobhistory server [xfvm@xfv 阅读全文
摘要：
一、下载并安装jdk 1、下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、傻瓜式“下一步”，“下一步”安装 3、环境变量配置： JAVA_HOME C:\Program Files\Java\jdk1 阅读全文
摘要：
一、什么是Shell脚本 二、Shell脚本文件格式 文件名后缀通常是.sh 三、脚本任何执行？ a.sh 需保证脚本有执行权限并在环境变量中有(.)，这样在执行时会从当前目录查找 ./a.sh 需保证脚本有执行权限 /usr/local/a.sh 需保证脚本有执行权限 bash a.sh 可直接执 阅读全文
摘要：
[xfvm@xfvm01 ~]$ hdfs dfs -help Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> 阅读全文