07 2017 档案

Hive与Hadoop的交互流程
摘要：1、 executeQuery：用户通过Hive界面（CLI/Web UI）将查询语句发送到Driver（驱动有JDBC、ODBC等）来执行； 2、 getPlan ：Driver根据查询编译器解析query语句，验证query语句的语法、查询计划、查询条件； 3、 getMetaData：编译器将 阅读全文
posted @ 2017-07-31 17:02 fee先生 阅读(1186) 评论(0) 推荐(0)
Hadoop Webhdfs
摘要：webhdfs：使用http协议访问HDFS 一、需要配置项： 1、编辑httpfs-env.sh，设置webdfs访问端口 2、编辑core-site.xml，设置代理主机 3、编辑hdfs-site.xml 二、重启并访问webhdfs 1、重启NameNode，执行httpfs.sh star 阅读全文
posted @ 2017-07-10 10:58 fee先生 阅读(4620) 评论(1) 推荐(0)
Hadoop HDFS的Java操作
摘要：package com.test.hdfs; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; import java.util.Iterator; import org.apache.hadoop.conf.Con... 阅读全文
posted @ 2017-07-10 10:45 fee先生 阅读(379) 评论(0) 推荐(0)
Hadoop JobHistory
摘要：JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。 1、mapred-site.xml配置信息： 2、启动 jobhistory server [xfvm@xfv 阅读全文
posted @ 2017-07-10 10:37 fee先生 阅读(3527) 评论(0) 推荐(0)