2018年6月7日
[Hive]-Table
摘要： 1. 2.表 2.1 常用命令 查看描述信息 # desc formatted xxx 建立表 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available 阅读全文
posted @ 2018-06-07 11:41 NightPxy 阅读(268) 评论(0) 推荐(0) 编辑
[Hive]-DataBase
摘要： 1.Create Database CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] --数据库描述 [LOCATION hdfs_path] --数据库SourceData存储路径 [ 阅读全文
posted @ 2018-06-07 10:46 NightPxy 阅读(190) 评论(0) 推荐(0) 编辑
2018年6月6日
[Hive]-列式存储篇
摘要： 1. ORC是什么 ORC,全称 Optimized Row Columnar.是Hadoop生态圈的列式存储概念,最早由Hive提出.\ 在Hive的ORC,首先依然是根据行组分割整个表,但是在每个行组中,按列存储.ORC文件是自描述的,它的元数据使用Protocol Buffers进行序列化,并 阅读全文
posted @ 2018-06-06 16:21 NightPxy 阅读(983) 评论(0) 推荐(0) 编辑
[Hive]-架构篇
摘要： 1.Hive简述 1.1 Hive是什么 Hive是数据仓库.它是构建在Hadoop之上的,通过解析QL(Hive SQL),转换成MR任务(Tez,Spark......)去提交执行. RDBMS一般是写验证,而Hive是读验证,即数据进入不会验证数据是否符合要求,只在读取的时候检查,解析具体字段 阅读全文
posted @ 2018-06-06 00:27 NightPxy 阅读(418) 评论(0) 推荐(0) 编辑
2018年6月5日
[Hive]编译部署-hive-1.1.0-cdh5.7.0
摘要： 2.部署 解压 # tar -xzvf ~/software/hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/ 配置环境变量 export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0 export PATH=$HIVE_HOM 阅读全文
posted @ 2018-06-05 20:59 NightPxy 阅读(782) 评论(0) 推荐(0) 编辑
[Hadoop]-MapReduce-使用篇
摘要： 1.Mapper 1.1 泛型参数 Mapper有四个泛型参数,Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>: KEYIN:默认读取的一行文本的起始偏移量.Long类型,在Hadoop中包装成LongWriteable VALUEIN:默认读取的一行文本的字符串信 阅读全文
posted @ 2018-06-05 16:44 NightPxy 阅读(188) 评论(0) 推荐(0) 编辑
[Hadoop]MapReduce-架构篇
摘要： 1.MapReduce概述 MapReduce是Hadoop的计算引擎,是Hadoop的三大组件之一. 但随着技术的发展,MapReduce臃肿繁杂,正在被其它的计算引擎所慢慢取代,这里就了解一下MapReduce的执行过程就行了 2.MapReduce的执行过程 MapReduce总体上分为4个执 阅读全文
posted @ 2018-06-05 13:36 NightPxy 阅读(163) 评论(0) 推荐(0) 编辑
2018年6月1日
[Hadoop]-常用命令
摘要： 1.强制修改所有文件的副本数为1 hadoop dfs -setrep -w 1 -R / 2.HDFS自检(全部文件) hadoop fsck / 阅读全文
posted @ 2018-06-01 23:49 NightPxy 阅读(83) 评论(0) 推荐(0) 编辑
2018年5月30日
[Linux]-常用命令
摘要： 文件操作 当前路径 #pwd 文件夹 创建一层文件夹 #mkdir 文件夹 创建多层文件夹 #mkdir -p 文件夹-A/文件夹-B/文件夹-C 创建多个文件夹 #mkdir 文件夹-A 文件夹-B 文件夹-C 移动文件&文件夹(目标目录不存在) #mv 源路径 目标路径 复制文件&文件夹(目录已 阅读全文
posted @ 2018-05-30 17:33 NightPxy 阅读(161) 评论(0) 推荐(0) 编辑
[Hadoop]-HDFS使用篇
摘要： 1.HDFS权限 HDFS的文件系统权限与Linux的完全相同 修改权限 #hadoop fs chmod 修改归属 #hadoop fs chown 2.常用操作 2.1 命令篇 2.1 文件操作 列出目录下的文件(直接跟目标路径,HDFS中没有cd的概念) #hadoop fs -ls / 创建 阅读全文
posted @ 2018-05-30 10:31 NightPxy 阅读(348) 评论(0) 推荐(0) 编辑