2017年7月15日
Hive 压缩技术Data Compression
摘要： Mapreducwe 执行流程 ：input map shuffle reduce output 压缩执行时间，map 之后，压缩，数据存储在本地磁盘，减少磁盘IO，减少网络带宽。 1.常见压缩技术 压缩格式 bzip2 gzip lzo snappy 压缩比 bzip2 gzip lzo | sn 阅读全文
posted @ 2017-07-15 23:46 岑忠满 阅读(523) 评论(0) 推荐(0) 编辑
进入saftmode解决方案
摘要： Name node is in safe mode.The reported blocks 356 needs additional 2 blocks to reach the threshold 0.9990 of total blocks 358. Safe mode will be turne 阅读全文
posted @ 2017-07-15 22:53 岑忠满 阅读(455) 评论(0) 推荐(0) 编辑
HiveServer2
摘要： "HiveServer2" 一、启动 Hiveserver2 一个Server 二、连接HiveServer2 1.通过启动 Beeline 一个Client 1.1从 Beeline 通过 JDBC 连接 Hiveserver2 !connect jdbc:hive2://hostname ubu 阅读全文
posted @ 2017-07-15 22:31 岑忠满 阅读(452) 评论(0) 推荐(0) 编辑
Hive 中的 UDF
摘要： "LanguageManual UDF" 一、分类 UDF:User defined function 用户定义函数 一进一出 UDAF:User defined aggregation function 聚类函数：多进一出 如：max min count UDTF:User definesd ta 阅读全文
posted @ 2017-07-15 15:00 岑忠满 阅读(316) 评论(0) 推荐(0) 编辑
hive-pom.xml
摘要： 4.0.0 com.cenzhongman hive 0.0.1 SNAPSHOT jar hive http://maven.apache.org UTF 8 junit junit 3.8.1 test org.apache.hadoop hadoop hdfs 2.8.0 org.apache 阅读全文
posted @ 2017-07-15 14:27 岑忠满 阅读(1235) 评论(0) 推荐(0) 编辑