摘要: DataFrame df = ...StructType schema = df.schema().add(DataTypes.createStructField("id", DataTypes.LongType, false)); 使用RDD的zipWithIndex得到索引,作为ID值:Java 阅读全文
posted @ 2019-09-03 18:10 一颗小白菜灬 阅读(1299) 评论(0) 推荐(0) 编辑
摘要: Hive四大表类型内部表、外部表、分区表和桶表 一、概述 总体上Hive有四种表:外部表,内部表(管理表),分区表,桶表。分别对应不同的需求。下面主要讲解各种表的适用情形、创建和加载数据方法。 二、具体内容 1.内部表 创建内部表和加载数据 create table emp_inner( empno 阅读全文
posted @ 2019-09-03 18:00 一颗小白菜灬 阅读(1415) 评论(0) 推荐(0) 编辑
摘要: 非常重要的动态分区属性: hive.exec.dynamic.partition 是否启动动态分区。false(不开启) true(开启)默认是 false hive.exec.dynamic.partition.mode 打开动态分区后,动态分区的模式,有 strict和 nonstrict 两个 阅读全文
posted @ 2019-09-03 11:07 一颗小白菜灬 阅读(727) 评论(0) 推荐(0) 编辑