上一页 1 2 3 4 5 6 7 8 9 10 ··· 13 下一页
摘要: 下面是RDD的基础操作API介绍: 操作类型 函数名 作用 转化操作 map() 参数是函数,函数应用于RDD每一个元素,返回值是新的RDD flatMap() 参数是函数,函数应用于RDD每一个元素,将元素数据进行拆分,变成迭代器,返回值是新的RDD filter() 参数是函数,函数会过滤掉不符 阅读全文
posted @ 2018-06-07 11:21 最最么么哒 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 转:https://blog.csdn.net/qq646748739/article/details/77997276 --Hive中日期函数总结:--1.时间戳函数--日期转时间戳:从1970-01-01 00:00:00 UTC到指定时间的秒数select unix_timestamp(); 阅读全文
posted @ 2018-06-06 11:16 最最么么哒 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 转:https://blog.csdn.net/u012474716/article/details/78925319/ hive中常用的时间为时间戳和日期格式之间的转换 常用的函数为: to_date:日期时间转日期函数 select to_date(‘2015-04-02 13:34:12’); 阅读全文
posted @ 2018-06-06 11:10 最最么么哒 阅读(1015) 评论(0) 推荐(0) 编辑
摘要: (转自)http://www.aboutyun.com/forum.php?mod=viewthread&tid=8590&highlight=hive 问题导读:1.如何查看hive表结构?2.如何查看表结构信息?3.如何查看分区信息?4.哪个命令可以模糊搜索表?1.hive模糊搜索表 show 阅读全文
posted @ 2018-06-05 11:18 最最么么哒 阅读(1071) 评论(0) 推荐(0) 编辑
摘要: 本文是在集群已经搭建好的基础上来说的,还没有搭建好集群的小伙伴还请自行百度! 启动spark-shell之前要先启动hive metastore 和 hiveservice2 然后再启动spark-shell 启动之后可能会抛出一些异常 这些警告不影响咱们的运行 spark的UI页面 阅读全文
posted @ 2018-06-04 10:10 最最么么哒 阅读(660) 评论(0) 推荐(0) 编辑
摘要: 0x01:重命名表 1 ALTER TABLE table_name RENAME TO new_table_name; 上面这个命令可以重命名表,数据所在的位置和分区都没有改变。 0x02:改变列名/类型/位置/注释 1 ALTER TABLE table_name CHANGE 2 [CLOUM 阅读全文
posted @ 2018-06-01 10:26 最最么么哒 阅读(3388) 评论(0) 推荐(0) 编辑
摘要: hive的用户和用户权限 HiverServer2支持远程多客户端的并发和认证,支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库,由于是内嵌的文件数据库,只支持一个用户的操作访问,支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库 阅读全文
posted @ 2018-05-31 15:44 最最么么哒 阅读(6148) 评论(0) 推荐(1) 编辑
摘要: Hive 表分区 Hive表的分区就是一个目录,分区字段不和表的字段重复 创建分区表: create table tb_partition(id string, name string) PARTITIONED BY (month string) row format delimited field 阅读全文
posted @ 2018-05-31 14:33 最最么么哒 阅读(609) 评论(0) 推荐(0) 编辑
摘要: 一、为什么要创建分区表1、select查询中会扫描整个表内容,会消耗大量时间。由于相当多的时候人们只关心表中的一部分数据, 故建表时引入了分区概念。2、hive分区表:是指在创建表时指定的partition的分区空间,若需要创建有分区的表, 需要在create表的时候调用可选参数partitione 阅读全文
posted @ 2018-05-31 14:23 最最么么哒 阅读(1602) 评论(0) 推荐(0) 编辑
摘要: 它是一个特殊形式的 CONCAT() concat_ws(分隔符,参数1,参数2.。。。。。。) as 字段 返回值为一个数组 a.基本用法: 例1:split('a,b,c,d',',') 得到的结果:["a","b","c","d"] b.截取字符串中的某个值: 当然,我们也可以指定取结果数组中 阅读全文
posted @ 2018-05-28 14:26 最最么么哒 阅读(173) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 13 下一页