dairui130

hive on spark 释放session资源

摘要：背景启动hive时，可以看到2.0以后的版本，将要弃用mr引擎，官方建议使用spark，tez等引擎。 spark同时支持批式流式处理，可以减少学习成本。所以选用了spark作为执行引擎。 hive on spark 参数优化使用hive on spark 默认只用2个container。任务处阅读全文

posted @ 2019-05-05 13:34 dairui130 阅读(1472) 评论(0) 推荐(0) 编辑

hive on spark 参数设置

摘要： set spark.executor.instances=20; set spark.executor.cores=5; set spark.executor.memory=5G; 阅读全文

posted @ 2019-04-26 22:54 dairui130 阅读(775) 评论(0) 推荐(0) 编辑

hive 数值计算函数

摘要： Hive数值计算函数 (1)round(45.666,2)作用：四舍五入，保留2位小数 ceil(45.6) 作用：向上取整 floor(45.6) 作用：向下取整 (2)rand()返回一个0到1范围内的随机数 (3)exp(double a)返回自然对数e的a次方ln(double a)返回a的阅读全文

posted @ 2019-04-23 11:23 dairui130 阅读(953) 评论(0) 推荐(0) 编辑

hive -help hive命令行执行sql参数

摘要：在shell命令行执行结果如下：我们逐一解释一下：阅读全文

posted @ 2019-04-22 19:20 dairui130 阅读(1883) 评论(0) 推荐(0) 编辑

hive 函数 nvl()

摘要：首先用desc function，查看hive给出的函数解释如果为空，则返回default值。结果是0. 类似用法的函数还有：阅读全文

posted @ 2019-04-21 17:31 dairui130 阅读(7507) 评论(0) 推荐(0) 编辑

beeline方式连接hive

摘要：什么是beeline 常用操作 https://www.cnblogs.com/xinfang520/p/7684598.html 阅读全文

posted @ 2019-04-19 16:22 dairui130 阅读(186) 评论(0) 推荐(0) 编辑

UDF函数解码url

摘要：背景 URL 的编码是ASCII十六进制格式。数仓接受到前端上报的URL，要对URL字段解码。如要将解码为: 方式 hive sql中，通过反射调用java.net.URLDecoder方法问题实践中发现，部分https开头的url解析不完整。例如解码下面的URL，通过上面的方法，结果是阅读全文

posted @ 2019-04-18 16:34 dairui130 阅读(1205) 评论(0) 推荐(0) 编辑

hive 使用反射函数

摘要：在hive中通过反射，调用java.net.URLDecoder，解码url 代码入下: 阅读全文

posted @ 2019-04-18 16:21 dairui130 阅读(687) 评论(0) 推荐(0) 编辑

hive 添加和删除分区

摘要：命令如下：增加分区删除分区阅读全文

posted @ 2019-04-15 18:58 dairui130 阅读(600) 评论(0) 推荐(0) 编辑

shell 命令 grep -R 查询包含指定内容的文件

摘要： grep -R 举个栗子，在有上百个sql文件的目录下，查找使用 spark引擎执行的文件。代码是：返回的就是包含 spark 的sql文件名。阅读全文

posted @ 2019-04-15 18:56 dairui130 阅读(10850) 评论(0) 推荐(0) 编辑

导航

公告