随笔分类 - hive

对hive知识点的记录

摘要：日期转为时间戳 unix_timestamp('2022-11-12 00:00:00.000') 结果：1668182400 from_unixtime(unix_timestamp('2022-11-12 00:00:00.000'), 'yyyy-MM-dd') 结果：2022-11-12 将阅读全文

posted @ 2023-02-02 18:34 jsqup 阅读(20) 评论(0) 推荐(0) 编辑

spark中各个技术点中的依赖(pom.xml)

摘要：mapreduce依赖 <properties> <hadoop.version>2.8.5</hadoop.version> </properties> <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifa 阅读全文

posted @ 2022-08-30 08:23 jsqup 阅读(509) 评论(0) 推荐(0) 编辑

访问端口总结

摘要：||启动方式|访问端口| |--|--|--| |HDFS|start-dfs.sh|NameNode(9000 API操作；50070 web访问端口)| |||DataNode(50010 dn和nn通信的端口；50075(datanode的web访问端口)| |||snn(50090 snn的阅读全文

posted @ 2022-08-19 12:06 jsqup 阅读(51) 评论(0) 推荐(0) 编辑

udtf一进多出案例2

摘要：pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文

posted @ 2022-08-04 16:12 jsqup 阅读(24) 评论(0) 推荐(0) 编辑

自定义udtf函数（一进多出）

摘要：案例要求 java编写 package udtf; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import 阅读全文

posted @ 2022-08-04 13:20 jsqup 阅读(154) 评论(0) 推荐(0) 编辑

自定义udf函数（一进一出）

摘要：1. 添加maven依赖一、pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XML 阅读全文

posted @ 2022-08-04 11:04 jsqup 阅读(141) 评论(0) 推荐(0) 编辑

explode与lateral view详解

摘要：1. explode炸裂一行的数据求一个界面的广告数量 page adid page1 1 page1 2 page1 3 page1 4 [root@node1 data]# cat ad.txt page1,1_3_5_9_10_56 page2,30_123_34_7_9_10 page3, 阅读全文

posted @ 2022-08-03 18:59 jsqup 阅读(147) 评论(0) 推荐(0) 编辑

hive中的重要的函数

摘要：函数分类 UDF函数：一进一出，length UDAF函数：多进一出，聚合函数：sum、count UDTF函数：一进多出，explode、split 查看函数用法查看系统自带的函数： show functions; 显示自带的函数的用法： desc functions 函数名; 详细显示自带的函阅读全文

posted @ 2022-08-03 12:04 jsqup 阅读(30) 评论(0) 推荐(0) 编辑

hive

摘要：hive的执行命令 beeline的使用规则需要配置hiveserver2 hive的配置文件：hive-site.xml <property> <name>hive.server2.authentication</name> <value>NONE</value> </property> <pr 阅读全文

posted @ 2022-08-01 11:53 jsqup 阅读(18) 评论(0) 推荐(0) 编辑

hive配置的学习

摘要：[root@node1 conf]# mv hive-env.sh.template hive-env.sh [root@node1 conf]# vi hive-env.sh export HIVE_CONF_DIR=/opt/app/hive-2.3.8/conf export HADOOP_H 阅读全文

posted @ 2022-07-29 18:35 jsqup 阅读(35) 评论(0) 推荐(0) 编辑

如何查找hive中的date函数

摘要：1. 输入网址 https://cwiki.apache.org/hive 2. 显示界面 3. 搜索+点击 4. 点击data functions 5. 找到最终网址快速访问 https://cwiki.apache.org/confluence/display/Hive/LanguageMan 阅读全文

posted @ 2022-06-30 22:58 jsqup 阅读(32) 评论(0) 推荐(0) 编辑

hive面试题

摘要：1. 什么是hive? hive是基于Hadoop的一个数据仓库工具，可以将结构化和半结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能。注意： (1)Hive本质是将HDFS转换成MapReduce的任务进行运算，底层由HDFS来提供数据存储。 (2)Hive的元数据存储在SQL上阅读全文

posted @ 2022-04-02 22:12 jsqup 阅读(1672) 评论(0) 推荐(0) 编辑

/dev/null 2>&1

摘要：1. 介绍可以将/dev/null看作"黑洞". 它非常等价于一个只写文件. 所有写入它的内容都会永远丢失. 而尝试从它那儿读取内容则什么也读不到. 然而, /dev/null对命令行和脚本都非常的有用. 2. 1>/dev/null 2>&1的含义 > 代表重定向到哪里，例如：echo "123 阅读全文

posted @ 2022-03-16 22:29 jsqup 阅读(116) 评论(0) 推荐(0) 编辑