jsqup

2022年8月4日

摘要：配置环境 1. 将jar包上传至/opt/software目录下 2. 解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/app/ 3. 改名字 mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4. 阅读全文

posted @ 2022-08-04 16:54 jsqup 阅读(17) 评论(0) 推荐(0) 编辑

udtf一进多出案例2

摘要： pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文

posted @ 2022-08-04 16:12 jsqup 阅读(22) 评论(0) 推荐(0) 编辑

自定义udtf函数（一进多出）

摘要：案例要求 java编写 package udtf; import org.apache.hadoop.hive.ql.exec.UDFArgumentException; import org.apache.hadoop.hive.ql.metadata.HiveException; import 阅读全文

posted @ 2022-08-04 13:20 jsqup 阅读(150) 评论(0) 推荐(0) 编辑

自定义udf函数（一进一出）

摘要： 1. 添加maven依赖一、pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XML 阅读全文

posted @ 2022-08-04 11:04 jsqup 阅读(128) 评论(0) 推荐(0) 编辑

2022年8月3日

explode与lateral view详解

摘要： 1. explode炸裂一行的数据求一个界面的广告数量 page adid page1 1 page1 2 page1 3 page1 4 [root@node1 data]# cat ad.txt page1,1_3_5_9_10_56 page2,30_123_34_7_9_10 page3, 阅读全文

posted @ 2022-08-03 18:59 jsqup 阅读(137) 评论(0) 推荐(0) 编辑

hive中的重要的函数

摘要：函数分类 UDF函数：一进一出，length UDAF函数：多进一出，聚合函数：sum、count UDTF函数：一进多出，explode、split 查看函数用法查看系统自带的函数： show functions; 显示自带的函数的用法： desc functions 函数名; 详细显示自带的函阅读全文

posted @ 2022-08-03 12:04 jsqup 阅读(29) 评论(0) 推荐(0) 编辑

2022年8月1日

hive

摘要： hive的执行命令 beeline的使用规则需要配置hiveserver2 hive的配置文件：hive-site.xml <property> <name>hive.server2.authentication</name> <value>NONE</value> </property> <pr 阅读全文

posted @ 2022-08-01 11:53 jsqup 阅读(17) 评论(0) 推荐(0) 编辑

2022年7月30日

outputFormat的使用

摘要： 1. 文本输出TextOutputFormat 默认的输出格式，把每条记录写为文本行默认分隔符定义是：\t 即 key\tvalue 将最终输出的key、value数据以指定的分隔符（默认是\t）将key value拼接，然后以字符串（普通的文本数据）写出到结果文件中分隔符可以自定义: conf 阅读全文

posted @ 2022-07-30 18:08 jsqup 阅读(95) 评论(0) 推荐(0) 编辑

combiner

摘要：定义：继承Reducer类，Combiner就是一个Reducer，但是处理的是某一个map的输出数据数据写出到reducer了 job.setCombinerClass(WCCombiner.class); // 输入类型是map阶段的输出类型，输出类型一般是map阶段的输出类型 class 阅读全文

posted @ 2022-07-30 14:49 jsqup 阅读(17) 评论(0) 推荐(0) 编辑

2022年7月29日

mr的详细的工作流程

摘要： ![](https://img2022.cnblogs.com/blog/2487693/202207/2487693-20220729220216076-598810272.png) 阅读全文

posted @ 2022-07-29 22:11 jsqup 阅读(38) 评论(0) 推荐(0) 编辑

公告